เดิมมหาวิทยาลัยศิลปากรเป็นส่วนราชการในสังกัดสำนักนายกรัฐมนตรีตามพระราชบัญญัติจัดระเบียบราชการสำนักนายกรัฐมนตรี พ.ศ. 2505 ต่อมาได้มีประกาศสำนักนายกรัฐมนตรีเรื่องการแบ่งส่วนราชการของมหาวิทยาลัยศิลปากรฉบับลงวันที่ 29 มกราคม พ.ศ. 2514 ให้จัดตั้งสำนักงานอธิการบดี โดยให้แบ่งส่วนราชการเป็นกองกลางและแบ่งเป็น 4 แผนก คือ แผนกสารบรรณ แผนกคลังและพัสดุ แผนกบริการนักศึกษา และแผนกห้องสมุด
ต่อมาปี พ.ศ. 2515 ได้มีประกาศสำนักนายกรัฐมนตรี เรื่อง การแบ่งส่วนราชการของมหาวิทยาลัยศิลปากร ฉบับลงวันที่ 19 มีนาคม พ.ศ. 2515 ให้มีวิทยาลัยทับแก้วโดยให้แบ่งส่วนราชการเป็น 5 แผนก คือ แผนกสารบรรณ แผนกบริการกลาง แผนกดูแลอาคารและสถานที่ แผนกห้องสมุดห้องสมุดเสียงและอุปกรณ์โสตทัศนศึกษา และแผนกการเงินและพัสดุ
ปัจจุบันสำนักงานอธิการบดีแบ่งส่วนราชการออกเป็นกองและหน่วยงานที่เรียกชื่ออย่างอื่นที่มีฐานะเทียบเท่ากอง มีสถานะเป็นหน่วยงานที่เป็นส่วนราชการ จำนวน 5 กอง และเป็นหน่วยงานในกำกับ จำนวน 7 กอง ดังนี้
1. กองที่เป็นส่วนราชการตามประกาศทบวงมหาวิทยาลัย เรื่อง การแบ่งส่วนราชการในมหาวิทยาลัยศิลปากร พ.ศ. 2532 ตามประกาศฉบับลงวันที่ 10 สิงหาคม พ.ศ. 2532 ได้แก่
1. กองกลาง
2. กองกิจการนักศึกษา
3. กองงานวิทยาเขต
4. กองบริการการศึกษา
5. กองแผนงาน
2. กองที่เป็นหน่วยงานในกำกับของมหาวิทยาลัยศิลปากร โดยมติสภามหาวิทยาลัยศิลปากร ในการประชุมครั้งที่ 5/2550 เมื่อวันที่ 12 กันยายน พ.ศ. 2550 ตามประกาศมหาวิทยาลัยศิลปากร เรื่อง การจัดตั้งและแบ่งหน่วยงานในกำกับของมหาวิทยาลัยศิลปากร (ฉบับที่ 7) พ.ศ. 2550 โดยมีผลตั้งแต่วันที่ 1 ตุลาคม 2550 เป็นต้นไป และมหาวิทยาลัยศิลปากรได้มีประกาศมหาวิทยาลัยศิลปากร เรื่อง การจัดตั้งและแบ่งหน่วยงานในกำกับของมหาวิทยาลัยศิลปากร (ฉบับที่ 20) พ.ศ. 2556 ลงวันที่ 9 พฤษภาคม พ.ศ. 2556 แบ่งหน่วยงานในกำกับของมหาวิทยาลัยศิลปากร โดยการจัดตั้ง กองนิติการ และแบ่งหน่วยงานในกองการเจ้าหน้าที่ และสานักงานวิทยาเขตสารสนเทศเพชรบุรี ให้มีความเหมาะสมยิ่งขึ้นตั้งแต่วันที่ 9 พฤษภาคม 2556 เป็นต้นไป ได้แก่
1. กองการเจ้าหน้าที่
2. กองคลัง
3. กองนิติการ
4. กองบริการอาคาร สถานที่และยานพาหนะ พระราชวังสนามจันทร์
5. สำนักงานตรวจสอบภายใน
6. สำนักงานประกันคุณภาพการศึกษา
7. สำนักงานวิทยาเขตสารสนเทศเพชรบุรี
โดยแบ่งพื้นที่ตั้งตามภารกิจในความรับผิดชอบของแต่ละกอง ดังนี้
| 1. กองกลาง | ตึกสำนักงานอธิการบดี ตลิ่งชัน ชั้น 6 และมหาวิทยาลัยศิลปากร วังท่าพระ |
| 2. กองการเจ้าหน้าที่ | ตึกสำนักงานอธิการบดี ตลิ่งชัน ชั้น 7 |
| 3. กองกิจการนักศึกษา | มหาวิทยาลัยศิลปากร วังท่าพระ และวิทยาเขตพระราชวังสนามจันทร์ |
| 4. กองคลัง | ตึกสำนักงานอธิการบดี ตลิ่งชัน ชั้น 6 |
| 5. กองงานวิทยาเขต | มหาวิทยาลัยศิลปากร วิทยาเขตพระราชวังสนามจันทร์ |
| 6. กองนิติการ | ตึกสำนักงานอธิการบดี ตลิ่งชัน ชั้น 7 |
| 7. กองบริการการศึกษา | มหาวิทยาลัยศิลปากร วังท่าพระ และวิทยาเขตพระราชวังสนามจันทร์ |
| 8. กองบริการอาคาร สถานที่และยานพาหนะ พระราชวังสนามจันทร์ | มหาวิทยาลัยศิลปากร วิทยาเขตพระราชวังสนามจันทร์ |
| 9. กองแผนงาน | ตึกสำนักงานอธิการบดี ตลิ่งชัน ชั้น 7 และมหาวิทยาลัยศิลปากร วิทยาเขตพระราชวังสนามจันทร์ (บางส่วน) |
| 10.สำนักงานตรวจสอบภายใน | ตึกสำนักงานอธิการบดี ตลิ่งชัน ชั้น 7 |
| 11.สำนักงานประกันคุณภาพการศึกษา | ตึกสำนักงานอธิการบดี ตลิ่งชัน ชั้น 3 |
| 12. สำนักงานวิทยาเขตสารสนเทศเพชรบุรี | มหาวิทยาลัยศิลปากร วิทยาเขตสารสนเทศเพชรบุรี |