มหาวิทยาลัยศิลปากรจัดตั้งหอสมุดกลางขึ้นเมื่อปีพ.ศ.2507 โดยตั้งอยู่ในอาคารสำนักงานอธิการบดี มีฐานะเป็นแผนกสังกัดกองกลาง สำนักงานอธิการบดีวังท่าพระ  ต่อมาในปีพ.ศ.2511 มหาวิทยาลัยขยายการจัดการศึกษาไปยังวิทยาเขตพระราชวังสนามจันทร์ จังหวัดนครปฐมจึงได้จัดตั้งห้องสมุดอีกแห่งหนึ่งขึ้นที่พระราชวังสนามจันทร์ และเมื่อวันที่ 19 กรกฏาคม 2532 มหาวิทยาลัยได้รวมหอสมุดวิทยาเขตพระราชวังสนามจันทร์และวังท่าพระเข้าด้วยกัน โดยจัดตั้งเป็น“ สำนักหอสมุดกลางมหาวิทยาลัยศิลปากร” ต่อมา มหาวิทยาลัยขยายการศึกษาไปยังวิทยาเขตสารสนเทศเพชรบุรี จึงได้เปิดหอสมุดวิทยาเขตสารสนเทศเพชรบุรีขึ้น อีกแห่งหนึ่ง เมื่อวันที่ 17 พฤษภาคม พ.ศ. 2545เป็นห้อง สมุดเล็กๆ ตั้งอยู่ในตึกอาคารเรียน รวมชั้น3 ปี พ.ศ. 2549ได้ย้ายหอสมุดมาอยู่ ณ ตึกอาคารวิทยบริการ ชั้น 1 ชั้น 2 ประกอบด้วยพื้นที่ให้บริการจำนวน 1,949.29 ตารางเมตรต่อมาในปี พ.ศ. 2552 ได้มีการปรับปรุงตกแต่งภายในอาคารหอสมุดทั้ง 2 ชั้น ให้มีความทันสมัยรองรับการเรียนการสอนของคณะวิชาต่างๆ