มหาวิทยาลัยศิลปากรจัดตั้งห้องสมุดของมหาวิทยาลัยขึ้นเป็นแห่งแรก ณ วังท่าพระ เมื่อ พ.ศ. 2507 เพื่อเป็นแหล่งข้อมูลสนับสนุนการเรียน การสอน การวิจัย และการศึกษาค้นคว้าของคณะวิชาที่มีการเรียนการสอนด้านศิลปะการออกแบบ และโบราณคดี มีสถานที่ทำการอยู่ในตึกสำนักงานอธิการบดี ซึ่งตั้งอยู่ ณ อาคารด้านหลังอนุสาวรีย์ ศาสตราจารย์ศิลป์ พีระศรี ต่อมามหาวิทยาลัยได้ก่อสร้างอาคารหอสมุดขึ้นฝั่งถนนหน้าพระลานออกแบบโดยผู้ช่วยศาสตราจารย์สุริยา รัตนพฤกษ์ ที่เน้นการออกแบบไม่ให้ตัวอาคารบดบังทัศนยภาพของอาคารท้องพระโรง และกลายเป็นฉากด้านหลังกำแพงวังขับเน้นประติมากรรมลอยตัวของใบเสมาให้โดดเด่นขึ้น เปิดทำการอย่างเป็นทางการเมื่อวันที่ 16 มิถุนายน พ.ศ. 2518 จนถึงปี พ.ศ. 2549 หอสมุดทำการปรับปรุงพื้นที่พร้อมทั้งออกแบบตกแต่งภายในอาคารหอสมุดให้มีภาพลักษณ์ที่ทันสมัยและสวยงาม โดยการควบคุมดูแลของอาจารย์สมบัติ  วงศ์อัศวนฤมล คณะมัณฑนศิลป์ ด้วยแนวคิด “บริหารจัดการพื้นที่น้อยโดยออกแบบให้เกิดประโยชน์ใช้สอยให้มากที่สุด ”