วัดโทไดจิสร้างขึ้นครั้งแรกเมื่อปี 752 เพื่อแสดงให้เห็นถึงบุญญาธิการของจักรพรรดิญี่ปุ่นและเพื่อคุ้มครองชาวเมืองให้รอดพ้นจากภัยพิบัติเนื่องจากจักรพรรดิทรงมีความเชื่อว่าพระพุทธรูปจะช่วยปกป้องคุ้มครองชาวเมืองให้รอดพ้นจากภัยพิบัติทั้งภัยธรรมชาติและโรคระบาดได้
ชื่อวัด "โทไดจิ" มีความหมายว่า "มหาวิหารตะวันออก" (Great Eastern Temple) ได้รับการขึ้นทะเบียนเป็นมรดกโลกทางวัฒนธรรมในฐานะส่วนหนึ่งของอนุสรณ์สถานทางประวัติศาสตร์นาระโบราณเมื่อปี 1998 จากองค์การยูเนสโก
บริเวณทางเข้าวัดเป็นซุ้มประตูขนาดใหญ่เรียกว่า "ประตูนันไดมง" (Nandaimon Gate) สร้างขึ้นในปี 1199 มีเสา 18 ต้นรองรับน้ำหนัก
วิหารหลักของวัดเรียกว่า "หอไดบุตสึ" (Daibutsuden: Big Buddha Hall) ภายในประดิษฐานพระพุทธรูปไดบุตสึองค์ใหญ่ หล่อจากสำริดสูง 14.98 เมตร น้ำหนักราว 500 ตัน โดยพระพุทธรูปไดบุตสึของวัดโทไดจิเป็นต้นแบบของพระไดบุตสึแห่งวัดโคโตกุในเมืองคามาคุระ
สำหรับองค์พระพุทธรูปไดบุตสึได้รับการหล่อขึ้นใหม่หลายครั้งหลังจากได้รับความเสียหายที่เกิดจากแผ่นดินไหวและอัคคีภัย ส่วนวิหารไดบุตสึที่เห็นอยู่ในปัจจุบันถูกสร้างขึ้นมาใหม่เมื่อปี 1692 โดยมีการลดขนาดลงเหลือเพียงสองในสามของขนาดเดิมที่สร้างขึ้นในครั้งแรก