ถ้ำหินโบราณแห่งภูเขาเทียนทีเป็นหนึ่งในถ้ำเก่าแก่ที่สุดที่มีการขุดค้นพบ บางครั้งเรียกว่า "วัดพระใหญ่" (Big Buddha Temple: Dafo Temple) นับรวมอายุกว่า 1,600 ปี สันนิษฐานว่าสร้างขึ้นสมัยราชวงศ์จิ้นตะวันออกและได้รับการบูรณะเสร็จสมบูรณ์ครั้งล่าสุดในปี 2020
ถ้ำหินแกะสลักภูเขาเทียนทีสร้างขึ้นจากถ้ำธรรมชาติ ภายในถ้ำมีรูปแกะสลักพระพุทธรูปหลายสิบองค์ กลางถ้ำใหญ่มีรูปปั้นพระศากยมุนีสูง 28 เมตร หันหน้าออกไปทางแม่น้ำ รวมทั้งจิตรกรรมฝาผนังความยาวกว่า 300 ตารางเมตร นักวิจัยเชื่อว่าบางส่วนมีอายุเก่าแก่ที่สุดในจีน
ถ้ำหินแกะสลักภูเขาเทียนทีได้ชื่อว่าเป็นแบบฉบับของถ้ำหินแกะสลักทางพุทธศาสนาของจีน หรือ "บรรพบุรุษแห่งถ้ำ" (Forefather of Grotto) โดยถือเป็นต้นแบบที่สำคัญของถ้ำผาหยุนกังและถ้ำผาหลงเหมินซึ่งเป็นสองในสามประติมากรรมถ้ำที่มีชื่อเสียงที่สุดของจีน
