วัดม้าขาวเป็นวัดในพุทธศาสนาแห่งแรกและถือเป็นจุดเริ่มต้นของพุทธศาสนาในประเทศจีน วิหารหลักของวัดได้รับการบูรณะใหม่หลายครั้งในสมัยหมิงและชิง รวมทั้งมีการปรับปรุงใหม่ในปี 1950 และ 1973 หลังจากมีการปฏิวัติวัฒนธรรมโดยภายในประดิษฐานพระพุทธรูปและรูปปั้นพระโพธิสัตว์
ตามตำนานเล่ากันว่า "จักรพรรดิฮั่นหมิง" (Emperor Ming) ทรงฝันประหลาดจึงส่งทูตเดินทางไปยังแสวงบุญถึงอินเดีย เมื่อคณะทูตได้พบภิกษุชาวอินเดีย 2 รูป จึงเชื้อเชิญให้ร่วมเดินทางมายังประเทศจีนพร้อมกับพระคัมภีร์ พระธาตุและพระพุทธรูป โดยบรรทุกมาบนม้าขาว 2 ตัว
เมื่อคณะทูตและภิกษุชาวอินเดียเดินทางมาถึง จักรพรรดิฮั่นหมิงจึงโปรดให้สร้างวัดขึ้นเพื่อใช้เป็นสถานที่เก็บรักษาและแปลพระคัมภีร์เป็นภาษาจีนพร้อมกับประทานนามวัดแห่งนี้ว่า "วัดม้าขาว" เพื่อเป็นอนุสรณ์สถานให้กับม้าขาวทั้งสองตัว โดยที่หน้าประตูทางเข้าวัดจะมีม้าหินสองตัวตั้งอยู่เป็นสัญลักษณ์
ด้านนอกวัดมีเจดีย์โบราณซึ่งเป็นเจดีย์แห่งแรกของจีน เจดีย์แห่งนี้ผ่านการถูกทำลายหลายต่อหลายครั้ง ส่วนองค์เจดีย์ที่เห็นในปัจจุบันนั้นถูกสร้างขึ้นในปี 1175 จุดที่น่าสนใจอีกแห่งของวัดคือ ด้านตะวันออกของวัดเป็นที่ตั้งสุสานของท่านตี๋เหรินเจี๋ย อัครมหาเสบาบดีผู้ยิ่งใหญ่สมัยราชวงศ์ถัง