傳說那爛陀寺所在地原本是庵沒羅園，後來5百商人捐金錢買下獻佛，佛在此說法3月。唐三藏玄奘大師的《大唐西域記》卷9詳載那爛陀寺建寺之由來及沿革，謂其地原為庵摩羅園，佛陀曾於此說法3月，彼入滅後未久，帝日王即於此處創建伽藍。
5世紀初，笈多王朝摩揭陀國王鑠迦羅阿迭多在此興建佛寺，子佛陀鞠多王在寺南擴建，此後呾他揭多鞠多王在東面建寺，幼日王在東北建寺，金剛王在此西建寺，中印度王在此北建寺，帝日王此東建大寺，中供佛像。經過歷代君王的營建，那爛陀寺宏偉壯觀。
427年左右那爛陀大學建成，全寺分8大院，大乘有宗著名之論師，如護法、德慧、護月、堅慧、光友、勝友、智月、戒賢、智光等人都曾先後在此講學，或擔任本寺住持。那爛陀寺每天都有一百多個講壇，學習課程包括大乘佛典、天文學、數學、醫藥等。
全盛時期的那爛陀大學據說藏書高達900萬卷，在這裡學習的僧人學生有1萬多人，來自中國、蒙古、高麗、日本、波斯等地。
據《大慈恩寺三藏法師傳》卷3所載，那爛陀寺為7世紀時印度第一大寺，僧徒常達萬人，修學大乘及小乘18部、吠陀、因明、聲明、醫方、術數等。由此可知，那爛陀寺儘管是一所佛教機構，但它的教學研究並不僅限於佛學，還有很多世俗的學科，例如天文、數學、語言、醫藥等等。
那爛陀寺最初係唯識學派之中心，8世紀初成為密宗金剛乘的學術中心，也是重要道場。隨後笈多王朝沒落，印度教勃興，頓告衰微。
1193年突厥人巴克赫提亞爾˙卡爾積（Bakhtiyar Khalji）帶兵侵占那爛陀寺，寺院和圖書館遭受嚴重破壞，大批那爛陀僧侶逃往西藏避難，從此那爛陀寺失去昔日的光輝。
據傳1324～1327年元朝泰定初期尚有依止那爛陀寺僧人律賢（梵Vinaya-bhadra ）出家之提納薄世紀陀比丘來華，可知本寺於14世紀時尚存。
14世紀以後，漸漸被遺忘，變成廢墟。
1861年，英國考古學家亞歷山˙康寧漢在這裡發現了一片佛教遺址，經過與《大唐西域記》的記載核對，證明這就是那爛陀寺。進一步的考古發掘也證實了這裡的確就是那爛陀寺。
