Danh tiếng của trung tâm Phật học này lan rất xa, thậm chí thu hút người học đến cả từ Hy Lạp, Ba Tư, Trung Quốc và Tây Tạng. Tại Nalanda, các Tăng – Ni đến từ cùng một nơi sẽ được sắp xếp trong cùng một khu vực sinh hoạt, trong đó có những ghi chép rõ ràng về một khu vực đông người Tây Tạng tại Nalanda. Sau này, các tu viện Gelug lớn như Sera, Drepung và Ganden cũng có cách sắp xếp tương tự như thế. Lịch sử cũng ghi nhận từng có những người học giả, những nhà tranh biện hàng đầu tại Nalanda là người Tây Tạng.

Cuối thế kỷ thứ 12, đầu thế kỷ 13 (có tài liệu ghi năm 1193 hoặc 1203) các vương triều Hồi giáo Thổ Nhĩ Kỳ bắt đầu xâm lược Ấn Độ. Một trong những mục đích chính của những cuộc xâm lăng này chính là mong muốn cải đạo những vùng đất mà quân Hồi giáo đi qua. Thế nên, tuy không ở lại lâu dài nhưng quân Hồi giáo đã ra sức hủy hoại các tôn giáo trên vùng đất Ấn Độ trong đó có Phật giáo Ấn Độ. Nhiều trung tâm Phật giáo, tự viện bị phá hủy, kinh sách bị đốt cháy, Tăng – Ni bị giết hại. Nalanda cũng bị phá hủy trong những cuộc tàn phá tôn giáo tàn khốc đó, nhiều Tăng – Ni của Nalanda đã phải lưu vong sang Tây Tạng. Những tòa nhà đồ sộ của Nalanda ngày nào giờ chỉ còn trong các ghi chép, hiện thực chỉ còn là phế tích của một Đại học Phật giáo huy hoàng một thời.