وأول بناء لهذا المسجد كان في عهد الخلفية الأموي عمر بن عبدالعزيز، حيث كان بناؤه من الطين وسعف النخل للسقف ثم تجدد بناء المسجد في العهد العثماني عام 1062هـ، وأعاد بناءه مرة أخرى الملك فيصل بن عبدالعزيز رحمه الله وأمر بتجديد بنائه على طراز الحرم النبوي الشريف في عام 1393 هـ.