وكانت الانطلاقة الأولى للمكتبة من إحدى قباب الحرم المكي المخصصة لحفظ المصاحف التي ترد إلى الحرم حتى انتقلت عام 1357هـ ولأول مرة إلى خارج الحرم لتكون تابعة لوزارة الحج والأوقاف حتى عام 1385هـ، حيث ضُمت للرئاسة العامة للإشراف الديني بالمسجد الحرام حتى تغير اسمها إلى الرئاسة العامة لشؤون المسجد الحرام والمسجد النبوي، وأصبحت مكتبة عامة تقدم خدماتها لطلاب وطالبات العلم.