ورغم تسمية المسجد باسم الشيخ الرفاعى، إلا أنه لم يدفن بهذا المسجد، ولم يدفن بمصر البتة، فيما دفن به حفيده الشيخ على أبى شباك، وشيد هذا المسجد فوق مسجد آخر عرف باسم مسجد "الذخيرة"، بنى فى العصر الأيوبى.
وقررت خوشيار هانم، أن تحول هذه الزاوية والمبانى المجاورة لها إلى مسجد كبير، فاشترت كل المبانى التى حولها، وهدمتها، لتبنى مسجدا من أكبر مساجد القاهرة، ولتكن مقبرة أيضا لأسرة محمد على، فاختارت المهندس حسين باشا فهمى وكيل ديوان الأوقاف، ليضع الخطة التصميمية لهذا الصرح ببناء قبتين للشيخين، ومقبرة لها ولأحفادها.
واستمر العمل فى المسجد من عام 1869 ثم توقف البناء به عام 1880، لإدخال تعديلات على التصميم، ثم جاءت وفاة خوشيار هانم عام 1885، فتوقف البناء رغم أنها دفنت به حسب وصيتها.
ولمدة ربع قرن، ظل البناء متوقفا، حتى تولى الخديوى عباس حلمى الثانى عرش المحروسة، وكلف هرتس باشا مدير الآثار المصرية فى هذا الوقت، إكمال بناء المسجد عام 1911، وافتتح للصلاة عام 1912 يوم الجمعة الموافق غرة محرم عام 1330 هـ، وبنى المسجد على غرار مسجد السلطان حسن، ليشبهه فى عمارته الفخمة وضخامة حجمه وارتفاعه.
وضم المسجد فى مقبرته عدة شيوخ وملوك، ومن أشهر مقابره ضريح الشيخ على أبى شباك، والشيخ يحيى الأنصارى، وضريح والدة الخديوى إسماعيل خوشيار هانم، وأيضا ضم الضريح الخديوى إسماعيل باشا وأولاده، وهم، وحيدة، وزينب هانم، وعلى جمال الدين، وإبراهيم حلمى، وزوجاته، وهم، فزا، وجانانيار، وجشم آفت هانم، وتتصل بهذه الأضرحة مقبرة السلطان حسين كامل بن إسماعيل الذى تولى حكم مصر عام 1914، ليخلفه بعد ذلك أخوه الملك فؤاد.
كما دفن فى تلك المقابر، شاه إيران الأخير "محمد رضا بهلوى"، الذى كان فى يوم من الأيام زوجاً للأميرة "فوزية"، شقيقة الملك فاروق، والتى طلقت منه منتصف الأربعينات، وجاءت نهايته وطريقة دفنه فى مقابر الرفاعى درامية للغاية، حين انهار ملكه عقب قيام الثورة الإسلامية فى إيران عام 1979، وتم نفيه، حيث لم يجد من يستقبله سوى الرئيس الراحل "محمد أنور السادات"، وعند وفاته عام 1980 أمر بدفنه فى مسجد الرفاعى.
أيضا كانت الزاوية قبراً لوالده الشاه رضا بهلوى الذى خلعته إنجلترا أثناء الحرب العالمية الثانية، ونفته إلى جنوب أفريقيا، ووضعت ابنه محمد رضا بهلوى العرش عام 1941، وبعد ذلك بثلاثة أعوام، مات رضا بهلوى فى منفاه، ونقل جثمانه إلى مسجد الرفاعى، ليدفن هناك فى فترة زواج فوزية هانم بشاه إيران.
وفى اليوم الأخير من شهر مارس وصل جثمان فاروق من إيطاليا ليلاً إلى إحدى مقابر الأسرة بالقاهرة، وبعد وفاة عبد الناصر عام 1970 وافق الرئيس السادات على نقل رفات آخر ملوك مصر إلى مسجد الرفاعى حسب وصيته، وتوجد على قبره تركيبة رخامية بيضاء مدون عليها تاريخ ولادته فى قصر عابدين، وتاريخ توليه الحكم، ثم تاريخ تنازله عن العرش.
