عرف الجامع نسبة إلى مؤسسه "سليمان باشا الخادم" والي مصر في عهد السلطان سليمان القانوني. تم بناء الجامع على أنقاض مسجد يعود للعصر الفاطمي بالقلعة عام 935هـ/ 1528م. يعد جامع سارية الجبل أول نموذج مبني على الطراز العثماني، حيث يحيط به سور ويصعد إليه عن طريق سلم من ناحيتين وتنتهي مئذنته بقمة مخروطية مدببة على هيئة القلم الرصاص، ويؤدي المدخل إلى صحن أوسط مكشوف يتقدمه بيت للصلاة.
يتكون بيت الصلاة من مساحة مربعة مغطاه بقبة مركزية، يحيط بها ثلاثة إيوانات مغطاة بأنصاف قباب حجرية. يتميز منبر الجامع الرخامي بزخارف نباتية وهندسية رائعة، ودكة مبلغ. أما الحرم بالجهة الشمالية الغربية لبيت الصلاة، يتكون من صحن أوسط مكشوف تحيط به أربع ظلات غطيت بقباب ضحلة، وبالحرم مزولة (ساعة شمسية). يوجد بالرواق الشمالي الغربي قبة ضريحيه دُفن بها "أبي منصور قسطة" مؤسس المسجد الفاطمي القديم، بالإضافة إلى عدة تراكيب رخامية وشواهد قبور لشخصيات بارزة من العصر العثماني.
توالت الإضافات على الجامع في عهد محمد علي باشا حيث أضاف السقيفة التي تتقدم المدخل الغربي، كما قام الملك فاروق الأول (1939 – 1952م) بترميمات داخل المسجد، وقامت لجنة حفظ الآثار العربية الجامع بترميمه عام 1891م دون المساس بمعالمه الأصلية.
