بعد تسلم عمر بن الخطاب مفاتيح بيت المقدس من البطريرك صفرونيوس "Sophronius" خطب عمر في أهل بيت المقدس قائلا: «يا أهل ايلياء لكم ما لنا وعليكم ما علينا.» ثم دعاه البطريرك لتفقد كنيسة القيامة، فلبى دعوته، وأدركته الصلاة وهو فيها فالتفت إلى البطريرك وقال له أين أصلى، فقال «مكانك صل» فقال: ما كان لعمر أن يصلي في كنيسة القيامة فيأتي المسلمون من بعدي ويقولون هنا صلى عمر ويبنون عليه مسجدا. وابتعد عنها رمية حجر وفرش عباءته وصلى، وجاء المسلمون من بعده وبنوا على ذلك المكان مسجدا المسمى بمسجد عمر.

وأعطى عمر أهل بيت المقدس عهداً مكتوباً (العهدة العمرية) وكان ذلك في العام 15 الهجري.

الدولة الأيوبية

شيد مسجد عمر في شكله الحالي من قبل الأفضل بن صلاح الدين في عام 1193 ميلادي، ويحتوي المسجد على مئذنة من 15 متراً والتي بنيت قبل عام 1465 وتم تجديدها من قبل السلطان العثماني عبد المجيد الأول (1839-1860).