Le masjid abi-Bakr est situé sur le flanc sud-ouest de la mosquée du Prophète et au nord-ouest du masjid al-Ghamama. Selon une tradition Muhammad a prié la prière de l'Aïd sur ce site, et abu Bakr après que le prophète ait poursuivi la tradition pendant son califat, elle lui a donc été attribuée

Il a été construit pour la première fois dans la principauté d'Omar Bin Abdul Aziz à Médine (86-91 AH/705-709 CE), et il a été rénové par le sultan ottoman Mahmoud II en 1254 Hj./1838 CE.

Il est de forme carrée et la longueur de son côté est de neuf mètres. Il a été construit avec des pierres de basalte noires et a été peint en blanc de l'intérieur avec un dôme au-dessus dont la hauteur est de 12 mètres. Il a une cour rectangulaire dont la longueur est de 13 mètres et la largeur est de 6 mètres, et un minaret de 15 mètres de haut.

La petite mosquée a un dôme et un minaret a un dôme simple et très orné. Le minaret unique de la mosquée conserve sa structure ottomane et ressemble étroitement au minaret Bab as-Salam de Masjid Nabawi. Le minaret a un balcon de muazzin près du centre. À l'extérieur, le dôme de la petite mosquée est construit avec une architecture de style nervuré.