Постройка датируется девятым веком нашей эры, и по праву заслуживает звание одной их древнейших построек на территории современного Египта. Через некоторый промежуток времени после завершения строительства синагоги она приходит в упадок. Исходя из некоторых исторических источников дата начала основания синагоги приходится на 350 год до н.э. В это время Александр Великий дает пророку Иеремии согласие на строительство синагоги, поскольку именно в этот период времени Иерусалимский Храм был разрушен.
С приходом 12 века начинаются работы по восстановлению синагоги благодаря стараниям раввина Абрахам Бен Эзра. Есть несколько легенд, которые рассказывают о выборе месте для постройки этой синагоги. Одна из них гласит, что на этом месте выстроили синагогу, поскольку здесь есть родник, у которого дочь фараона нашла в корзине маленького Моисея. Другие придания гласят о том, что на это месте Моисей совершил молитву перед посещение фараона, в момент, когда он просил вывести из Египта еврейский народ. У входа в саму синагогу есть камень, на котором Моисей молился. Еще одно сказание говорит о том, что синагогу выстроили в месте, где пророк Иеремия собрал евреев после разрушений Навуходоносора. Интересным является тот факт, что во времена правления калифов в Египте синагоги разрушали, а синагога Бен Эзры оставалась нетронутой.
