يقع الكنيس بالقرب من جامع عمر بن الخطاب، وسط حارة اليهود، وينسب إلى الرابي (الحاخام) موشيه بن نحمان (رمبان). كان الكنيس يتشكل من قبة محمولة على أربعة أعمدة رخامية، وبالرغم من ورود تلك المعلومة في الكثير من المصادر اليهودية، إلا أن أحدا لم يرى كنيس رمبان هذا إلا بعد العام 1400م. هدم هذا الكنيس عام 1474م، وتم إعادة تشييده في العام التالي، وظل مستخدما حتى العام 1588م حيث أغلق وانتقلت ملكيته إلى ملكية خاصة (إلى عائلة مسلمة)، وذلك بسبب الديون المتراكمة على الطائفة اليهودية، وبقي ملكًا لعائلة فلسطينية حتى العام 1967، حين تمّت مصادرة كل المنطقة المحيطة، وجرى ترميمه ليستخدم منذ ذلك الحين ككنيس.
يبلغ طول الكنيس 21.5م، وعرضه 6.7م، وارتفاعه 7.3م، ويتشكل من قاعة فيها أربعة أعمدة (لا توجد قبة الآن)، مسقوفة بعقود متقاطعة، وفي وسط القاعة ترتفع المنصة (بَماه) التي تستعمل لقراءة الصلوات. يستعمل المبنى اليوم كمركز ثقافي وتعليمي، ويتم بناء ملحقات حديثة للبناء تصل إلى ثلاثة أضعاف حجم البناء التاريخي.
