עם כיבושה של ירושלים בידי הצלבנים בשנת ד' תתנ"ט 1099, נכחדה האוכלוסייה היהודית בירושלים. אחרוני היהודים שנלחמו נגד צבאות הצלבנים, מצאו מקלט בבית הכנסת, ומשנכבשה העיר, העלו הצלבנים באש את ביהכ"נ על הנמצאים בתוכו. ערב בואו של הרמב"ן לירושלים, הייתה ירושלים היהודית חרבה במשך כ-170 שנה. רק יהודים בודדים התגוררו בה. רציפות הישוב היהודי שנקטעה בירושלים, נתחברה שוב, עם עלייתו של הרמב"ן.
הרמב"ן הגיע לירושלים, ביום ט' באלול שנת ה' אלפים כ"ז (1267),
במכתבו לבנו תיאר הרמב"ן את פרשת יסודו של בית הכנסת:
"ומה אגיד לכם בעניין הארץ, כי רבה העזובה וגדול השיממון… ירושלים יותר חרבה מן הכל, ואין ישראל בתוכה, רק שני אחים צבעים קונים הצביעה מן המושל, ואליהם יתאספו עוד מנין מתפללים בביתם בשבתות, והנה זרזנו אותם, ומצאנו בית חרב, בנוי בעמודי שיש, וכיפה יפה, ולקחנו אותו לבית כנסת. כי העיר הפקר וכל הרוצה לזכות בחרבות זוכה, והתנדבנו לתיקון הבית, וכבר התחילו לבנות, ושלחו לעיר שכם להביא משם ספרי תורה אשר היו מירושלים ומי שזיכני לראות ירושלים בחורבנה, הוא יזכני לראותה בבניינה ותיקונה, בשוב אליה כבוד השכינה".
יש המשערים כי הבניין אותו בחר הרמב"ן לבית הכנסת היה בית כנסת בתקופת הגאונים, אלא שבמלחמות נחרב. משבא הרמב"ן לירושלים וחיפש מקום לבית כנסת בתוך החורבות, בחר בחורבה זו והפכה שוב לבית כנסת.
שלוש שנים בלבד ישב הרמב"ן בירושלים, אולם בתקופה קצרה זו הביא לתפנית בתולדות הישוב היהודי בארץ ישראל.
רבנו עובדיה מברטנורה, פרשן המשנה, שעלה לירושלים כ-220 שנה לאחר מכ,ן כותב באגרתו לאביו בשנת רמ"ח (1488) על בית הכנסת של הרמב"ן:
"וירושלים רובה חרבה ושוממה... אין בה ספרי תורה אלא מעט, תחת אשר היו בה... ובית הכנסת של ירושלים הוא בנוי על גבי עמודים וארוך וצר ואפל, ואין נוגה לו, כי אם מן הפתח, ובתוכו בור של מים".
כעבור 35 שנים נוספות הגיע לירושלים ר' משה באסולה. בית הכנסת של הרמב"ן היה עדיין בית הכנסת היחיד בעיר, ור' משה באסולה תיארו במדויק.
"בית כנסת אחד בלבד יש בירושלים ויפה הוא, עם ארבעה עמודים בתוכה (נוסח אחר: בתווך). אורכו ס"ג פידי (כלומר 63 רגל) ורוחבו כ"ח, ולפנים ההיכל חדר עם ספרי תורה סביב הם יותר מששים. הם מתפללים למזרח והוא נגד בית המקדש, ואין לבית הכנסת אורה אלא מן הפתח שהוא במערב, וחלון קטן עליו, וגם ביום משתמשים לאור הנרות שמדליקים סביב".
בסוף המאה ה-16 הבעלות על בית הכנסת של הרמב"ן עברה לידי הערבים. במשך כ-400 שנה, הוא שימש להם כבית טחינה לצימוקים, מחסן פחמים, ולבסוף בית חרושת לגבינה.
לפני למעלה מ-100 שנה חזר הבית לידיים יהודיות וקול התורה שוב בקע מישיבתו של הרמב"ן ברחוב היהודים.
במלחמת השחרור 1948 נפל הרובע היהודי לידי הלגיון הירדני.
במלחמת ששת הימים בשנת תשכ"ז, לאחר 19 שנות ניתוק, ובמלאת 700 שנה לעלייתו של הרמב"ן, שוחרר הרובע היהודי בעיר העתיקה והוא כולו חורבות ועיי מפולת. גם בית הכנסת של הרמב"ן היה הרוס.
הלכנו בעקבות הרמב"ן לחפש אחר העמודים של בית מדרשו, פתחנו פתח צר סמוך לחצר "החורבה" שהוביל לפרוזדור ארוך, מצאנו את עצמנו בחצר קטנה ובה מדרגות שעולות לקומה השנייה. המבנה שימש למגורי עוני של משפחות שחיו בצפיפות רבה, בתוך ערבוביית הקירות והמחיצות, נתגלה רק עמוד שיש אחד. יתר שלושת העמודים כאילו נעלמו. כשהחלו במלאכת החשיפה, סולקו הקירות והמחיצות, והנה נתגלה עמוד שיש שני, תומך את התקרה המקומרת. המקום פונה והוכשר מחדש לתפילה. אך חסרו עדיין שני העמודים הנוספים שעליהם כתב רבי משה באסולה. לאחר שנמצאה פרצה בצדו האחורי של הבית והוצאו שפכי האדמה שהצטברו בו, נחשפו שני עמודי שיש נוספים, העמוד השלישי והעמוד הרביעי, ונתגלתה תבניתו של בית הכנסת העתיק במלואה.
התחילה מלאכת שיקומו של בית הכנסת העתיק אשר יסד הרמב"ן, שוקם ונקשר מחדש הקשר בין הרמב"ן שחידש את הישוב היהודי לפני 700 שנה, לבין מדינת היהודים שקמה ושיחררה את העיר העתיקה של ירושלים.
