למרות שבין החוקרים קיימת מחלוקת לגבי ראשיתו של מוסד בית הכנסת, אין ספק שבשלהי ימי הבית השני מוסד זה כבר היה קיים. עדות לקיומם של בתי כנסת בתקופה זו ניתן למצוא במקורות הכתובים ובעיקר בברית החדשה ובכתבי יוסף בן מתתיהו; בממצאים ארכאולוגיים ישירים של מבנים שזוהו כבתי כנסת בארץ ובתפוצות: גמלא, יריחו(?), קריית ספר, מודיעין, עיתרי, מגדל, חורבת דיאב, ושל מבנים בהרודיון ובמצדה, שהוסבו לשימוש כבתי כנסת; וגם בממצאים ארכיאולוגיים המרמזים על קיום בית כנסת, כמו כתובת תיאודוטוס שנמצאה בירושלים. קיומו של מוסד בית הכנסת בתקופה שבה בית המקדש השני היה קיים, ואפילו בירושלים בקרבה רבה לבית המקדש עצמו, מעלה שאלות על תפקידיו של מוסד בית הכנסת בתקופה זו ועל היחס בינו לבין בית המקדש.
על תפקידיו של בית הכנסת בימי הבית השני ניתן ללמוד מכתובת תיאודוטוס, אשר נמצאה בחפירות ריימונד וייל בעיר דוד בשנת 1913. הכתובת נכתבה ביוונית וזה תרגומה:
תֶאוֹדוֹטוֹס בן וֶטֶנוּס, כהן וראש בית הכנסת (אַרְכֵיסִינַגוֹגוֹס), בן לראש בית הכנסת ונכד לראש בית הכנסת, אשר בנה את בית הכנסת לשם קריאת התורה ולימוד המצוות, ואת האכסניה, החדרים ומתקני המים לשימוש המבקרים מחוץ לארץ, ואשר אביו, יחד עם הזקנים וסִימוֹנִידוֹס, יסד את בית הכנסת.
התפקידים המרכזיים של בית הכנסת, כפי שהם מוצגים בכתובת תיאודוטוס, הם קריאה בתורה ולימוד. הקריאה בתורה ולימודה, כמו גם קריאת ההפטרה מהנביאים, כתפקיד מרכזי של בית הכנסת בימי הבית השני עולה גם ממקורות אחרים. למנהג קריאת התורה נלווה גם מנהג של דרשה על בסיס הפרקים שנקראו. כתובת תיאודוטוס לא מזכירה את התפילה בבית הכנסת. ואכן לא ברור לנו האם כבר בימי הבית השני הייתה התפילה תפקידו המרכזי של בית הכנסת. מקובל על רוב החוקרים שגם אם הייתה תפילה בבתי הכנסת של ימי הבית השני, היא הייתה מצומצמת בהיקפה ואולי כללה את קריאת שמע וגרסה מוקדמת של תפילת שמונה עשרה. תפקידים אחרים של בית הכנסת בימי הבית השני הנזכרים במקורות הם מרכז ציבורי-קהילתי, מקום בית הדין של הקהילה ומוקד להפקדת כספי צדקה.
בין בית הכנסת לבין בית המקדש קיימים קווי דמיון רבים. שניהם שימשו מרכז פולחני ואמוני, מקום התכנסות, מוקד ללימוד תורה, מרכז משפטי ומרכז רוחני. אך בעוד שבית המקדש מייצג ריכוזיות של הפולחן, מוסד בית הכנסת מייצג מגמה ביזורית (ההפך מריכוזית) בפולחן היהודי. ראינו כבר, בתקופת הבית הראשון, את התנודות בין שתי מגמות אלה – הריכוזית והביזורית. למשל, ברפורמה הפולחנית של יאשיהו, שבה רוכז הפולחן לבית המקדש בירושלים בלבד ונגנזו מקדשים אחרים לאלוהי ישראל, כמו אלה בערד ובבאר שבע. גם בית הכנסת אפשר ביזור של הפולחן מכמה בחינות: א. האפשרות לקיים את עבודת האלוהים בכל מקום ולא רק בבית המקדש בירושלים; ב. קריאה בתורה ותפילה (מצומצמת), שניתנות להיעשות בכל בית כנסת, בשונה מהקרבת קורבנות שניתנת להיעשות רק בבית המקדש; ג. האפשרות של כל אדם מישראל להיות נוכח בפולחן בבית הכנסת, ואפילו לקחת בו חלק; ד. בית המקדש הופעל והונהג בידי הכוהנים בלבד, ואילו את בתי הכנסת יכלו להפעיל ולהנהיג כל שכבות הציבור היהודי.
וכך, אנחנו יכולים לראות את בית הכנסת ואת בית המקדש כמוסדות המשלימים זה את תפקידו של זה. עדות לכך אפשר לראות במנהג שעל פיו, כאשר משמרת כוהנים הייתה עולה לירושלים מלווה במעמד – היו בני יישוב המוצא מתכנסים בבית הכנסת וקוראים בספר בראשית. אחרי חורבן בית המקדש, כאשר בית הכנסת נשאר המוסד הפולחני היחיד, עברו אליו כמה מהטקסים שנהגו בבית המקדש. כך, לדוגמה, סדר התפילות נתפס כעוקב אחרי סדר הקורבנות בבית המקדש.
