החומה השנייה: במהלך התקופה גדלה העיר והתרחבה צפונה אל מחוץ לחומה. נראה שבאזור עמק הטירופיאון שכנו השווקים של צפון העיר. בשלב כלשהו – לכל המאוחר בימיו של המלך הורדוס – הוקף השטח בחומה. אנחנו יודעים מעט מאוד על תוואי החומה המכונה החומה השנייה. ננסה לפענח את תוואי החומה על בסיס המידע הקיים:
- יוסף בן מתתיהו מתאר את תוואי החומה השנייה בקצרה: "והחומה השנייה החלה על יד השער הנקרא גינת אשר לחומה הראשונה, והקיפה את רוח הצפון לבד והשתרעה עד מצודת אנטוניה". (מלחמות היהודים עם הרומאים, ספר ה', פרק ד': ב) כיוון שמקום מצודת האנטוניה ידוע, המפתח לשחזור תוואי החומה השנייה הוא זיהויו של שער גינת. מיכאל אבי-יונה, שבנה את דגם ירושלים בימי הבית השני (דגם "הולילנד"), המוצב כיום במוזיאון ישראל, סבר ששער גינת היה באזור שער יפו של ימינו. נחמן אביגד, שחפר בתחומי הרובע היהודי של ימינו אחרי מלחמת ששת הימים, זיהה שער בחומה בערך באמצע החלק הצפוני של החומה הראשונה וטען שזהו שער גינת. סמוך למקום זה זיהה אביגד את "שער התווך" משלהי ימי הבית הראשון.
- במתחם כנסיית הקבר מצויים מספר קברים יהודיים טיפוסיים לתקופה זו. בנוסף, קיימת מסורת נוצרית שכאן מקום קבורתו של ישו (שמת ונקבר כיהודי). כיוון שיהודים נהגו לא לקבור מתים בירושלים – אזור זה צריך להיות מחוץ לתוואי החומה השנייה, שכבר עמדה באותה תקופה. מיכאל אבי-יונה, שכאמור זיהה את שער גינת באזור שער יפו בגלל האוכף הקיים בין נחל המצודה לנחל הצולב, נאלץ בשחזור החומה השנייה מנקודה זו ליצור פיתול בחומה "שיוציא" את אזור כנסיית הקבר מתחומי העיר; לעומת זאת, שחזור קו חומה צפונה משער גינת של אביגד יוצר קו ישר.
- ברחוב הנוצרים בן זמננו, ממזרח לבריכת המגדלים, זוהו שרידי בנייה של קיר אבן גדול וחזק. השרידים לא זוהו בחפירות ארכאולוגיות סדורות או בסקר ארכאולוגי, אלא תוך כדי שיפוצים ובנייה שנערכו באזור זה. עמוס קלונר סבור ששרידים אלה הם קטע מתוואי החומה.
- בין שער שכם לשער הפרחים זוהה חפיר (חציבה בסלע), שעל פי גבי ברקאי נחצב עוד בימי הבית הראשון. יכול להיות שעל בסיס חפיר זה אפשר לזהות את החלק הצפוני של תוואי החומה השנייה. בחפירות שנערכו בשער שכם נחשפו כמה אבני בנייה עם סיתות אופייני לתקופת המלך הורדוס. למרות שנראה כי מדובר באבנים בשימוש משני (כלומר, אבנים שנלקחו ממבנה אחר כדי לשמש במבנה זה וכך השתמשו בהן בפעם השנייה), יש חוקרים המזהים בקיומן עדות לכך שהחומה השנייה הגיעה בצפון עד לקו זה. עדות זו מצטרפת לקיומו של החפיר שהוזכר קודם. דעת מיעוט של חוקרים משחזרת את החלק הצפוני של החומה השנייה בתוואי מדרום לשער שכם, כשהוא פונה מזרחה ישירות אל מצודת האנטוניה.
על פי נתונים אלו מקובל לשחזר את תוואי החומה השנייה בקו ישר שעולה צפונה מהמקום שבו אביגד זיהה את שער גינת, פונה מזרחה באזור שער שכם של ימינו, דרומה באזור שער הפרחים של ימינו ומתחבר למגדל הצפון-מזרחי של מצודת האנטוניה.