על מראה ירושלים בתקופה הפרסית אין בידינו מידע רב, לא מהמקורות ההיסטוריים ולא מהחפירות הארכאולוגיות שחשפו רק ממצאים מעטים מתקופה זו. משום כך קיימת מחלוקת בין החוקרים באשר לתחומי העיר ולתוואי חומותיה. כמו ביחס לימי הבית הראשון כך גם ביחס לימי שיבת ציון, ישנם חוקרים מרחיבים וחוקרים מצמצמים. גם בנוגע לתקופה זו כולם מסכימים שהעיר כללה את הגבעה המזרחית ואת הר הבית, והוויכוח מתמקד בשאלת הכללתה של הגבעה המערבית בתחומי העיר.
המרחיבים טוענים שנחמיה שיקם את חומות העיר על פי התוואי של התקופה הקודמת – כלומר, בתוואי של חומת חזקיהו המקיפה את הגבעה המערבית. לחיזוק דבריהם מביאים המרחיבים ציטוטים מספר נחמיה: "וְהָעִיר רַחֲבַת יָדַיִם, וּגְדֹלָה, וְהָעָם מְעַט, בְּתוֹכָהּ" (נחמיה ז' 4), "וַיַּעַזְבוּ, יְרוּשָׁלִַם, עַד, הַחוֹמָה הָרְחָבָה." (נחמיה ג' 8). בנוסף, החומה מתוארת כבעלת שישה שערים, כפי שהיו בחומת בית ראשון. קשה להסביר מספר כה גדול של שערים בחומה המקיפה את הגבעה המזרחית בלבד, שהתוואי שלה קצר.
המצמצמים קוראים את הפסוקים מספר נחמיה כמרמזים על חומה המקיפה תחום קטן בהרבה. את פסוק 4 מפרק ז' הם מפרשים שהעיר של ימי הבית הראשון הייתה גדולה מדי בשביל עם כה קטן, ולכן לא היה צורך להקיף בחומה את כל התחום; ואת פסוק 8 מפרק ג' הם מפרשים כמקום שעד אליו הגיעה החומה המשוקמת, אבל לא כללה אותו. נימוק נוסף לאי הכללת הגבעה המערבית בתחומי ירושלים בימי שיבת ציון רואים המצמצמים באי קיומם של ממצאים מתקופה זו בתחומי הגבעה המערבית. אמנם היעדר ממצאים מתקופה כלשהי אינו מוכיח שהיא לא הייתה קיימת באתר, וגם בגבעה המזרחית ממצאי התקופה הפרסית הם דלים מאוד – אך הארכאולוג נחמן אביגד, שחפר בשטחים נרחבים בגבעה המערבית, מתאר שבמקומות רבים השכבה של התקופה החשמונאית מונחת ישירות על השכבה של התקופה הישראלית (ימי הבית הראשון). מצב כזה מכונה על ידי החוקרים "פער יישובי".
כלומר באופן עקבי מוצאים ממצאים מהתקופה הקודמת לתקופתנו ומהתקופה הבאה בתור כשהם נוגעים אלו באלו ישירות, וכך מעידים, בסבירות גבוהה, על היעדר התיישבות באתר בתקופה החסרה.
בחלקו העליון של שטח G בעיר דוד נחשפה חומה המתוארכת על ידי אילת מזר וכמה חוקרים נוספים לתקופת שיבת ציון. אמנם דעה זו אינה מקובלת על חוקרים רבים, אך היא תואמת במידת מה לתיאור המסע הלילי שערך נחמיה בתוואי החומות בטרם השיפוץ. בתיאור זה מעיד נחמיה שבעוברו באזור זה היו כל כך הרבה הריסות, שהוא נאלץ לרדת מהבהמה שעליה הוא רכב וללכת ברגל. "וָאֶעֱבֹר אֶל-שַׁעַר הָעַיִן, וְאֶל-בְּרֵכַת הַמֶּלֶךְ; וְאֵין-מָקוֹם לַבְּהֵמָה, לַעֲבֹר תַּחְתָּי." (נחמיה ב' 14) ייתכן שההריסות של המבנים הגדולים, שעמדו בראש המבנה המדורג, הקשו על שיקום החומה באמצע המדרון – כפי שהייתה בתקופת בית ראשון, ואילצו את נחמיה לשקם את החומה בראש המבנה המדורג של שטח G. מכל מקום, מוסכם על רוב החוקרים שתוואי החומה של ימי הבית השני עובר בראש המבנה המדורג ולא באמצע המדרון. הוויכוח הוא רק על מועד בנייתה של חומה זו – בתקופה הפרסית או בתקופה ההלניסטית. נראה שהחומה שהקיפה את גבעת עיר דוד כללה בתחומה גם את בריכת השילוח, שהייתה מקור המים היציב של העיר.
