במהלך התקופה הביזנטית האוכלוסייה בעיר הייתה רובה ככולה נוצרית. לפי המסורת הנוצרית, על יהודים נאסר לגור בעיר (הפעם ממניעים דתיים, בעוד שהדריאנוס אסר זאת ממניעים לאומיים) והם הורשו להיכנס אליה רק פעם בשנה, בתשעה באב, כדי להתפלל על חורבות בית המקדש. נראה שבכמה פרקים בתקופה הביזנטית הייתה נוכחות יהודית ניכרת יותר בעיר:
- בתקופת יוליאנוס הכופר, כשנעשה ניסיון לבנות מחדש את בית המקדש;
- בתקופת הקיסרית אודוקיה, שגילתה יחס אוהד ליהודים;
- בתחילת הכיבוש הפרסי, כאשר השלטון נתן ליהודים זכויות בעיר כאות תודה על עזרתם בכיבושה.
איננו יודעים האם ועד כמה הייתה נוכחות יהודית בירושלים בשאר התקופה הביזנטית. היישוב היהודי התחדש בירושלים רק לאחר הכיבוש המוסלמי.