גם בימי הבית השני סביב תחומי ירושלים התפתחה נקרופוליס – עיר מתים שבה היו מרוכזים קברי התקופה. גם הפעם הקיפה עיר הקברים את העיר, אך בצד המערבי שבו לא נחשפים סלעי הטורון היו פחות קברים. עיר הקברים של ימי הבית השני הייתה גדולה יותר מזו של ימי הבית הראשון ונכללו בה, בין השאר, קברים מצפון לחומת העיר העתיקה, בשכונות סנהדריה, רמת אשכול וגבעת המבתר, בהר הצופים, בנחל קדרון, בגיא בן הינום ובאזור ארמון הנציב.
מאחר שבימי הבית השני תחומי ירושלים הורחבו כמה פעמים, נוצר מצב שבו אזורי קבורה נכללו בתחומי העיר. על פי הידוע לנו, בתקופה זו היה נהוג לפנות את הקברים שהיו באזורים שאליהם התרחבה העיר.