Tổng thể kiến trúc Lăng nằm trong một vòng La thành rộng khoảng 12ha, gồm gần 50 công trình kiến trúc lớn nhỏ dàn trải thành từng cụm trên những thế đất cao, thấp hơn nhau chừng 10m. Bố cục khu lăng gồm hai phần chính, trên hai trục song song với nhau lấy núi Giáng Khiêm ở phía trước làm Tiền án, núi Dương Xuân làm Hậu chẩm, hồ Lưu Khiêm làm yếu tố Minh Đường. Các công trình trong Lăng ở cả hai khu vực tẩm điện và lăng mộ đều có chữ Khiêm đặt tên gọi.
Toàn cảnh lăng Tự Đức như một công viên rộng lớn. Qua cửa Vụ Khiêm, đến khu vực hồ Lưu Khiêm, trên hồ có Xung Khiêm tạ và Dũ Khiêm tạ, nơi nhà vua thường đến ngắm hoa, làm thơ và đọc sách.
Đi tiếp ba bậc tam cấp bằng đá thanh dẫn vào Khiêm Cung môn, rồi đến điện Hòa Khiêm, đây vốn là nơi làm việc của vua nhưng nay dùng để thờ phụng vua và hoàng hậu. Sau điện Hòa Khiêm đến điện Lương Khiêm, trước là chỗ nghỉ của vua và sau này trở thành nơi thờ mẹ vua, bà Từ Dũ. Bên phải điện Lương Khiêm là Ôn Khiêm đường, nơi cất đồ ngự dụng. Phía trái điện Lương Khiêm có nhà hát Minh Khiêm để vua xem hát, đây được coi là nhà hát cổ nhất Việt Nam hiện còn được bảo tồn.
