Năm 1865, Án sát Nguyễn Văn Siêu đã đứng ra vận động tu sửa đền và diện mạo như hiện nay là có từ lần tu sửa này. Trên gò Ngọc Bội ông đã cho xây một tháp đá có đỉnh hình ngọn bút lông, thân tháp khắc ba chữ "Tả Thanh Thiên” (viết lên trời xanh) mà ngày nay quen gọi là tháp Bút.

Qua tháp sẽ đến một cửa cuốn gọi là đài Nghiên, bên trên có một nghiên mực bằng đá hình nửa quả đào bổ dọc được đội bởi ba con ếch. Trên nghiên có khắc một bài minh với 30 cột gồm 64 chữ luận về công dụng của nghiên mực xét về mặt minh triết. Tương truyền mỗi năm có một ngày vào lúc mặt trời mọc, bóng của đỉnh tháp Bút đổ xuống sẽ chấm đúng vào nghiên mực.

Đền Ngọc Sơn gồm ba nếp nhà chính liền nhau. Tại nhà Bái đường có đặt bàn thờ Văn Xương Đế Quân là vị thần của Đạo Giáo được thờ bên Trung Hoa, nếp giữa thờ Lã Động Tân (vị thần của Đạo Giáo được người đời sau tôn là Lã Tổ) và Quan Vân Trường (vị tướng giỏi thời Tam quốc được người Trung Hoa tôn là Quan Đế), nếp nhà phía Bắc thờ tướng quân Trần Quốc Tuấn có công lớn trong việc dẹp tan quân Nguyên xâm lược được tôn là Đức Thánh Hưng Đạo Đại Vương. 

Trước nhà Bái đường về phía Nam còn có đền Trấn Ba (đình chắn sóng), như muốn hàm ý nơi đây là một thành lũy đạo đức có thể ngăn chặn được những biến tướng tiêu cực của nền văn hóa đang bị phân hóa của xã hội đương thời.

Gần đền Ngọc Sơn là hồ Hoàn Kiếm. Sự kết hợp giữa đền Ngọc Sơn và hồ Hoàn Kiếm đã tạo thành một tổng thể kiến trúc Thiên-Nhân hợp nhất, tạo vẻ đẹp cổ kính, hài hoà cho đền và hồ, gợi nên cảm giác chan hoà giữa con người và thiên nhiên. Đền Ngọc Sơn và hồ Hoàn Kiếm đã trở thành những chứng tích gợi lại những kỷ niệm xưa về lịch sử dân tộc, thức tỉnh niềm tự hào, yêu nước chính đáng cũng như tâm linh, ý thức mỗi người dân Việt Nam trước sự trường tồn của dân tộc.