Trong thời kỳ kháng chiến, đạn pháo đã làm cho đỉnh tháp và 3 góc tháp bị đổ. Ngày nay tháp được tu bổ, phục dựng tương đối hoàn chỉnh. 

Vật liệu xây dựng tháp đều bằng gạch nung với nhiều kích cỡ khác nhau tuỳ theo vị trí của từng mảng tường, từng tầng tháp và được xếp liền khít, không thấy mạch hồ song kết dính rất vững chắc. Những hàng gạch bên trên hơi lùi vào so với hàng gạch bên dưới cho đến khi khép kín vòm.  Tháp Nhạn có phong cách kiến trúc như tháp Chăm Pô Nagar ở Nha Trang, đó là xây dựng theo hình thức tầng cao. Tháp có hình tứ giác với 4 tầng, càng lên cao càng thu nhỏ lại so với tầng dưới, nhưng vẫn theo phong cách tầng dưới. Tháp cao gần 23,5m, mỗi cạnh chân tháp dài 10m.

Nóc của tháp gồm nhiều lớp xếp, phần chóp được cấu tạo bằng phiến đá nguyên tảng   có hình búp sen cân đều. Đó là biểu tượng Linga của người Chăm. Trên đỉnh tháp, bốn mặt đều có bốn cửa sổ giả, tách biệt giữa phần trên và tầng dưới. Cửa chính ở hướng đông, phần trên cửa hình vòm, xây cuốn theo kiểu giật cấp, trụ và xà ngang của cửa là khối đá vôi mềm, dễ đẽo gọt, đục chạm.

Bên trong tháp, tường xây thẳng đứng cao vút từ phần đế tháp cho đến hết phần thân. Càng lên cao, tường càng thu nhỏ dần cho đến đỉnh, tạo thành hình chóp nón. Trên mặt tường tháp không có hoa văn trang trí, chỉ có một vài họa tiết hoa văn hình rồng được chạm khắc cách điệu bằng đá hoa cương đặt bên ngoài góc tháp. Trong lòng tháp không có bệ thờ, không có tượng, chỉ có một am nhỏ phía trước để thờ bà Thượng Đỉnh Chúa Thiết A Na Diễn Ngọc Phi được xây dựng từ thời Hậu Lê. 

Đặc biệt, dưới chân núi Nhạn về phía tây nam, ven bờ sông Chùa có một tảng đá cao 1,3m, mỗi cạnh rộng 0,9m, dưới chân có chạm hình cánh sen, trên khắc 3 chữ cổ (dạng chữ Phạn) thường gặp ở các tấm bia trụ cột trong các tháp Chăm. Chữ khắc ở 1/3 tảng đá. Có lẽ đây là thư tịch duy nhất ở khu vực tháp còn lưu lại đến nay.

Tháp Nhạn là công trình kiến trúc nghệ thuật có giá trị lịch sử cao của người Chăm và đây cũng là một thắng cảnh tiêu biểu của tỉnh Phú Yên. Tháp Nhạn đã được Bộ Văn hóa - Thông tin công nhận là Di tích kiến trúc - nghệ thuật cấp quốc gia vào ngày 16/11/1988.