Tên chính thức của phủ là "Tuy Lý Vương Từ" như được ghi trên một bức hoành phi sơn son thếp vàng treo ở ngôi nhà chính bên trong khuôn viên. Bốn chữ ấy có nghĩa là nơi thờ Tuy Lý Vương. Tuy nhiên, dân chúng địa phương thì chỉ quen gọi đó là phủ Ba Cửa, vì ở mặt tiền của khuôn viên phủ này, ngày xưa có đến ba cái cửa: 1 cửa chính và 2 cửa phụ.
Tuy Lý Vương sinh năm 1820, tên thật là Nguyễn Phúc Miên Trinh, con thứ 11 của vua Minh Mạng (1820 - 1840); có tên chữ là Khôn Chương và Quý Trọng, hiệu là Vỹ Dạ và Tịnh Phố. Tuy Lý Vương là tước được vua ban về sau. Năm 13 tuổi, ông đã nổi tiếng giỏi về thơ, cho nên, người đương thời gọi ông là "Ông hoàng thơ". Khuôn viên của phủ Tuy Lý rộng 4 sào 6 thước 3 tấc, tức là hơn 2000m vuông.
Tuy Lý Vương Phủ là một trong những phủ đệ nổi tiếng nhất ở Huế. Người ta biết nhiều đến địa chỉ này không hẳn vì nhà của một vương gia quyền quý, mà vì danh tiếng một "nhà thơ” cùng thời với Cao Bá Quát, Lê Văn Siêu. Văn tài của ông đã được ghi nhận: "Văn như Siêu, Quát vô Tiền Hán. Thi đáo Tùng, Tuy thất Thịnh Đường”. Sự nghiệp văn chương của ông được ghi vào trong tất cả sách văn học sử của nước nhà, trong các bộ từ điển danh nhân Việt Nam, kể cả "Từ điển văn học” ấn hành vào năm 1984.
Phủ Tuy Lý Vương vàng son, lộng lẫy, nhưng vẫn toát lên sự uy nghiêm và trầm mặc. Ở nội thất, ngoài các bàn thờ và khám thờ Tuy Lý Vương, còn thiết trí khá nhiều đồ tự khí, các hình ảnh của ông và một số hiện vật quý báu liên quan, đặc biệt là hơn 150 mộc bản đã từng được khắc in một số tác phẩm thơ văn của ông.
Hai bên sân trước của tòa nhà này còn có hai ngôi nhà nhỏ hơn, gọi là Tả vu và Hữu vu nằm đối diện nhau, dùng làm nơi hào soạn trong những dịp cúng kỵ; nhưng đã hư hỏng từ lâu, nay chỉ còn móng nhà. Ở bên phải nhà thờ bà mẹ của Tuy Lý Vương, có một ngôi nhà xây bằng bê tông để thờ một bà vợ thứ của ông là bà phủ thiếp Nguyễn Thị Lựu.
