Đây đã là trường đào tạo sau phổ thông đầu tiên ở Trung Quốc. Trường đã được đổi tên nhiều lần: Trường đào tạo âm nhạc quốc gia (1929), Phân hiệu Nhạc viện quốc gia (1943), Trường đào tạo âm nhạc Thượng Hải (1945), Phân hiệu Nhạc viện Trung Quốc tại Huadong và Thượng Hải (đầu thập niên 1950). Năm 1956 trường có tên là Học viện âm nhạc Thượng Hải như ngày nay.
Nhạc viện Thượng Hải có các chương trình đào tạo 5 năm. Trường được giao đào tạo cử nhân, thạc sĩ và tiến sĩ. Trường có 8 khoa:
- Âm nhạc học;
- Sáng tác và Chỉ huy;
- Thanh nhạc;
- Piano;
- Nhạc cụ dàn nhạc;
- Nhạc cụ Trung Hoa;
- Sư phạm âm nhạc và Nhạc kịch.
Nhạc viện Thượng Hải cũng có viện nghiên cứu âm nhạc, một trường tiểu học, một trường trung học và một xưởng nhạc cụ.
Nhạc viện này có 50 giáo sư và 120 phó giáo sư. Có khoảng 1200 sinh viên.
