Lịch sử kênh Đại Vận Hà bắt đầu từ cuối thời kỳ Xuân Thu (722-481 TCN), khi Ngô vương Phù Sai, vị vua của nước Ngô đem quân đội tiến về phía Bắc để xâm chiếm các vương quốc khác. Ông ra lệnh đào kênh để vận chuyển binh lính, kênh này được gọi là Hàn Câu.
Đại Vận Hà đã được kéo dài thêm vào thời kỳ nhà Tùy (581-618). Năm 604, Tùy Dạng đế của nhà Tùy đã rời bỏ Trường An (ngày nay là Tây An) để chuyển kinh đô tới Lạc Dương. Năm 605, vị hoàng đế này giao công việc mở rộng, kéo dài Đại Vận Hà cho Vũ Văn Khải, để nối liền Trác Quận (nay là Bắc Kinh) với Hàng Châu.
Trong thời kỳ nhà Đường (618-907), Đại Vận Hà là con đường chính để vận chuyển ngũ cốc từ khu vực đồng bằng châu thổ Trường Giang tới Hoa Bắc. Thành phố Khai Phong đã là trạm trung chuyển chính trên tuyến đường thủy này, và do đó nó đã lớn mạnh dần lên để sau đó trở thành kinh đô của nhà Tống (960-1279).
Đoạn kênh đào đầu tiên nằm gần Dương Châu, Giang Tô để dẫn nước của sông Dương Tử về phía bắc nối vào sông Hoài. Theo một đoạn trong một cuốn sách của Khổng Tử, nó đã được xây dựng vào khoảng năm 486 TCN. Đây là đoạn cổ nhất của kênh đào này. Đoạn này đã được sửa chữa và mở rộng vào thế kỷ 3.
Toàn bộ kênh đào này đã được hoàng đế Minh Thành Tổ cho cải tạo, xây dựng lại vào khoảng những năm 1411 tới 1415. Trong vòng khoảng 400 năm kế tiếp, nó đã được duy trì khá tốt như là huyết mạch chính để vận chuyển lương thực từ lưu vực sông Dương Tử tới Bắc Kinh.
Đại Vận Hà bắt đầu ở phía bắc tại Bắc Kinh và kết thúc ở phía nam gần Hàng Châu, Chiết Giang với chiều dài tổng cộng khoảng 1.794 km (1.115 dặm). Nó chảy qua Bắc Kinh, Thiên Tân, Hà Bắc, Sơn Đông, Giang Tô và Chiết Giang, nối liền các sông Tiền Đường Giang, Dương Tử, Hoài Hà, Hoàng Hà và Hải Hà. Thông thường người ta chia nó thành 7 đoạn. Từ phía nam tới phía bắc chúng lần lượt được gọi là Giang Nam vận hà, Lý vận hà, Trung vận hà, Lỗ vận hà, Nam vận hà, Bắc vận hà và Thông Huệ hà.
Năm 1855, sông Hoàng Hà gây ngập lụt và đổi dòng về phía Sơn Đông, cắt đứt lộ trình của Đại Vận Hà. Do các khó khăn để vượt qua các nền đất bùn cát của sông Hoàng Hà, cùng sự phát triển của vận tải biển, cũng như sự đưa vào khai thác các tuyến đường sắt, nên các phần phía bắc và phía Nam của kênh đào này đã không được nối liền với nhau nữa. Điều này làm giảm mạnh vai trò của kênh đào.
Nhiều đoạn của nó đã không được tu sửa nữa và một số đoạn bị tắc nghẽn do bùn lầy. Sau khi nhà nước Cộng hòa nhân dân Trung Hoa ra đời năm 1949, trước nhu cầu phát triển kinh tế, chính quyền nước này đã cho tiến hành các công việc tái thiết Đại Vận Hà.
