隋煬帝開挖汴渠，改道邗溝，其目的并不是像野史所說的那樣，為了“尋歡作樂”，主要是看中東南地區的財賦。登基伊始（大業元年605年），便“發淮南諸州郡丁夫十余萬，開邗溝，自山陽淮至于揚子江，三百余里，水面闊四十步�！比粢�把長江、黃河聯系起來，中間只有利用一段淮河，而淮河水惡流急，因此自唐開始，便投入大量的人力物力，以改善這條運道的航運條件。
　　《舊唐書·齊浣傳》：“浣開伊婁河，數年復為汴州刺史，淮汴水運路，自虹縣至臨淮一百五十里，水流迅急，舊用牛曳竹索上下，流急難制，乃奏自虹縣下開河三十里，入于清河……又開河自淮陰縣北岸入淮，免淮流湍險之害�！本褪菑你旰涌诹黹_一條新河直線進入淮陰的淮河，表面上看來，在運程上可以大大縮短，但是兩地的水位落差不變，相對坡降反而增大，不僅未能解決“淮流湍險之害”，反而使得航道流速更大，“久之，新河水流復急，又多僵石，漕運艱澀，行旅弊之�！饼R浣在潤州任上開伊婁河，成為佳話，到汴州開虹淮運河，卻沒有成功，說明沒有人工節制的淮河，河底比降大，流速也大，任你怎么開河，并不能改變水流速度。
　　在北宋時期，運河上的工程設施已經相當完善，特別是溝通江、淮的邗溝渠化水平最高，運河上建有許多堰埭、船閘、斗門建筑物，以保持水位和調節航深。到重和元年，在“真、揚、楚、泗高郵運河堤岸，舊有斗門、水牐等七十九座，限則水勢，常得其平�！�
　　開創宋代運河新局面的當首推喬維岳，他在公元984年，在楚州（淮安區）開沙河，首創世界第一座“船閘”，繞過灣多流急的山陽灣，使楚州到磨盤口這段坡河，成為平水航道，為避淮通航提供了借鑒。因此到了宋仁宗時，有人異想天開地要效法喬氏，“議者謂楚水多風波，請開盱眙河，自淮趨高郵�！碧嶙h從盱眙開一條直河，直通高郵，可以大大縮短航程，又可以避開淮河風浪之險。方案相當誘人。當時孫長卿為江、浙、荊、淮發運使，認為這個計劃難以實施，堅決反對，理由是“地阻山回饒，役大難就�！彼稳首谮w禎，不知是昏庸還是盼漕心切，居然批準了這一荒唐方案，征夫數萬開挖，最后雖勞民傷財，“卒以不可成，罷之�！绷粝乱欢芜z跡，這就是《光緒盱眙縣志稿》中記載的“今淮口至云山有河跡，一名枯河，”又稱直河。
　　由于洪澤運河效益明顯，負責漕運的官員便想將洪澤運河繼續向南延伸，提出這個倡議的是發運使羅拯，“復欲自洪澤而上，鑿龜山運河以達于淮�！彼紊褡谮w頊，是批準洪澤運河的決策者，對于龜山運河也認為方案可行，但由于前有趙禎盱眙直河的前車之鑒，尚存一定顧慮，他不敢貿然批準，于是先召發運使蔣之奇，征求他的意見。蔣之奇認為：“上有清汴，下有洪澤（運河），而風浪之險止百里，淮邇歲溺公私之載，不可計。凡諸道轉輸，涉湖行江，已數千里，而覆敗于此百里間，良為可惜�！彼�認為上有汴河，下有洪澤河，中間有風浪之險的只有近百里航程，而這百里淮河航道，一年沉溺的公私船只，不計其數，這些船只是經過各地轉輸，涉湖行江航行數千里，最后卻沉溺在這百里的河面上，實在是可惜。因此他也建議“宜自龜山蛇浦，下屬洪澤，鑿左肋為復河，取淮為源，不置堰閘，可免風濤覆溺之患�！笔Y之奇不僅闡述鑿龜山運河的必要性，還提出龜山運河的具體走向，就是在淮河東岸，從龜山到洪澤平行開一條人工河，上引淮河水源，下用洪澤閘節制，可以大大改善航運條件。
　　趙頊又遣派都水監丞陳佑甫經度。陳佑甫說：以前有一個叫田棐的人，任淮南提刑時，就曾提出過要開這條河。后來只開了洪澤鎮以下一段，洪澤以上卻沒能開挖，這是個遺憾�，F在蔣之奇的方案，既不用建閘，只是隨淮河水面高下，開深河底，因勢利導引淮通流。但惟一是工程浩大，還要投入大量費用。接著，陳佑甫話鋒一轉：不過，按照過去在這段河面上，每年要沉溺糧船達一百七十艘之多，如果用數年的損失費用，開這條河還是合算的。趙頊則認為“損費尚小，如人命何？”他認為損失的費用是小事，還有船家的生命又怎么算呢？于是“乃調夫十萬開治”。
　　蔣之奇是龜山運河開鑿的主持者，在當時還沒有完善的勘探設施，為了摸清地下土質情況，“率一二里，輒鑿一井，以測地之土石�！笨芍^認真負責。正因為前期工作做得細致入微，龜山運河從元豐六年正月開工，到二月便告成，長五十七里，闊十五丈，深一丈五尺。自此在淮安境內漕運船只，完全避開淮河而航行在人工運河上。宋神宗趙頊，要蔣之奇撰文記錄，刻石于龜山后，遺憾的是因洪澤湖形成，今人已無法覽其真容了。