黄河自明末以来，由于战乱频繁，多年失修，到康熙初造成了巨大灾患。黄河与淮河互相冲激，不能合流入海，以致波及运河，漕粮受阻。更加严重的是，河水漫溢不止。当时北面黄河“尽归决口，北流入海，正河淤浅。宿迁以东，北岸民田，皆成巨浸。”南面“淮阳七州县(山阳、盐城、高邮、宝应、江都、泰州、兴化)田地一片汪洋。”这样听其泛滥下去，必致如河道总督靳辅所讲：“黄流无去路，……势必冲突内溃，而河南、山东二省俱有沦胥及溺之忧”。
康熙对河患是极其关心的，曾道；“朕自十四岁即反复详考如宿迁以下高家堰等运河。”高家堰是用以约束淮水的，是治河的重点工程所在。康熙感到所制河图“绘于纸上，平漫难辨高下”，要使“刻木制成一图，观看易明”。于此可见，他对治河是如何的用心钻研。康熙十六年(一六七七年)，三藩战争正在进行，即任用靳辅开始治河。当时所谓治河即修治黄、淮、运三河。目的是疏导黃、淮合流入海，恢复运河正常航行，并使江北人民脱开水患，安定从事生产。就当时的水利工程技术水平来说，是一个艰巨难办的事情。靳辅以河道总督督治，极为勤奋尽心，他又得到一个治河能手陈潢作幕客，只用了一年的时间，七个州县的民田“皆出水可耕”。康熙于二十三年(一六八四年)第一次南巡，阅视河工，对靳辅“赐诗褒美”。但是，这时的治河方法，只能是筑堤束水以冲刷泥沙，开河引水，以缓和水势，谈不到根治，所以决口总是难免的。正是由于这样，中外臣属对治河各持己见，争论不己。后来为了如何疏泄积水问题，靳辅和协同他治河的安徽按察使于成龙形成对立。而靳辅又因将涸出土地招民屯垦，收租“以裕河库”，这本是件好事，却触及当地豪绅地主的利益，经其诬陷，辅竟被免职，陈璜也牵连下狱。最后，实践证明，还是靳辅、陈璜的治河方法有效。康熙曾以肯定的口气说，靳辅的“一切经理之法具在，虽嗣后时臣互有损益，而规模措置不能易也”。总之，就这时的治水技术水平来讲，也只能作到这样。靳辅和陈潢是继承明朝潘季驯“以堤束水，借水攻沙”的方法，加上一些辅助性的如开中河，修堤坡等工程，这样作确是收到了成效。而康熙监督甚勤，每次南巡以视察河工作为重点，也起了很大推动作用。康熙在六十年(一七二一年)时候说：“自元至明以来，岁有冲决，未有安澜二十年如今日者。'无疑这对生产发展，社会繁荣以及政权稳定，都具有积极的意义。
与此同时，康熙还修治了浑河。此河从卢沟桥以下“冲激震薄，迁徙弗常”，有“小黄河”之称，既威胁着北京对外交通，也威为沿河人民的严重灾害。经过康熙亲自督修，到四十年(一七零一年)竣工，改名为“永定河”。在康熙五十五年时候“堤岸坚固，并无泛滥”。“泥村水乡，捕鱼虾而度生者，今起为高屋新宇，种谷黍而有食矣”。其修治之功效显然可见。
