祖泽溥生于万历三十六年十二月二十四日（1609年1月29日）。其父祖大寿在遵永大捷中立下首功后，他凭父荫成为锦衣卫指挥同知。后累升左都督。崇祯十七年（1644年），他作为南明弘光政权所派的左懋第、陈洪范使团中的一员出使北京，谈判破裂后降清，授一等御前侍卫。后任武备院卿等职。顺治十八年（1661年）九月任山西总督，旋即调任山东总督，镇压胶东的于七起义军，因功加兵部尚书衔。康熙四年（1665年）引病辞职。康熙六年（1667年）授福建总督，翌年召还，此后赋闲在家。康熙十八年四月十五日（1679年4月15日）去世。