1515年，法国国王弗朗索瓦一世即位后，任命他为法国王室统帅。他对马里尼亚诺战役的胜利做出了很大贡献，打败瑞士人重夺米兰，并俘获了马克西米连。夏尔三世因功得以驻守米兰。但是弗朗索瓦一世对他存有介心，将他召回法国。两人的关系更因弗朗索瓦一世委任他的姊夫阿朗松公爵查理为攻打尼德兰的主帅而恶化。其后，又因其妻子苏珊于1521年逝世，他们所生的孩子（包括克莱蒙伯爵弗朗索瓦及一对孖仔）皆于不足一岁前去世，她的遗产全归夏尔三世。但是弗朗索瓦一世寡居的母后萨伏依的路易丝认为她的血缘关系比夏尔三世接近，波旁家族的产业理应由她承继。（萨伏依的路易丝是波旁公爵夏尔一世·德·波旁的外孙女，而苏珊是夏尔一世的孙女，夏尔三世却只是夏尔一世的父亲让一世·德·波旁的曾孙。）路易丝更提议与夏尔三世结婚以解决继承权的争议，但是被夏尔三世断言拒绝。弗朗索瓦一世为其母亲向巴黎高等法院提出诉讼，要求从夏尔三世手中收回波旁家族的遗产。夏尔三世在法院未作判决前因感到无望，愤而出卖国家，他开始和英王亨利八世和神圣罗马皇帝查理五世谈判，企图瓜分法国，但是无疾而终。1523年，弗朗索瓦一世知悉此事，下令废除夏尔三世法国王室统帅之职，但是夏尔三世仍能逃亡至意大利，投奔敌人神圣罗马皇帝查理五世服役。