有了第二个儿子的蒋淳斌固然高兴，但他并没有因此而耽误消灭张士诚的步伐：至正二十六年中，蒋淳斌发精兵二十万，命徐达为主帅，常遇春为副帅，集中精力消灭张士诚。
这次蒋淳斌并没有让徐达等人直接攻打张士诚的老巢平江，而是令他们先取湖州，因为他知道张士诚善于守城，更何况这两年来张士诚一直在修城墙，自己绝对不能先啃这块硬骨头。
更何况如果自己先打平江，那么张士诚派驻在湖州、杭州等地的守将定会来援，到时候腹背受敌，情形就不好说了。
当初蒋淳斌与陈友谅为敌时，之所以急着攻打江州，就是想要速战速决，因为还有张士诚等势力从旁觊觎，不稳定的因素太多。
可现在蒋淳斌完全可以一心一意地对付张士诚，而不用考虑其他问题，所以他并不急着攻打平江，而是决定采取稳扎稳打的方式步步蚕食。
于是蒋淳斌一面命徐达、常遇春率大军进攻湖州，一面令廖永忠率军攻打杭州，冯国胜攻打嘉兴，以此牵制住张士诚的兵力。
守备湖州的兵士虽多，但主将潘元绍却是个没本事的，平日里只不过仗着自己是张士诚的女婿，所以才颇受众人吹捧。
而且潘元绍此人酗酒嗜杀，贪财好色，虽然娶了张士诚之女隆安公主，却还另外豢养了七位美姬，实在可以说是人渣一枚了。
更重要的是，这个潘元绍行军打仗确实不在行，因此虽然湖州城坚兵精，但在徐达和常遇春大军的雷霆之击下，坚持了不到一个月就面临城破的危机了。
这时候潘元绍再次展现了自己的渣男本质：他竟以城池将破，未免姬妾受辱为由，逼着他的七位美妾上吊自尽了。
当然，徐达和常遇春确实没有辜负潘元绍的期望，在他的美妾们自杀的当天，徐达和常遇春便率大军攻入了湖州城，并生擒了潘元绍。
于是一个月前还高呼着“必定坚守湖州，誓与城池共存亡”的潘元绍转脸就向徐达和常遇春投降了。
常遇春经过蒋淳斌的多番警告，此时已经不敢再擅自杀降了，于是便派人前往集庆，询问蒋淳斌该如何处置潘元绍。
蒋淳斌自然看不上潘元绍这等靠女人起家的货色，于是便询问使者这个潘元绍到底有何才能，结果使者憋了半天，方期期艾艾地答道，说徐大帅进城时，与潘元绍见了一面了，只是和常副帅感叹：这小子倒是生了副好皮囊！
蒋淳斌听罢，不由得哈哈大笑，果然是给人做女婿的，长得不好看确实是不成啊！
恰巧此时蒋淳斌面前有一面铜镜，于是揽镜自照道，“我与那个潘元绍相比，谁更帅一些？”
听到蒋淳斌这样问，使者不由得愣在了那里，半晌过后方吞吐答道，“汉王殿下