处州义士胡元伦虽已身被数处创伤，仍血战不已，冲锋在前，众兵紧跟其后，举刀劈敌。倭寇于是大败溃散，夺船奔命，来不及上船的，大批被淹死。败寇分两股，一半乘舟逃往南岸，另一半逃窜到椒江北岸的山区。
戚继光将军率部紧追不舍，在黄蕉山包围了敌人。乘夜色朦胧之际，四面进攻，大败敌军。在戚继光将军率军追敌之时，又有大批倭寇继续向桃渚进攻，各处警报频传。
戚继光将军乘战斗间隙命部众稍休息，调理伤员。自己则根据探报，研究对敌策略。通过分析，戚继光将军知道了在台州、温州的倭寇详情。
于是，戚继光将军建议上司，以分巡佥事曹天佑督指挥祁云龙等部屯兵黄岩，阻击温州之倭寇北窜。以锦衣卫苏景墨与知县张师善率所部乡兵对抗栅浦之倭。以海道副使谭纶、都司戴冲霄督诸部客兵屯海门卫，占据险要地势，切断桃渚、栅浦二寇之间的联系。戚继光将军自请率处州义兵再解桃渚之围。总督胡宗宪按照戚继光将军的建议，安排了军力部署。
二十四日黎明，戚继光将军进军桃渚，离敌还有三十里时，倭寇看到明军来势凶猛，便立即解围而走。戚继光将军亲临敌前，根据敌情，指挥明军发动猛攻。
戚继光将军命部将楼楠、丁邦彦率部浮水先登，复授计卢锜领兵往敌巢纵火。火起，敌人阵脚大乱，队长杨贵直入倭巢，奋勇杀敌。倭寇惊溃，慌不择路，大批被烧死淹死。
这时又值倾盆大雨，残余倭寇连夜开船，往栅浦方向逃去。桃渚之倭被击溃，被俘的一千多百姓得以释放。
消灭桃渚之倭以后，到了五月初一，戚继光将军率师来到海门卫，正拟与谭纶商议扫平栅浦倭寇，这时，又有探报来传，有三千多多倭寇从贾子、栅浦方向而来，要袭击海门卫。
戚继光将军以军士急需休息，便令卫军暂为守城。这帮军官平时懒散惯了，尽管接受了命令，却无心防守。
海门紧靠大海，卫城离海才两里路。到了半夜时分，数百倭寇乘天色晦黑，悄悄潜来袭城，等到三十多个倭寇已经爬上城头，守军才发觉，惊慌失措。戚继光将军闻讯，见情势危急，也来不及整顿队伍，飞身上马，手舞双剑，直奔城门。
这时风雨交加，夜色漆黑，伸手不见五指。卫士匆忙大声疾呼：“主帅亲自冲上去了！”部众惊醒，将校兵卒急速出军。谭纶也率卫士奔出督战。众人杀倒登城之倭，袭城的倭寇匆匆奔回水上敌营。
海门卫所保住了，戚继光将军为了严明军纪，把负责守城的人斩首，城中的形势才逐渐安定下来。
倭寇知道海门有备，不易攻取，便准备向南过新河，出南涧逃走。戚继光将军熟悉地形，料知倭寇肯定会走这条路，便事先命士卒钉桩连船