因为如果这些人没说谎的话，里面至少还有一个锦衣卫百户和两个总旗和三个小旗。而谢宏就是和这些人合作才在诸彩佬被俘虏之后成功地控制了南日岛。按照谢宏他们的计划，是想仰仗城墙与毛钰讨价喊价，结果南日岛的海盗们不经打，他们也没想到毛钰将海船上的火炮拆下来攻城。等到孔有德占领城墙，还有两千多临时组织起来的南日岛海盗就直接崩溃了。先前说好的依托建筑物进行巷战就成了笑话。于是谢宏等人还没来得及将锦衣卫的大旗打出来就被赶进了聚义堂。
本来以为自己亮出了底牌，毛钰会有所顾忌，结果毛钰是顾忌了，自己人撤下去，换上邳山岛的海盗。邳山岛的曾立刚谢宏是认识的。这位是货真价实的海盗。只是谢宏还知道毛钰在攻打邳山岛的时候这位逃到了大陈岛，结果很快毛钰又攻打大陈岛，这位也是命大，毛钰居然留下他。谢宏当然知道作为海盗大当家没有官方身份，在毛钰手下自然就是肝脏或的。只是那些锦衣卫不死心想出去尝试，结果曾立刚毫不手软。
谢宏后悔了，他应该和以往一样闻风而动，在毛钰的船队出现在南日岛海面上的时候应该跑的。这两年来他时刻都在关注毛钰关注毛家。毛钰数次战胜诸彩佬和刘香的事情对他打击很大。而毛钰从一个守备成为巡海道副使更是让谢宏赶到了威胁。因为就算毛文龙能放过他，这位年轻的六品文官如果惦记着自己，大明境内哪里都不安全。
谢宏当然没想到品给力威风八面的诸彩佬居然会被毛钰战而几乎全歼。所以他这些年的努力大部分都成为了泡影，因为他拉拢的很多在先前的海战中要么成了尸体要么成了俘虏。
好不容易借着锦衣卫的名头控制了南日岛结果遇到曾立刚这混蛋。混蛋曾立刚没有让谢宏等太久，当城门口的几门六磅炮送过来之后，他不再犹豫，直接让火炮对准大门来了几下，随着哐当一声，沉重的木门倒下，整个聚义堂里所有人都毫毛竖起来。曾立刚学乖了没有给他们多说话的机会，直接火枪与弓箭覆盖。
大约半个时辰后，毛钰进城了了。孔有德也基本肃清了城内的参与力量，俘虏了至少两千壮丁和四五千女子和大量的小孩。当然收获最大的是仓库里堆积如山的拦截而得到的丝绸、茶叶和瓷器等。另外南日岛的谷仓里还存放了至少可以供应南日岛上一万多人吃一年的粮食。
毛钰随后下令各负责警戒的船队分派人手从各个方向登岛搜查，寻找可能潜藏的海盗。对于岛上的原居民和老实本分的普通百姓进行甄别。
大约半个时辰后曾黎刚刚前来交差，聚义堂被攻陷。俘虏二十一人，击毙八十九人。在聚义堂内发现按到通往诸彩佬的府邸，结果与负责搜查的毛永杰迎头碰上。为此毛永杰好一阵郁闷，因为他队伍的缴获有一部分功劳属于曾立