嘉靖四十一年，严嵩失势，严世蕃被判流放广东雷州，不料严世蕃途中擅自返回故里，并大肆扩建府第，四十三年，御史林润弹劾严世蕃通倭寇、图谋不轨，明世宗大怒，将严世蕃逮捕下狱。
从前，严氏父子把持着朝中官吏的任选、升迁。官无大小，皆有定价，不看官员的口碑、能力，一切都以官员的贿金为准。严世蕃利用各种手段大肆搜刮，家财富可敌国。据说，严世蕃与妻子要将金银埋藏到地窖里，想起这都是仰仗他父亲得来的，于是就请严嵩来观赏，严嵩一见，数量之巨出乎想象，顿时目瞪口呆，隐约感到大祸将至。
严世蕃长得短颈肥白，是个大胖子，与其父“瘦削长身”的外貌正好相反，估计遗传了他母亲的肥白的特点。
这位“太子党”可是有几分绝技的。他狡诘机智，博闻强记，熟习典章制度，畅晓经济时务，而且精力旺盛，能任繁剧。尤其善于揣摩皇上的好恶喜怒。
据说有这样一件趣事。嘉靖皇帝有一回夜传圣旨，询问某事当如何处理，票拟颇难。严嵩与大学士徐阶、李本在值班房仔细商议，每人各写一帖，提出处理意见，可是经过反复斟酌修改，三人仍觉不妥，始终不敢誊清呈进。严嵩只好派人飞马向严世蕃求教。时间已过四更，太监反复索取票拟几次了，说皇上“嫌迟滞，有怒容”，要求立刻回报。不得已，三人只好将商议的票拟誊录上呈。太监将三人所拟揭贴拿回，只见皇帝朱笔在上面涂抹了好多处，令重新拟过。恰在这时，严世蕃的回帖来了，照其票拟上呈之后，皇帝顿时满意，依拟照办。徐、李二公才真服了。
自此，皇上时有要务难题，严嵩等阁臣谋之困窘不能作答者，即交于世蕃，世蕃则引经据典，参综陈说，每每都能获得皇帝的嘉奖。
嘉靖皇帝喜欢观经史诸书。遇有不解其意的，便用朱笔写在纸片上，令太监交于严嵩等值班阁臣讲解，立等回话。一天晚上，类似的询问之旨又到了，可严嵩与徐阶等值班阁臣皆不晓其义，都惶恐无措。严嵩安慰众人说：“无过虑！”随即密录皇帝所问，令人从西苑宫门门缝中传出，飞马送至相府，要世蕃立马作答。世蕃当即指出此语在某书第几卷第几页，做何解释，立即回报。严嵩等人找来该书翻检，果然如此，遂按其解释并附书呈送，嘉靖皇帝很高兴。
严世蕃的精力旺盛、能任繁剧也颇具传奇性。他虽然公事繁忙，但仍喝酒娱乐御~女，每夜每餐从不间断。有时酒醉酣睡，恰遇严嵩有要事相询，便用大脸盆装满滚沸的开水，将毛巾浸于其中，然后乘热提出，围头三匝，稍凉再如此更换，围上一两回就醒了，而且完全没有酒态，举笔裁答，处置周全，出人意外。故此严嵩当权期间，京城内外流传着“大丞相、小丞相”的说法。“小丞相”便指严世蕃