公主当中，房遗爱以高阳公主得宠的缘故在太宗前的待遇比其他驸马都尉要优惠，礼秩指礼仪等第和爵禄品级。房遗爱官至太府卿后为房州刺史，太府卿乃从三品“掌财货、廪藏、贸易，总京都四市、左右藏、常平七署。凡四方贡赋、百官俸秩，谨其出纳。赋物任土所出，定精粗之差，祭祀币帛皆供焉”是太宗朝驸马都尉中少有的财物实权肥缺。
同时高阳公主的婆母范阳卢氏也性格刚烈非常有名，在《新唐书》列女传中记载了卢氏剜目明志的典故，又有《隋唐嘉话》趣事“千古风流一坛醋”的名号。想来高阳公主嫁入房家遇到这样一个性格鲜明的婆婆想要为所欲为也当有所顾忌。
房玄龄见诸史料有三子一女：长子房遗直为嗣，妻杜氏未见有载，次子房遗爱尚高阳公主，第三子房遗则娶荆王李元景之女，女为韩王李元嘉王妃，传说名曰奉珠。
房家子女可谓个个攀龙附凤，地位显赫，这样的豪门，高阳公主还有什么不满意的。
当然，有唐一代，妇女的地位很高，其生活开放之程度让是其他朝代所不能比拟，而李唐皇室的宫闱之内，便盛传着许多风流艳事。
高阳公主，也称合浦公主，《新唐书》记载了她的生平：“合浦公主，始封高阳。下嫁房玄龄子遗爱。主，帝所爱，故礼异它婿。主负所爱而骄。房遗直以嫡当拜银青光禄大夫，让弟遗爱，帝不许。玄龄卒，主导遗爱异赀，既而反谮之，遗直自言，帝痛让主，乃免。自是稍疏外，主怏怏。”
高阳公主原本依仗太宗的宠爱而骄横，但却因为想独霸家产而被太宗大骂，以至于怏怏不乐。
再加上原本就对自己的驸马房遗爱不满意，这才有了之后，高阳公主与辩机和尚的私通，实际上，辨机并不是高阳唯一私通的和尚，《新唐书》记载，和尚智勖能占卜祸福，惠弘能视鬼，道士李晃医术高明，全都私下和高阳公主有过私通。
关于辩机和尚，也是历史上很有名的人物。年少即以能文著称，贞观十九年玄奘于长安开始译经，参预其事。著名的《大唐西域记》，即由玄奘撰述，辩机缀辑。
据他在《大唐西域记》卷末的《记赞》中自述，他少怀高蹈之节，十五岁时剃发出家，隶名坐落在长安城西南隅永阳坊的大总持寺，为著名法师道岳的弟子。后来道岳法师被任为普光寺寺主，辩机则改住位于长安城西北金城坊的会昌寺。十余年中潜心钻研佛学理论，至贞观十九年玄奘法师回国在长安弘福寺首开译场之时，便以谙解大小乘经论、为时辈所推的资格，被选入玄奘译场，成为九名缀文大德之一。
与辩机同时入选为缀文大德的还有另外八人。这九人皆为一时上选，而辩机、道宣、靖迈、慧立四人名声特著，因为他们除了参与译经之外，都另有史传著作行