遭到了褚遂良的坚决反对，但是太宗强硬的态度却使褚遂良感到恐惧，他没有再坚持，并跟随唐太宗远征辽东，但是后来事态的发展，证实了褚遂良的话是对的。
贞观十八年，作为黄门侍郎的褚遂良开始参预朝政。随后，他被太宗派往全国各地，巡察四方，直接可以黜涉官吏。正在此时，他父亲褚亮死了，他不得不暂时辞去黄门侍郎之职。
其后房玄龄病故，经由杜睿的推荐，褚遂良才被起复，一跃成为了尚书令，或许褚遂良的政治敏锐度，照比杜睿要差很多，但是褚遂良的为人，他的耿直，确实杜睿都要自叹不如的，这样一个人担任宰相的职位，可以起到规劝君主，统驭百官的职司。
在原本的历史上，当太宗在病重，弥留之际，将长孙无忌与褚遂良召入卧室，对二人说：“卿等忠烈，简在朕心。昔汉武寄霍光，刘备托诸葛，朕之后事，一以委卿。太子仁孝，卿之所悉，必须尽诚辅佐，永保宗社。”
他又对当时任太子的李治说：“无忌、遂良在，国家之事，汝无忧矣。”
于是命令褚遂良起草诏书。
八年后，被黜的褚遂良写给高宗的信中曾提到：“当受遗诏，独臣与无忌二人在，陛下方草土号恸，臣即奏请即位大行柩前。当时陛下手抱臣颈，臣及无忌请即还京，发于大告，内外宁谧。”事实也确是如此，高宗登上皇位，褚遂良功莫大焉！
贞观二十三年阴历六月，李治继皇帝位，年仅二十一岁。高宗即位后，就封褚遂良为河南县公，次年，又升为河南郡公。
但是在实际上，李治可能并不喜欢褚遂良这位托孤大臣，所以后来借故把他贬为同州刺史，可三年后，高宗又把他召回身边，征拜为吏部尚书，同时监修国史，加光禄大夫，又兼为太子宾客。随后又升为尚书右仆射，执掌朝政大权。
在高宗统治初期，李治刻意效仿太宗的所做所为，褚遂良他们确实取得了一些可观的成就。但是，不久，他和胆小懦弱的高宗皇帝一起，正面对着一个更为强大、机敏和肆无忌惮的对手武媚娘，在这场权力斗争中，他们都成了失败者。
在公元640年，只有十几岁的武媚娘进入后宫，成为太宗的“才人”。她的美貌与才情不仅得到了年老的太宗的喜爱，似乎在同时也得到了年轻的太子的爱情。太宗死后，公元654年左右，曾经一度削发为尼的武媚娘成为李治的妃嫔，并被封为“昭仪”，得到高宗的宠信，也得到一些大臣的支持。
在是否立武昭仪为皇后的斗争中，褚遂良与另一位元老重臣长孙无忌强烈反对任何废黜王皇后的企图。
根据新、旧《唐书?褚遂良传》的记载，高宗召太尉长孙无忌、司空李绩、尚书左仆射于志宁以及褚遂良进官商议废后立后之事。