然而，到了贞观二十二年，薛万彻的辉煌人生就开始走下坡路了。原因是他的副将裴行方控告他在军中“仗气凌物”，并有“怨望”之语。所谓怨望之语，意思就是涉及政治的牢骚话。当裴行方与薛万彻就此事当廷对质的时候，据说薛万彻理屈词穷，无法辩白，随后便被朝廷“除名徙边”，也就是开除官职，流放边疆。

　　薛万彻也许真的是说过一些牢骚怪话，否则也不至于在对质的时候哑口无言。可如果以为他纯粹是因为这个被贬黜流放，那就把问题看得太简单了。其实，真正的原因是朝中的政治倾轧和派系斗争，而薛万彻恰恰与长孙无忌的对立面房遗爱交往密切。

　　贞观二十三年六月，高宗即位，大赦天下，薛万彻遇赦回京，并于永徽二年被起用为宁州（今甘肃宁县）刺史。如果薛万彻能因为这次流放的遭遇而深刻认识政治斗争的残酷性，从此安分守己，夹着尾巴做人，也许可以避开最后的这场灾难。

唐初将军薛万彻

　　可惜，就在被重新起用的这一年，薛万彻因足疾回京疗养，其间便与房遗爱打得火热，并再次“有怨望语”。他愤愤不平地对房遗爱说：“今虽病足，坐置京师，鼠辈犹不敢动。”所谓“鼠辈”，意指朝廷的当权派，实际上就是指长孙无忌。

　　闻听此言，房遗爱当年被彻底粉碎的“拥立梦”再度被激活了。他带着满脸的兴奋之情对薛万彻说：“若国家有变，当奉司徒、荆王元景为主！”房遗爱所说的这个荆王李元景，是高祖的第六子，时任司徒，他的女儿嫁给了房遗爱的弟弟房遗则，和房家是亲家关系。

　　在房遗爱的小圈子中，除了薛万彻和李元景，还有一个就是驸马都尉柴令武。当初柴令武和房遗爱都是魏王党的核心成员，魏王被废黜后，柴令武自然也是一肚子失意和怨气。高宗即位后，曾给了柴令武一个卫州（今河南卫辉）刺史的职务，但他以公主身体不适要留在京师就医为由拒绝赴任。柴令武就这么赖在京师不走了，据说还长期与房遗爱“谋议相结”。