长孙无忌等相继离开后，褚遂良要府令把府役和丫鬟们传到前厅，见他们一个个蹙郁着脸，他禁不住就宽容地笑了：“人生一世，变故甚多，聚散终有常，你等不必凄凄切切。”
几位丫鬟哭出了声，纷纷道：“这些年来，夫人待奴婢有如亲生，今日夫人忽然要离开，奴婢这心里……”
褚夫人也掩面泣道：“老身谢你等多年的关顾……”没有等再说下去，后头就哽咽了。
褚遂良见此不高兴道：“夫人这是怎么了？不是说好了不流泪的么？”
褚夫人又断断续续道：“老身这是想着夫君冤枉。当初要不是受命托孤，也就不会得罪那个武氏，何来今日之果呢？”
“你这是什么话？先帝托孤于我，乃以我为信臣。为臣者不为江山谋，毋宁死。该来的你躲也躲不过，再说，这又不是第一次离京，你哭哭啼啼，还怎样说话？”
眼见夫人情绪渐渐平静，褚遂良开始安排后面的事情，他环顾了一下前厅的人群道：“本官此次受命出任潭州都督，山高路远，日后还能不能回京亦未可知。故而召你们来，就是将家中所存银两、细软悉数分与你等，各自回家谋生。”
有几名府役当场表示不愿散去，褚遂良劝说良久，见其随意甚坚，只好答应带着他们，其余的人各自领了银两，说好等褚遂良离开京城后再行散去。
第二天卯时三刻，褚遂良早早起身，府令叫了四辆车驾，三辆装了必用的行装，一辆夫人坐了，静静地离开坊间，到了城门口。守门的司直见是褚遂良，忙上前施礼道：“褚大人！您这是……”