直至颜家和许家的子弟都受到杜家贪墨案牵连,两家的关系出现裂隙,当时两家人有不少子弟被迫调职离开京城,颜父是其中之一。
颜父被调职到京外,失去家族的支持,官场不尽如人意,最后大病一场,终究不治。颜母本在诞下么女雪庭便落下病根,身子虚弱,她深知自己无法逞强便向娘家求助,女儿嫁人就是拨出去的水,何况是不受宠的女儿,娘家在自顾不下时,没道理硬要帮衬。而京城的颜家怕惹皇帝不悦,只给钱了事。
在走投无路之际,颜母许氏写信给辉霞县主。