刘瑾对张彩日益亲近，而焦芳日益失宠，就转而巴结张彩，又伙同张彩在刘瑾面前，将焦芳所做的对刘瑾不利的事统统说了出来。刘瑾知道后不觉大怒，数次在大庭广众之下怒斥焦芳父子，焦芳自知大势已去，连忙上奏乞归。儿子焦黄中，无奈之中也以侍读的身份随父还家，父子俱在老家善终，而其他被列为阉党的后来无一不被追究。

以后对焦芳多诋毁有加，盖因焦芳对南方人刻薄缘故，特别是南方文人，以至众口铄金，把焦芳描绘为胸无点墨的草包之士，列为阉党之首。