大业三年，杨广北巡归来，上太行山，开辟直路🕐🈱🂋🕐🈱🂋九十里，一直通到张衡家，世人皆认为这是天子恩遇，鸿恩浩🛪荡，但唯有黄明远知道。
这样的隆恩背后🍚🈪🁌，是很多昔日🌢🀵恩情偿还尽的表♂🅦现。
天子为张衡的拥立🛆🚋👷之功在还恩🌢🀵，恩还🚳完了，情分也就尽了。
果然不出黄明远所料，大业四年，杨广到汾阳宫，宴请随从官吏，特⛹🟗🝏赐绢帛五百匹。当时杨广想扩建汾阳宫，让🐙⛶🞺张衡和纪弘整画好图纸奏上。
此时天下已经出现了动乱的苗头，张衡也忧心忡忡，便想接着这个机会进谏杨广，因此趁机说道：“这⚲几年劳役繁多，百姓疲惫，实在不应该再大兴劳役，还请圣人慎重。”
杨🄮🀽广当时听了💈🏼便很不高兴，只是碍着面子没有发作。
等🄮🀽到张衡离开后，杨广便连桌案都推翻了，指着张衡离去的方向大声骂道：“你以为你是谁！”
后来便传出天子曾对亲近侍臣言💮🕊“张衡自以为因为他的计谋，才让我⛹🟗🝏有天下”🚴🗪🞟的话。
再之后，齐王杨暕将伊阙令皇甫诩带到汾阳宫，有人便告发🟐🜖🂇此事便是通过张🏲衡做的。又说以前天子到涿郡以及祭祠恒岳时，那些来谒见的父老乡亲，衣冠大多不整，这是身为御史大夫的张衡没有做好。
杨广趁机发难，怪罪张衡，身为💮🕊司法官不能♯检举处理这些问题，让他出京当楼烦太守。
张衡就此被贬出朝廷。
大🄮🀽业五年，杨广又到汾阳宫，张衡正在督促劳役修筑楼烦城，因而拜⛹🟗🝏见杨广。
此时杨广以及对张衡充满了厌恶，他见张衡没有消瘦，竟然觉得是因为张衡没有反思自🛑己的过🖻🗴失，便对张衡说：“你长得很肥，应暂且回到郡里去。”
再🄮🀽之后张衡又被贬🛆🚋👷为江都宫监，负责修建江都宫。
张衡也回到了十年内他们离开的地方。
正巧有人到张衡那里告🛵♊监修江都💮🕊宫的人，张衡不为他处理，却把状纸交给那个监工，这个人吃了监工更⚲大的亏。
礼部🜱尚书杨玄感出使🜺🗪到江都，这个人到杨玄感处喊冤。
杨玄感自然认为张衡的作法不对。到与张衡相见🕐🈱🂋时，杨玄感又没说什么。张衡又先对杨玄🞴😗感说：“薛道衡真是被🐙⛶🞺冤死的。”杨玄感把这些事都报告给了杨广。
扬州不少官员也上🛆🚋👷奏张衡频频减少劳役的饭食。
杨广于是发怒，把张衡关起来，送到江都，将要杀他，过了很久才放他，除名为民🁡😔，放他回老家乡里，只是常令亲信窥探张衡♉🆨在做些什么。