结仇太守

元嘉五年(428年)，谢灵运称病回到家乡后，游玩喝酒集会赋诗照旧，日以继夜。因此而被御史中丞傅隆所弹劾，被免除了所有官职。回到家乡后，谢灵运和同族兄弟谢惠连、东海人何长瑜、颍川人荀雍、泰山人羊璿之，因为相互欣赏对方的文章而结好。他们同游山水，当地的人称他们为“四友“。

谢灵运依靠着祖辈、父辈丰富的家底和深厚的人脉，生活富足，奴仆众多，有上百名先人的门生故吏和他往来。他喜好游山陟岭、纵情山水，没少做开山造湖的事情。但凡游山，必定要探寻最为险峻幽深的地方，即便山峦叠嶂、沟壑纵横，也必会游遍每一个他想去的地方，不畏险阻。为了便于走山路，他每次登山都穿上一种前后齿可装卸的木屐，上山时便去掉前面的鞋齿，下山时则去掉后面的鞋齿。这种鞋被后世称为“灵运屐“。

谢灵运大兴劳役，曾经从始宁南山到临海一路伐木开道。时任临海太守王琇闻之，以为是山贼前来偷袭，甚为惊恐，后来得知来的是谢灵运不是山贼才安心。谢灵运邀请王琇随他一同继续游玩，王琇不肯。谢灵运在会稽也有很多人跟从，他总是惊动郡县长官。会稽太守孟顗信仰佛教，诚恳认真，谢灵运很瞧不起他，且对他说:“成仙得道应该是有灵气的文人，你升天一定在我谢灵运之前，成佛一定在我谢灵运之后。“孟顗非常厌恶谢灵运所言。

回踵湖在会稽城东，谢灵运上疏请求将其改做稻田之用，得到批准，下令地方各州郡执行。但孟顗认为，回踵湖距城郭很近，一方水土养一方百姓，改做稻田没能物尽其用，十分可惜，因而坚决不执行朝廷的命令。谢灵运眼看着事情没有向着自己预料的方向发展，转而又要求将始宁县的岯崲湖改做稻田，再次遭到孟顗的抵制。谢灵运认为孟顗的考虑并非以利民为首要，而是只考虑掘开湖泊会杀生，言语间中伤了孟顗，孟顗和谢灵运结下仇恨。

孟顗利用谢灵运性格放荡不羁、对百姓多有侵扰的事，上了一道奏疏说谢灵运想谋反并私自调用本郡军队防守自卫。谢灵运听说此事，飞骑进京上书:“我归家养病至今已三年，平日远离城郭居住，鲜与世人打交道，多呆在偏僻的穷山岩洞之间，几乎中断了和外界的联系。我只想修身养性，平静过完余生。然而，上月二十八日我突然得知会稽太守孟顗上疏弹劾我谋反的不实之语，深感惊异，不知他为何要这样讲，便急忙回到京城面见皇上您并解释清楚。在来的路上，当我经过山阴城时，孟顗全城设防，兵马严阵以待，大街小巷密探遍布。微臣真的不知犯有何罪，竟会被如此防范，现在的我无时无刻不处于恐惧之中。臣下当年曾有幸做过皇上的侍臣，蒙受天恩，如果有确凿证据证明我背叛圣上、大逆不道，我心甘情愿意被判处死刑，以正国法。使普天之下，也不能有我立脚的地方。现在只以谣言作为我的罪证，这是多么残酷啊!自古以来，圣贤们也免不了被诽谤，但是招致诽谤，还是有原因的。或者不怕死亡重视义气，或者结党聚众，或者称雄乡里，或者当剑客侠士，纵横无忌。还从未听说循规蹈矩的人，想去造反谋逆的，隐居的人，打算谋害皇上的。现有人捕风捉影，凭空造谣，从古以来的陷害，没有比这更残酷的。我并不是爱惜自己的生命，只是受不了其中的冤枉。我扪心自问并无什么对不起皇上的事，但是抱着一肚子的冤屈无处申诉。所以带病投奔皇上，请您裁判。我希望皇上鉴定是非曲直，那么即使我死了，也如同活着一样。我现在整天担心害怕，以致老病发作，神情恍恍惚惚，不知怎样陈说。“

充军被杀

皇帝知道谢灵运是被冤枉的，所以没有判他有罪，只是不想让他回会稽，于是让他做了临川内史，且增加俸禄到两千石。谢灵运赴任后仍然如故，和在永嘉太守任上时没有两样，所以再次被有关人员弹劾。司徒派临川王的从事郑望生逮捕谢灵运，谢灵运反而抓住郑望生，起兵叛逃，从而有了叛逆的念头。他写诗说:“韩亡子房奋，秦帝鲁连耻，本自江海人，忠义感君子。“最后他仍被追上并被逮捕，被送到廷尉那里定罪。廷尉上奏说谢灵运率领部众造反，应处以死刑，皇帝仍然爱惜他的才华，只想免去他的官职而已。彭城王刘义康坚持说不应该饶恕他，于是皇帝下了一道诏书说:“谢灵运罪过深重，确实应该判处死刑。但念他祖父谢玄有功于国家，应该原谅他的子孙，免死充军广州。“