兖州平定后，谢玄忧患水道险阻不通，运粮艰难，便采纳督护闻人奭的建议，筑土坝拦截吕梁之水，树立栅栏，合七埭为一支流，承接两岸的流水，以利于漕运，从此公私两便。又进军攻青州，所以将这一水利工程称为青州派。

再遣淮陵太守高素率三千人马出击广固，迫使苻坚的青州刺史苻朗投降归顺。又进军讨伐冀州，遣龙骧将军刘牢之、济北太守丁匡据守碻磝，济阳太守郭满据守滑台，奋武将军颜雄渡过黄河建造营垒。苻坚之子苻丕遣部将桑据进驻黎阳。谢玄命刘袭夜袭桑据，桑据逃走。苻丕惶恐不安，打算降晋，谢玄答应请求。苻丕告饥，谢玄送给苻丕二千斛军粮。又遣晋陵太守滕恬之渡过黄河据守黎阳，三魏之地皆归降东晋。

朝廷因兖、青、司、豫四州均已收复，便任命谢玄都督徐、兖、青、司、冀、幽、并七州军事。谢玄上疏朝廷，认为刚平定河北之地，幽州冀州必须专门命人总督，司州遥远，应归豫州统管。朝廷论功封谢玄为康乐县公。谢玄请求把他先前所封东兴侯的爵位赐予侄儿谢玩，朝廷许可，封谢玩为豫宁伯。谢玄又遣宁远将军竂演讨伐占据魏郡的申凯，击败了申凯。谢玄打算让豫州刺史朱序镇守梁国，自己坐镇彭城，北可以巩固河北之地，西可以援救洛阳，内可以捍卫朝廷。

但此时朝臣却议论认为征战已久，应当设置戍守边关，然后休兵养息，派谢玄回镇淮阴，朱序镇守寿阳。适逢翟辽叛乱，占据黎阳，拘捕滕恬之，又加上泰山太守张愿率全郡反叛，河北之地骚动不安。谢玄自认为处置不当，便上疏朝廷，奉还符节，请求解除全部职务。朝廷下诏慰劳谢玄，命令他暂且回镇淮阴，以朱序代镇彭城。

谢玄回到淮阴后，患上疾病，又上疏请求解除职务，诏令不许。谢玄又自陈述，说既然不能履行职责，恐怕会荒废军务。

朝廷又下诏让他移镇东阳城。谢玄便奉命上路，以病重恳求解职。朝廷为谢玄派了一名医术高明的医士，并让他好自调养休息，又让他回京口治病。

谢玄奉诏回京口，病却长期不见好转，于是又上疏道:“臣兄弟七人，都先后凋谢殒灭，惟有臣一人，孑然独存。经历的艰难困苦，谁可与臣相比!臣之所以含悲忍痛，希求继续苟活人世，是因为满怀无穷忠心，欲上报朝廷恩德，或许能恢复康健，便可以完成此志。况且臣家中遗孤甚多，想起他们，心中就不胜悲伤，为此求生之心，不能即刻付与尘土。臣一片勤恳之情，实可哀怜。恳求陛下怜悯臣的忠诉，霈然降恩，不使臣含恨九泉。“

谢玄所上的十余道奏疏都被扣住，未予答复。许久后，朝廷才调谢玄为散骑常侍、左将军、会稽内史。谢玄抱病登车去会稽郡任职。

太元十三年(388年)，谢玄在会稽去世，终年四十六岁。朝廷追赠车骑将军、开府仪同三司，谥号“献武“。

永初元年六月十四日(420年7月10日)，刘裕代晋称帝，建立刘宋，当时前朝东晋的封爵中只有王导、谢安、温峤、谢玄与陶侃子孙的爵位未被废除，谢玄的爵位康乐县公被降封为康乐县侯，食邑五百户。