面对皇权的猜忌，作为谯国桓氏的成员，有一次性格放纵的桓伊在东晋孝武帝面前抚筝，哀怨唱出曹植的诗：
为君既不易，为臣良独难。
忠信事不显，乃有见疑患。
周公佐成王，金滕功不刊。
推心辅王室，二叔反流言。
作为同样被猜忌提防的世家大族成员，桓伊故意以西周时期周公旦的典故唱出世家大族当时的艰难处境，当桓伊一曲终了时，座席上的谢安泪流满面，特地走过来跟桓伊说：“足下不同于常人！”
淝水之战后两年，东晋太元十年（385年），遭遇皇权猜忌和各个世家大族围攻的谢安主动交出权力，自请移镇广陵，当年，66岁的谢安在被猜忌疑虑中去世。
而作为北府兵创办人的谢玄，也自请离开军事前线，转赴浙江担任“散骑常侍、左将军、会稽内史”的闲职，谢安去世后三年，东晋太元十三年（388年），作为淝水之战的实际指挥人，一度将汉人兵锋重新推进到黄河北岸，甚至收复了部分黄河北岸沦陷国土的谢玄，最终也在猜忌和抑郁中去世，年仅46岁。
后来，作为谢玄的孙子和王羲之的外孙，已经进入南朝的谢灵运在《山居赋》中，回忆自己的家族史时写道：“余祖车骑（谢玄）建大功淮（河）、淝（水），江左得免横流之祸，后及太傅（谢安）既薨，远图已辍，于是便求解驾东归，以避君侧之乱。废兴隐显，当是贤达之心，故选神丽之所，以申高栖之意。经始山川，实基于此。”