升平三年，谢万与北中郎将郗昙兵分两路，北伐前燕。谢万在北伐时不能抚慰将士，又误认为敌军抵达，导致手下士卒惊扰奔溃，谢万也单骑狼狈逃还，军士看在谢安的份上才没有杀他(一说此时谢安并不在谢万军中)。不久后，谢万被免为庶人，整个谢家都被大家当作了笑柄。此事使谢氏的权势受到了很大威胁，谢安自此才开始有做官的志趣，他当时已经四十多岁了。

升平四年(360年)，谢安应征西大将军桓温之邀担任他帐下的司马，谢安从新亭出发，百官都为他送行，御史中丞高崧对他开玩笑说:“足下屡次违背朝廷旨意，高卧东山，众人常常议论说，谢安石不肯出山做官，将怎样面对江东百姓!而今江东百姓将怎样面对出山做官的谢安石呢!“谢安深有愧色。他到桓温的府第，桓温十分高兴，二人畅谈生平经历，欢笑终日。离开后，桓温对左右说:“你们是否见过我有这样的客人“后来，桓温去谢安的住处，正碰上谢安整理头发。谢安性情迟缓，许久才理罢，让侍从取来头巾。桓温制止说:“让司马戴好帽子再相见。“桓温就是如此器重谢安。

升平五年(361年)，在桓温即将北征时，谢万病逝，谢安乘机投书请求奔丧，离开了桓温。不久，被任命为吴兴太守，他在任上声誉一般，但离开后便为众人所怀念。其后被征召入朝，担任侍中，又升任吏部尚书、中护军。

小花觉得这个时候的谢安才像一个男人，一个勇于挑起家族希望和责任的男人。

咸安元年(371年)，桓温在北伐时于枋头惨败。为了重立威名，桓温听从心腹郗超的建议，废黜了海西公司马奕，另立丞相司马昱为帝，即晋简文帝。

咸安二年(372年)，即位不到一年的司马昱因受制于桓温而忧愤非常，以致病重，桓温上疏举荐谢安接受遗诏。七月二十八日(9月12日)，司马昱驾崩。

宁康元年(373年)，桓温入京朝见孝武帝司马曜，太后褚蒜子命谢安及侍中王坦之到新亭迎接。当时，建康城里人心浮动，有人说桓温要杀王坦之、谢安，晋室的天下要转落他人之手。王坦之非常害怕，谢安却神色不变，说:“晋室的存亡，就取决于此行。“桓温抵达后，百官夹道叩拜。桓温部署重兵守卫，接待百官，当时有官位声望的人都惊慌失色。王坦之汗流浃背，连手版都拿倒了。只有谢安从容就座，他坐定以后，对桓温说:“我听说诸侯有道，守卫在四邻，明公哪里用得着在墙壁后面安置人呀!“桓温笑着说:“正是由于不能不这样做。“于是就命令左右的人让他们撤走，与谢安笑谈良久。由于谢安的机智和镇定，桓温始终没敢对二人下手，不久就退回了姑孰。王坦之当初与谢安齐名，众人至此才分出二人的优劣。

当时孝武帝年幼力弱，在外又有强臣，谢安与王坦之竭尽忠诚辅佐护卫，最终使晋室得以安稳。同年三月，桓温病重，暗示朝廷对他加九锡，让袁宏起草奏表。谢安见后，动手修改原稿，十多天还未改好，等桓温一死，加九锡之事因此搁置。