1925年11月，奉系将领郭松龄因待遇不满，起兵倒戈，当时奉军主力正在关内作战，奉天形势危急。为了解张作霖之急，土肥原直接向日军参谋本部建议调遣驻朝鲜龙山的日本军队出兵奉天，阻击郭松龄。结果，郭松龄兵败被杀，土肥原本以为关东军支持张作霖会换来奉系的俯首帖耳，完全听命于关东军，然而，张作霖并不甘心听命于日本人，做一个傀儡。他明白日本人在利用他，但他也是在利用日本人。他羽翼已丰，自然不会像日本人所希望的那样对其言听计从了。对于日本不断提出的各种“权益要求”，他要么设法推脱，要么就干脆不办，特别是在1927年就任“中华民国陆军大元帅”，并组织起“安**政府”后，他力图摆脱日本人控制的姿态愈发明显。张作霖这种做法使得土肥原贤二颜面扫地，因为他曾力主关东军大力支持张作霖，并“错误”地判断张会听命于日本。

当国民革命军以怒涛之势北伐的时候，土肥原判定奉军绝非民族主义强烈的革命军的对手，土肥原担心的是，如果北伐联军迫**津，战乱很有可能会波及到“满洲”，为此，他一面急电日本参谋本部派兵阻止联军北上，一面对张作霖施加压力，逼迫其尽早返回奉天。关起门来搞独立，可张作霖大一统野心不死，对土肥原的建议置若罔闻，就是不愿离开北平。事已至此，土肥原这个原本力主支持奉系的人，终于坚定了除去张作霖的决心。土肥原开始与关东军高级参谋河本大作密谋。

1928年6月2日，面对大势已去的局面，张作霖才不得不宣布“退出京师”。6月4日清晨5时23分，当专列行至奉天皇姑屯火车站京奉线与南满线铁路交会处时，一声巨大的爆炸声响起，张作霖这个当时的中国国家元首就这样被暗杀了。

但是，东北的局势并未因皇姑屯事件引起混乱，给关东军出兵干预的借口。相反，由于张作相的鼎力支持，张学良迅速站稳了脚跟，因家仇而决定了易帜。日本最高当局对土肥原、河本大作等人的擅自行动，十分不满。河本大作被开除出军队，土肥原则在军部的掩护下侥幸逃脱了惩罚，只是被解除顾问职务。

1929年3月转任高田第30步兵联队联队长。

建立伪满州国

1930年4月起，蒋介石同冯玉祥、阎锡山的新军阀混土肥原贤二战开始，张学良借口调停，于9月18日率奉军7万进关，日军为了瓦解华北张学良的势力，

1931年3月，正式在天津设定特务机关，并任命土肥原为天津特务机关长。土肥原穿梭于旧北洋军阀之间，拼凑所谓“北洋派大同盟”，以对抗蒋介石与张学良的联合。

1931年7月他策动石友三与阎锡山、韩复榘结成反蒋驱张同盟，虽然并没有成功，但却使张学良把关内部队增至11万人，使东北的防务出现空虚，8月，他调任沈阳特务机关长，制造了所谓的中村事件，煽动战争狂热。土肥原在日本内阁会议上声称:“奉天政府即便是承认这个事实，但如不表示诚意，或者玩弄拖延谈判手段时，我们准备采取最大限度的报复手段。”

10天之后，日本关东军在板垣征四郎和石原莞尔等侵华分子的策动下，挑起了震惊中外的九一八事变。事变发生3天后，土肥原即从东京紧急返回，根据板垣征四郎的建议，出任沈阳市长。立即开始着手“整顿”奉天城的社会治安，建立“奉天地方自治维持会”等组织，派出约4000多名巡警上岗巡逻，加强警戒等。奉天城暂时恢复平静后，土肥原辞去奉天市长的职务，新市长由留学日本的华人赵欣伯担任。