潘罗欢天真地以为投靠蒙古人之后还能继续作威作福的生活。只不过蒙军一进城，他便发现自己错了，而且错得离谱。蒙古人尊崇武力，只靠拳头讲道理，在他们看来失败者根本不值得尊重。被征服的汉人都不过是可以生杀予夺的奴隶，是会说话的工具而已，至于汉人降官也不过是奴隶头子而已。要说潘罗欢也是个见风使舵的人，驻守府城的蒙古百人队长蛮横无理也罢，肆意辱骂也罢，吆来喝去也罢，他也能接受。他虽然又狂又蠢，却也懂得人在屋檐下不得不低头的道理。他唯一不能忍受的是蒙古人一进城，便将城中女人全数霸占，姿色上佳的自然是被蒙古百人队长收入囊中，其中就有潘罗欢的相好小翠花。这小翠花原本是城中绸缎商人的小妾，潘罗欢入主府城之后，便以偷税罪名将绸缎商人投入狱中活活饿死，将其家财和翠花一并夺占。蒙古百人队长夺走翠花后，潘罗欢愤恨得双眼冒火却也无可奈何，只能继续给蒙古人当龟孙子。他虽然是县令，手下却只有一百多号的老弱残兵。蒙古人为了防止城中汉人反抗，又故意克扣粮食，潘罗欢的手下饿得连武器都拿不动，哪里能反抗蒙古人？

潘罗欢实在受不了没有女人的日子。他常常趁蒙军百人队长出城劫掠或喝醉的时候，偷偷与小翠花幽会。这小翠花也被蒙古百人队长蹂躏的不成样子，每次都哭求潘罗欢带她远走高飞脱离苦海。只是潘罗欢在求欢前满口答应，完事后便置之不理，明显是个无情的渣男。小翠花先是满心期待，后来便是心灰意冷，再后来便是心生恨意，索性将两人私通之事告诉了蒙古百人队长，并哭诉说是潘罗欢胁迫。这蒙古百人队长听后蛮性大发，拔刀就满城寻潘罗欢。潘罗欢从亲信处得知消息后大惊失色，偷了一匹马便夺路而逃。当前崇庆府已没有他容身之地，霹雳军更不待见他，他准备逃往嘉定府去投奔俞兴之子俞大忠。俞兴派人收复邛州之后，命俞大忠执掌邛州。由于两州府相邻，相互之间公事交往颇多，加之两人年龄相仿也都是纨绔子弟，气味倒是十分相投。成都之战失败后，蒙军尚未进犯邛州，俞大忠便弃了城乘船沿水路逃往嘉定府。在行经新津城时，他曾派快船来邀潘罗欢一同前往。这潘罗欢心知到了嘉定府，自己部属财产必然被贪心极重的俞兴父子夺去，失去了崇庆府城这个根基，自己便没有了资本。故他推脱了俞大忠不怀好意的邀请，而是留下来与蒙古人谈判，试图当一方土皇帝。