一群倭寇不知道从哪里得知了一些只言片语，说福建九莲山上有一个神秘的人，这个人可以威胁到明王朝的统治地位。他们误以为小皇帝阿离的后人，是朱棣寻找不见的朱允文后人。他们想利用这些朱允文的后人，直接威胁明王朝的皇帝，争取名正言顺地统治中原。他们分兵五路，明暗相交，相互掩护，目的就是占领九莲山，找到所谓的朱允文后人。

南少林早一步知道了倭寇的动机，对于这些倭寇的行为又好气又好笑，但是不能让倭寇得到小皇帝阿离的后人。虽然这些不是什么朱允文的后人，但是他们的身份真的可以威胁大明朝的稳定。南少林的人一边想办法抵御倭寇，一边秘密把这些南宋后人转移到另外一个秘密地方。虽然没有让倭寇得逞，但是这些人的身份已经暴露，不能再送回南少林看管。

多年后在戚继光的努力下，倭寇问题渐渐解除。如何安置南宋后人，和一些战争孤儿，成为了朝廷和军队的大麻烦。这些人不能随便当作老百姓，又不能直接转为军户，朝廷和军队只好想出一个不是办法的办法。朝廷找了一个相对封闭的环境，让这些人只有居住，但是不给大家绝对的自由。主要出入口有军队看管，一般的老百姓不能接触到他们。他们也不能轻易离开居住地，更加不能和外人来往。

这里的人除了南宋小皇帝的后人，还有一些血脉不纯正的汉人。一些中国妇女被倭寇抓走后，有了倭寇的孩子，这些人是无辜的，孩子也是无辜的。这些妇女大多数人都不愿意抚养自己的孩子，甚至于想要亲手扼杀这些孩子。戚继光军队收养了不少这种半中半日血统的孩子，他们甚至于不能在中国顺利生活下去。朝廷把这些孩子集中起来，和南宋后人一起看管，让她们自生自灭。

朝廷和军队找到了一个相对隐秘和封闭的环境，这就是如今的东渔村和西山坳。南宋后人被安排在了东渔村，倭寇和中国妇女剩下的孩子住在西山坳。中间隔着草帽村和军营，而且两地之间还有一些不能直接往来的河流。每隔一段时间，军营用船只给他们送补给和物资，他们和囚犯差不多。还好南宋小皇帝的后人已经习惯了这种半囚禁的生活，很快在这里习惯了生活。这就是东渔村第一批的居民。老李家虽然不是南宋后人，但是老李家的人血脉里面也有南宋后人的成分。