但是当时蒙古部因为常年被草原其他部落攻伐，内部的一些跟随他父亲曾征战的老人见尚还年幼的铁木真继承他们的可汗，认为小小年纪，毛都没长齐，尚不可继任。

于是很多蒙古部的旧势力，也术该的手下，在也术该被塔塔尔人用着毒酒毒死后，纷纷离他铁木真还有他母亲额木仑而去。

年幼的铁木真因为父亲的死，弱小既有卑微的心灵受到伤害，单单这个时候，父亲的手下，在他父亲死后，一个又一个带领着族人离开了部落，离开了蒙古部这个过去他们生活过的地方，另谋出路，或者是投靠了其他部落。也术该的手下，把铁木真和他的母亲额木仑像裹脚布一样抛弃了。

公元一千一百六十九年夏天的某一天，蒙古部一下子冷清了起来，因为部落的族人出走，曾经如日中天强大的蒙古部，在短短的几天里开始走向了衰败，整个蒙古部落里面只还剩下铁木真和他的母亲额木伦，以及一些照顾他娘俩的仆人还呆在蒙古部落里。

这个时候，年幼的铁木真才感叹到人世的凄凉，父亲倒了，父亲的手纷纷又离他而去，他还幻想着父亲死后，自己可以继承父亲的遗志，让蒙古部在日后会变得强大起来，但是父亲的手下却不愿意辅佐年幼的他，个个离他而去。

他觉得可能是自己年纪小，在加上自己从小是蒙古黄金家族高贵的血统，是含着金钥匙长大的，没有上过战场，族人不辅佐他，会离他而去，可能觉得他身上没有闪光点，又可能是因为他年纪小，并没有作为，难当大任，所以族人才会离他而去。

当时铁木真知道，族人的离开，是因为觉得他不可靠，所以才会抛弃他，如果自己父亲还没有在他很小的时候就离他而去，等他在成长几年，有机会跟父亲上战场征战四方，做一回真正的蒙古勇士，或许族人就不会抛弃他。

但结局是悲凉的，铁木真并没有等到日后，在父亲死后的几个月中，铁木真经常坐在蒙古部外的草原上，对着天空发呆，周围没有一个人，只是耳边能听到帐外的几棵枯树的树梢上传来几声乌鸦的尖叫声，似乎在嘲讽他是一个遇到挫折就自甘堕落的人。