刘峻生不及一月,曾任宋始兴内使的父亲刘病逝,母亲许氏不得不带着他及哥哥法凤回到故乡。宋明帝泰始五年,刘峻8岁,魏攻占青州,刘峻母子为乱兵所掠,作为奴隶卖到中山。富人刘宝悯惜刘峻,以束帛赎出,并教他读书。此时刘峻的叔父刘怀珍仍在宋为官,并以军功累迁至黄门郎领虎贲中郎将。魏实行民族隔离政策,对南朝有戚属者尤甚,因此再徙刘峻母子到更为僻远的代地。
刘峻母子衣食难继,不得不到寺庙为僧为尼,还俗只是后来的事情。刘峻却非常好学,在“居贫不自立”的情况下,燃麻杆为灯;夜读昏困,就用麻杆燎发须,“及觉复读”。齐武帝永明四年,刘峻母子不堪忍受民族歧视,由桑乾回到建康。