江智渊,济阳考城人,是湘州刺史江夷弟弟的儿子。父亲江僧安,任太子中庶子。
江智渊最初担任著作郎,江夏王刘义恭太尉行参军,太子太傅主簿,随王刘诞后军参军。他伯父江夷有盛名,江夷之子江湛又有很美的声誉,父子二人仕途通达,地位尊贵,江智渊的父亲年轻时没有名声,江湛对他的态度很是简慢,江智渊常以此为憾,如果不是逢年过节,江智渊就不进江湛的家门。
江智渊在襄阳担任随王刘诞的僚属,刘诞对他非常亲厚。当时谘议参军谢庄、府主簿沈怀文都和江智渊交往亲密。沈怀文每每称赞江智渊说:“人们应有的美德全都具备,人们不应有的恶习全都没有,这人恐怕是江智渊吧!”