公元444年,江淹出生于宋州济阳考城(今河南省商丘市民权县程庄镇),故里位于今民权县程庄镇。祖父江耽。父亲江康之,南沙令,雅有才思。江淹少时孤贫好学,六岁能诗,十三岁丧父,家境贫寒,曾采薪养母。二十岁左右教宋始安王刘子真读五经,并一度在新安王刘子鸾幕下任职,开始了他的政治生涯。
江淹在仕途上早年不甚得志。泰始二年(466年),江淹转入建平王刘景素幕。江淹受广陵令郭彦文案牵连,被诬受贿入狱,在狱中上书陈情获释。刘景素密谋叛乱,江淹曾多次谏劝,刘景素不纳,贬江淹为建安吴兴县令。江淹的许多代表作品都写于被贬期间。宋顺帝升明元年(477年),齐高帝萧道成执政,把江淹自吴兴