幼遭家难
来济生于江都(今江苏省扬州市),祖籍南阳新野,东汉名将来歙十九世孙。高祖来成,北魏新野县侯,后降梁,迁居广陵,遂以此为家。父亲来护儿,隋朝名将,曾担任左骁卫大将军、左翊卫大将军、光禄大夫、开府仪同三司等职,封荣国公,恩礼隆密,朝臣无比。
隋大业十四年(618年),右屯卫将军宇
文化及发动政变,弑杀
隋炀帝。来护儿不屈于叛军,被宇文化及杀害。同时遇害的还有来济的大哥来楷(时为散骑郎、朝散大夫),五哥来弘(时为果毅郎将、金紫光禄大夫),六哥来整(时为武贲郎将、右光禄大夫)。 只有来济和哥哥来恒因为太小没有被杀。来济