赵翼的先祖是宋代宗室,到了他的祖父尚且为官儒林郎,后家道开始中落。他的父亲赵惟宽,字子容,以设塾授业为生。赵翼自六岁起,即随父亲就读于外。十二岁为制举文,一日能成七艺,人皆奇之。乾隆六年(1741年)他的父亲在一家姓杭的大户家教书时去世。赵翼孤苦伶仃,无以养弟妹。杭家怜悯他,遂留他继承父业,继续教书。当时他仅15岁。十九岁入府学,成为秀才。在此后的数年中,他一直应聘为富家课徒。
乾隆十四年(1749年),私塾职被解雇,饥寒驱迫他离家北上,投奔作幕于京城的亲戚。时年二十三岁。抵京后,赵翼以其文才受知于刑部
尚书兼翰林院掌院学士刘统勋。刘文正公延至家,纂修《国朝宫史》三十