祖父岑全，南宋秘书省校书。父岑珍，宋末仙居教谕。岑安卿生于元世祖至元二十三年，卒于惠宗至正十五年，年七十岁，与李孝光、危素友善，一生未仕。岑安卿的老师是姚北著名的志士厉元吉。厉元吉，南宋咸淳七年（1271年）进士，曾任乌程县尉。宋亡后隐退在家，元朝政府为笼络人心，遍访宋臣，任以高官。厉元吉不得已背井离乡，浪迹湖海，白首始归，著有《半山文集》12卷（一作《半村集》10卷），“多悲愤语”，表示他对故国的怀念之情。
岑安卿受其师的影响，不喜
科举之业，乐于圣贤之道，“故岑氏多以科第显，而安卿独隐居乐道，以名节高天下”（《余姚六仓志》本传）。他筑室在上林湖畔的栲栳峰下，因号栲
