胡俨从小十分好学，对天文、地理、律历、医学、占卜方面的书籍，无不博览。洪武年间，胡俨以举人身份被授予华亭县教谕，能以师道自任。母亲去世，他守孝期满后，改到长垣任教谕，请求给予便地养家，后又改到余干县任职。批准学官请求便地即是从胡俨开始。
建文元年（1399年），胡俨被推荐任为桐城县知县。他主持开凿桐陂水，灌溉田地，使百姓获利。县境有虎伤人，胡俨斋戒沐浴后向神灵祷告，老虎便逃走了。桐城县人把他供祀在朱邑祠。
建文四年（1402年），副都御史练子宁把胡俨推荐给朝廷，说：“胡俨具有的知识足以通达天人，他的才智足以参佐帷幄。”等胡俨被召来时，燕王的部队
