马知节自幼孤苦。宋太宗时,以荫补为供奉官,被赐名知节。他十八岁时,任彭州监兵,因严厉监视众兵,大家像敬畏老将那样敬畏他。后又监潭州兵,当时何承矩为守臣,很是以文雅整饬吏治。马知节仰慕何承矩的处事,因而开始折节读书。
宋太宗雍熙年间,马知节出任博州监军。雍熙三年(986年),辽朝大举入侵,于君子馆之战中击败宋军。在此之前知节修治城池修补战具,储积粮草,官吏百姓认为他多此一举。不久,辽军果然到来,因为宋朝有准备,避开而去。
其后移知定远军。当时,朝廷议论调发河南十三州的百姓运输粮饷,河北转运使樊知古刚好到定远军商议事情,马