洪皓被派出使金国议和，但金没有议和之意，所以当时的使节非常危险。“凡宋使者如(王)伦及宇文虚中、魏行可、顾纵、张邵等，皆留之不遣。”（《金史·王伦传》）洪皓行至太原，被金人扣留近一年，第二年转至云中(今山西大同)，见到金国权臣完颜宗翰。完颜宗翰不许洪皓请归二帝之要求，逼迫他到金廷操纵的伪齐刘豫政权去当官。洪皓严词拒绝：“万里衔命，不得奉两宫南归。恨力不能磔逆豫，忍事之邪！留亦死，不即豫亦死，不愿偷生鼠狗间，愿就鼎镬无悔。”（《宋史·洪皓列传》）完颜宗翰大怒，下令推出斩首。两名壮士“执剑夹承”，拥之以下。洪皓面不改色，从容而行。一位贵族见状，深受感动，不觉失声说道：“真忠臣也。”遂用目光制止剑士暂缓行刑，并亲自跪下请求完颜宗翰免除洪皓一死。完颜宗翰虽然免洪皓死，但把他流放到遥远的冷山(今黑龙江五常境内的大青顶子山)。
冷山气候寒冷，十分荒凉，一年四季多被冻指裂肤的寒冷包围着。那里是女真贵族完颜希尹家族的驻地。洪皓以他渊博的学识和聪明才智，很快得到了完颜希尹的赏识。完颜希尹破例让他教授自己的八个儿子读书。洪皓时刻不忘自己的使命，一有机会就劝金国贵族与宋议和。完颜希尹最初力主攻宋。曾说：“孰谓海大，我力可干。但不能使天地相拍尔。”洪皓听后，警告他说：“兵犹火也，弗戢将自焚。自古无四十年用兵不止者。”（《宋史·洪皓列传》）建炎四年(1130年)以后，金强宋弱的形势开始逐步向宋强金弱方面转化。到了绍兴七年至八年间(1137—1138年)，宋强金弱的形势开始形成，金人遂有议和思想。以宗盘、挞懒等人为首的一派，主张在交还南宋河南、陕西地的条件下与宋讲和，并于绍兴八年与南宋签订了和议。在议和期间，完颜希尹曾就所议十事征求洪皓意见。洪皓条分缕析，完颜希尹以为洪皓说得实在，并没有诳他，遂于绍兴十年(1140年)带领洪皓赶赴燕京(今北京)，意欲遣洪皓归宋进行议和。但在是否需要在归宋河南、陕西地的条件下与宋议和的问题上，金人内部存在着严重分歧。以完颜宗弼(兀术)为代表的一派坚决反对交还，后来联合完颜希尹，杀了宗盘、挞懒等人，重新发动了攻宋战争。完颜宗弼杀了挞懒等人之后，又杀了完颜希尹。洪皓因与完颜希尹有过异论，才幸免于难。
在燕京，洪皓见到了昔日好友宇文虚中，宇文虚中被金人扣留后当了金朝大官。见到洪皓以后，宇文虚中劝他留在金朝当官，并积极向金熙宗推荐。金熙宗表示可以任为翰林直学士，洪皓坚辞不就。金人不甘心，换官时仍让洪皓就职。洪皓请求允许他到临近宋的真定(今河北正定)、大名(今河北大名)等地“自养”，以便寻机逃回宋朝。金朝参政韩昉看出了洪皓的意图，让洪皓任中京(今内蒙古宁城西大明城)副留守，洪皓坚决不允。金人又降其官为留司判官，并催促他尽快起行，洪皓置之不理，誓死不就。金人见高官厚禄留不住洪皓，又想出了新的办法。根据金法规定，虽未任金官，但只要被金人任使，则“永不可归”。韩昉为了留下洪皓，遂令其“校云中进士试”。洪皓深知其意，装病力辞。但韩昉不允，洪皓只得前往云中。到了云中以后，他不履行职责，对院官说：“今取士以诗赋，吾故学经耳。”云中院官和考官没有办法，只好将洪皓送回燕京。在燕京期间，他一直关心宋朝的发展和强大。当听说完颜宗弼在顺昌（今安徽阜阳）被刘锜打败而宋朝却撤兵的消息以后，写了数万言的秘信，谓：“顺昌之役，金人震惧夺魄。燕山珍宝尽徙以北，意欲捐燕以南弃之。王师亟还，自失机会。今再举尚可。”（《宋史·洪皓列传》）此后又多次送秘信。绍兴十三年(1143年)，金熙宗喜得贵子，大赦天下，允许宋朝使者回归，洪皓与张邵、朱弁等都在被赦之列。
洪皓知识渊博，于“书无所不读，虽食不释卷”，不但精通经学、史学，也精通诗文词赋。留金期间曾经写下上千首诗词，金人“争抄诵求锓锌”，后来大部分散逸。今《鄱阳集》所存数十首，皆清新朴实，含义深远。洪皓又曾同张邵、朱弁写诗唱和，集成《轩唱和集》三卷，今已不存。洪皓还“善琴奕”，“能别三代彝器”，识书画。留金期间，他通过言传身教，将汉文化向北传播。著名的故事如“无纸则取桦叶写《论语》、《大学》、《中庸》、《孟子》传之，时谓‘桦叶四书’”（徐梦莘：《三朝北盟会编》炎兴下帙66引《金虏节要》）。他通过教授金人读书和其他接触方式，与许多女真人结下了深厚的友情。女真人把洪皓视为知心朋友，热情地邀请他参加婚礼、礼佛、生产等活动。他每到一地，人们“争持酒食相劳苦”。在涿州，过鞑靼帐，“其酋闻洪尚书名，争邀入庐，出妻女胡舞，举浑脱酒以劝”（《容斋五笔》卷三）。
洪皓对金国的自然地理、历史沿革、经济社会、风土人情、礼仪制度、政治制度以及物产等都进行了较为全面的考察，积累了大量的历史资料。《松漠纪闻》原书为洪皓留金时所记金国杂事，及归宋时，惧为金人搜获，悉付诸火。回宋后乃复追述一二，名曰《松漠纪闻》。书未刻而秦桧有私史之禁，其书遂秘而不宣。后其长子洪适于乾道初知绍兴府、浙东安抚使时，厘为正、续二卷。又后，次子洪遵根据洪皓生前谈及的往事，整理为11条，称《松漠纪闻补遗》。这就是今天所见的《松漠纪闻》。洪适《松漠纪闻续》云：“先君衔使十五年，深阸穷漠，耳目所接，随笔纂录。闻孟公庾发箧汴都，危变归计，创艾而火其书，秃节来归，因语言得罪柄臣，诸子佩三缄之诫，循陔侍膝，不敢以北方事置齿牙间。及南徙炎荒，视膳余日，稍亦谈及远事。凡不涉今日强弱利害者，因操牍记其一二。未几，复有私史之禁，先君亦枕末疾，遂废不录。及柄臣盖棺，弛语言之律，而先君已赍恨泉下。鸠拾残稿，仅得数十事，反袂拭面，著为一篇。”“松漠”是“千里松林”和“平地松林”之意。唐贞观二十二年（648年），太宗在今内蒙古赤峰市巴林右旗境设置松漠都督府，由契丹酋长充任都督。因洪皓流放的地区就在古松漠都督府之北，书中所写的内容都是发生在广大的塞北地区，因此取书名《松漠纪闻》。
