黄遵宪于1848年4月27日生于广东梅州(梅县)。他的一生可分为四个阶段:即读书应试阶段(1863~1876);出使阶段(1877年~1894年);参加变法阶段(1895年~1898年);乡居阶段(1899年~1905年)。
1876年中举人,1877年随驻日大使何如璋出使日本,曾被日本历史学界称为中国“最有风度、最有教养的外交家”。驻日期间,撰写《日本国志》(1887年成书),全书共四十卷,五十余万字,详细论述日本变革的经过及其得失,借以提出中国改革的主张。驻日期间,针对日本于1875年派兵占领琉球,建议对日本采取强硬的政策和立场。1882年,调任驻美国旧金山总领