天津北洋水师学堂第一届驾驶科、英国格林威治海军大学及伦敦大学毕业。1892年回国，历任出使日本大臣随员，出洋考察政治大臣头等参赞，学部二等谘议官，海军处蓝顶少将顾问，海军处一等参赞官，军枢司中将司长，海军部高等顾问。1914年6月，与张元济发起组织中国教育会，任副会长。后任北京政府财政总顾问，盐务署参事，上海复旦大学教授。1931年寓居上海译著，1943年6月10日在上海逝世。为他出版过大量译作的商务印书馆总经理张元济在挽联中写道：“天既生才胡不用，士唯有品乃能贫。”

1979年初，伍氏后人在其上海寓所长乐新村发现伍光建近300万字的翻译遗稿，主要是历史与传记作品，如《英国第二次革命史》等。北京人民出版社外文编辑、女翻译家许磊然闻讯专程来沪造访其哲嗣伍蠡甫教授，商请交由该社出版，获教授同意并撰写前记。译稿有一大旅行袋之多，写在当年习书用的扁方格毛边纸上，文笔流畅顺达，字迹一丝不苟，因为保存得好，遗墨如新。1981年，《伍光建翻译遗稿》出版，收其生前未发表的译自英、法、美、荷兰、丹麦作家之短篇小说19篇，封面影印了一页先生的原稿，以飨爱好他译作和墨迹的读者。