高雅之，渤海郡蓨县人，出身渤海高氏，因门荫入仕，累任东莞郡太守，成为江州刺史刘牢之的女婿。隆安二年（398年），曾与刘牢之之子刘敬宣攻打王恭之乱，担任广陵相。隆安四年（400年），联合桓不才、孙无终等大战孙恩于余姚，兵败逃往山阴，死伤惨重。元兴元年（402年），刘牢之覆灭后，刘敬宣北奔高雅之。是年11月，父亲高素为大将军桓玄所杀，高雅之等割据山阳郡起兵，反击桓玄失败，与刘敬宣北逃，投靠南燕皇帝慕容德。

元兴三年（404年），刘裕驱逐桓玄。高雅之勾结鲜卑大将，欲谋杀南燕皇帝慕容德，并推司马休之为王。高雅之邀慕容德宠臣刘轨同谋，结果事泄，高雅之、刘敬宣等南走，刘轨被杀。南燕追杀高雅之。刘敬宣逃至淮泗之间，听说桓玄已败，遂归建康，担任晋陵太守。