《陈留风俗传》云：小黄县者。宋地黄乡也。小黄这个县名存在很早，西汉时就有，当时的黄河离现在的开封有点距离，小黄县曾因古济水而有济阳宫，传言刘秀就出生在济阳宫，三国的陈留属地就有小黄县、浚仪县、尉氏县、外黄县等，驻地就在小黄县，后小黄县合并到外黄县。

复置小黄县，北齐废，唐武德四年(621年)，设汴州总管府，下辖汴州、洧州、杞州、陈州。复置小黄县，移治今开封县西南。汴州辖浚仪、开封、小黄、新里、封丘5县。武德七年(624年)，汴州总管府改为汴州都督府。省开封县入浚仪县。贞观元年(627年)，设河南道，道治浚仪县。同年，废小黄县入浚仪县。