Haraldovou manželkou byla [[Ingrid Ragnvaldsdotter]], dcera Ragnvalda Ingessona, syna a dědice švédského krále [[Inge I. Švédský|IgnehoIngeho I.]] S ní měl Harald syna [[Inge I. Norský|Ingeho I.]] Podle ság byl předtím Harald ženatý s Bjadok, podle pozdější skotské klanové tradice dcerou Gilledomnana mac Solama. Jejich synem byl jeden z budoucích norských králů [[Øystein Haraldsson|Øystein II.]] Mezi Haraldovy konkubíny patřila Tora Guthormsdóttir, dcera Guttorma Gråbardeho, která mu porodila syna [[Sigurd II. Norský|Sigurda II.]] Dále měl syna jménem Magnus, který zemřel v roce 1145 v deseti letech.
