Karel se narodil jako druhý (avšak jediný přeživší) syn knížete [[Anton Aloys von Hohenzollern-Sigmaringen|Antona Aloyse von Hohenzollern-Sigmaringen]] (1762–1831) z jeho manželství s [[AmalieAmálie Zephyrine vonze Salm-KyrburgKyrburgu|Amalií Zephyrinou]] (1760–1841), dcerou knížete [[Filip Josef von Salm-Kyrburg|Philippa Josepha von Salm-Kyrburg]]. Jeho matka považovala život v malém provinčním Sigmaringen, kam přišla v roce [[1784]], za „„''nesnesitelně stísňující''““ a deset týdnů po porodu svého druhého (v podstatě však jediného) syna zanechala dítě v Sigmaringen a převlečená za muže prchla nejprve ke svému bratrovi do [[Kirn]]u a posléze do [[Paříž]]e, kde strávila větší část svého života. Zde zabránila [[mediatizace|mediatizaci]] hohenzollernských knížectví. Svého jediného syna hodlala oženit co nejlépe a za změněné politické situace po [[Velká francouzská revoluce|francouzské revoluci]] a po nástupu [[Napoleon Bonaparte|Napoleona]] na francouzský trůn se nejvýhodnější jevilo spojení s Napoleonovou rodinou; naplánovala tedy sňatek Karla s neteří [[Caroline Bonaparte|Caroliny Bonaparte]], nejmladší sestry [[Napoleon Bonaparte|Napoleonovy]].
