Hij is getrouwd met Frederica Louise Wilhelmina van Oranje-Nassau.
Zij zijn getrouwd op 14 oktober 1790 te 's-Gravenhage, Zuid-Holland, Nederland, hij was toen 24 jaar oud.Bron 2
Willem V had toestemming verleend voor het huwelijk als beloning voor zijn vader, die het Pruisische leger in 1787 leidde tegen de Patriotten in Nederland en de stadhouder herstelde in zijn macht. Het huwelijk bleef kinderloos.
Karel was zwakbegaafd en werd later vrijwel geheel blind. Zijn vrouw verzorgde hem tot zijn dood in september 1806. Hij werd 40 jaar oud.