Hlavou orlické větvě knížecího rodu Schwarzenbergů se Karel VI. stal již v pouhých třech letech. Jeho otec, c. k. nadporučík hulánů Karel V. (1886–1914), byl totiž krátce po vypuknutí první světové války odvelen na srbskou frontu, kde podlehl úplavici.
O čtyřiadvacet let později patřil jeho syn ke stěžejním osobnostem české šlechty, jejíž představitelé se v září 1938 dostavili k prezidentu Benešovi na Pražský hrad, aby dali veřejně najevo odhodlání bránit ohrožený stát.
Schwarzenbergové, jejichž kořeny sahají do 12. století, dodnes náleží k nejvýznamnějším evropským šlechtickým rodům.