Karl war Mitglied der österreichischen kaiserlichen Familie und ein prominenter Militärkommandant während der napoleonischen Kriege. Er wurde 1771 in Florenz, Italien, als Sohn von Kaiser Leopold der Zweite und Maria Luisa aus Spanien geboren.
Karl betrat in jungen Jahren das Militär und stieg schnell durch die Reihen. Er diente in verschiedenen Feldzügenn gegen Frankreich und wurde 1796 zum Kommandeur der österreichischen Armee in Italien ernannt. Trotz anfänglicher Erfolg erlitt er 1797 eine Niederlage in der Schlacht von Rivoli und wurde anschließend als Kommandant ersetzt.
Im Jahr 1800 wurde Karl zum Kommandeur der österreichischen Armee in Deutschland ernannt und spielte eine Schlüsselrolle in der Schlacht von Hohenlinden. Später war er 1805 und 1809 in die Kriege gegen Napoleon verwickelt und befehligte österreichische Streitkräfte in mehreren großen Schlachten, darunter die Schlacht von Wagram.
Zusätzlich zu seiner Militärkarriere war Karl auch ein Förderer der Künste und Wissenschaften. Er war Mitglied mehrerer gelehrter Gesellschaften und gründete die Orientalische Akademie in Wien. Er war auch ein wichtiger Sammler von Kunst und Antiquitäten, und seine Sammlung bildete die Grundlage des Kunsthistorischen Museums in Wien.
Karl war mit Henrietta aus Nassau-Weburg verheiratet und hatte mehrere Kinder, darunter Erzherzog Albrecht, der selbst ein wichtiger Militärkommandant wurde. Karl starb 1847 in Wien und wurde in der kaiserlichen Krypta beigesetzt.