Fue el hijo menor del matrimonio formado por el doctor Ernst von Karajan y Martha Kosmac, de ascendencia eslava. Su familia paterna pertenecía a la alta burguesía de Salzburgo y tenía ancestros griegos. Su tatarabuelo, Georg Johannes Karajanis, nació en Kozani, en la época en que pertenecía al Imperio otomano (hoy Macedonia Griega) y se mudó a Viena en 1767, para finalmente trasladarse a Chemnitz (Sajonia). Él y su hermano fueron fundadores de la industria textil sajona, tarea por la que recibieron sendos títulos nobiliarios por Federico Augusto I el 1 de junio de 1792 (de ese modo se añadió el «von» a su nombre familiar). Así, el apellido Karajanis se convirtió en von Karajan.

En julio de 1938 se casó con la cantante de opereta Elmy Holgerloef, de quien se divorció en 1942. El 22 de octubre de ese mismo año, contrajo segundas nupcias con Anna Maria “Anita” Gütermann, heredera de la industria textil Gütermann, de quien se divorció en 1958. Ese mismo año contrajo matrimonio por tercera vez con Eliette Mouret, con quien tuvo dos hijas, Isabel y Arabel. Eliette lo acompañó hasta sus últimos días.

Murió en su casa a los 81 años.