Karl Böhm nació en el seno de una familia acomodada. Si bien desde sus primeros años la música fue su verdadera vocación, siguiendo los deseos de su padre, que era abogado y que deseaba para él una profesión segura, estudió inicialmente derecho, obteniendo el doctorado en dicha materia. Al igual que sucedió con Strauss y con Furtwängler, los músicos alemanes no se dirigían a él como “Herr Generalmusikdirektor”, sino como “Herr Doktor”.

Con posterioridad a su doctorado, estudió música en el conservatorio de Graz y tras ello, teoría de la música, en Viena, con Eusebius Mandyczewski, gran amigo de Johannes Brahms y fue también discípulo de Karl Muck, que había sido un excelente y exigente director de la Orquesta Filarmónica de Viena, a la que se dice dirigió “con batuta de acero”. Estos dos maestros le introdujeron en el mundo del sonido de Wagner y de Brahms, si bien Böhm encontró más tarde por sí mismo otros caminos, fundamentalmente el de Mozart.

Tras haber trabajado como director asistente en la ópera de su ciudad natal, en 1921 y por recomendación de Muck, que reconoció de inmediato el talento de su alumno, fue contratado por Bruno Walter para trabajar en la Ópera Estatal de Baviera. En Múnich se desempeñó bajo la tutela de Walter, primero como cuarto director debutante, encargado del coro, pero en pocos años llegó a primer director. Posteriormente, en 1927 fue contratado por la Orquesta de Darmstadt, donde a pesar de su formación, comprensión y profundo amor por las obras clásicas, puso en escena obras de vanguardia de Alban Berg y de Paul Hindemith. En 1931 fue contratado por la Orquesta de Hamburgo, donde entró en contacto con Richard Strauss, cuyas óperas ya había dirigido en Múnich y Darmstadt. La situación de las orquestas en Alemania, tras la llegada al poder del Partido Nazi, se podía considerar como caótica, como consecuencia del abandono del país por parte de sus directores, ante la alternativa a tener que afrontar discriminaciones de carácter político o racial. Tras el abandono del país, por estas razones, de Fritz Busch, Böhm fue llamado para sustituirle en la dirección de la Ópera de Dresde, entonces segunda en importancia de Alemania, tras la de Berlín. En ella dirigió varias orquestas, pero fundamentalmente la Staatskapelle, titular del teatro. Permaneció en el cargo cerca de nueve años y fue durante este tiempo cuando desarrolló su profunda amistad y colaboración con Richard Strauss, del que estrenó muchas de sus obras y del que ha sido considerado un extraordinario intérprete.