Nacido del matrimonio entre Elmer Miller y Mattie Lou Cavender, se inicia en la música cuando su padre Elmer le regaló una mandolina, que luego cambió por una corneta que fue el primer instrumento de viento que tocó. En esos tiempos la familia Miller vivía en Tryon, Nebraska. Pasó su infancia en Nebraska y Oklahoma hasta que su familia se instaló definitivamente en Colorado, donde con doce años de edad abandona la corneta y empieza a estudiar la técnica del trombón y a tocarlo en la banda de su colegio. Siendo aún estudiante universitario, Glenn realizaba audiciones, tocando siempre que se le presentaba la oportunidad. Al descuidar sus estudios y reprobar en tres de sus seis cursos, decidió abandonar la universidad dedicándose por completo a la música. Se convierte en trombonista profesional y se une a la banda del entonces célebre baterista Ben Pollack, en una gira por California. En esa banda el clarinetista era el más tarde proclamado «rey del swing», Benny Goodman.

En 1927 la orquesta llega a Nueva York y Miller decide dejarla para tocar por su cuenta en clubes, programas de radio y espectáculos musicales, hasta bien entrado el año 1932. En 1935, Ray Noble, director británico de orquesta, le encarga organizar una banda de swing. Durante dos años alterna la dirección de la orquesta y las actuaciones en pequeños locales, hasta que en 1938 decide formar su propia «Gran Banda» tras varios intentos frustrados. Su primer gran éxito fue «Serenata a la luz de la luna» («Moonlight Serenade»), y un contrato en el casino de Glen Island en Nueva Rochelle, en Nueva York, le abre las puertas a una carrera triunfal que se mantendrá hasta el final de su vida. Al mismo tiempo que la orquesta triunfa en las salas de baile, la banda adquiere una popularidad enorme en los Estados Unidos de América debido a la emisión de sus actuaciones por un programa radiofónico que era transmitido de costa a costa en dicho país, y que fue patrocinado por la marca de cigarrillos «Chesterfield».