Su padre Edward Coles era carnicero y diácono en la Iglesia Bautista. Su familia se trasladó a Chicago cuando Nat era todavía un niño. Allí, su padre se convirtió en ministro de la iglesia y su madre, Perlina Adams, era la encargada de tocar el órgano de la iglesia. Fue la única maestra de piano que tuvo Nat en toda su vida. Aprendió tanto jazz como música góspel, sin olvidar la música clásica.

La familia vivía en el barrio de Bronzeville, famoso a finales de los años 20 por su vida nocturna y sus clubes de jazz. Nat visitó con frecuencia estos locales, escuchando a artistas como Louis Armstrong o Earl Hines.

Inspirado por Hines, Nat inició su carrera artística a mediados de la década de los 30 cuando aún era un adolescente. Adoptó el nombre de Nat Cole, abandonando la «s» de su apellido familiar. Su hermano mayor, Eddie, bajista, se unió a la banda de Nat cuando éste realizó su primera grabación en 1936. Tuvieron un cierto éxito como banda local en Chicago y se convirtieron en habituales en los escenarios de los clubes. De hecho, el sobrenombre de «King» (rey) se lo dieron a Nat en uno de estos locales. Cole participó también como pianista en una gira junto a Eubie Blake. Cuando la gira llegó a Long Beach (California), Nat decidió establecerse allí.

Nat Cole junto con otros tres músicos formaron el grupo «King Cole Swingers» con el que actuaron en numerosos locales. Nat se casó con Nadine Robinson y se trasladó a Los Ángeles donde formó el «Nat King Cole Trio». El trío estaba compuesto por Nat al piano, Oscar Moore a la guitarra y Wesley Prince al Bajo. El trío actuó en Los Ángeles desde finales de los 30 y participó también en numerosos programas de radio.

A Cole se le consideraba un pianista de jazz brillante. Apareció, por ejemplo, en los primeros conciertos de «Jazz at the Philharmonic» (JATP). Un grupo compuesto únicamente por piano, guitarra y bajo en la época de las grandes bandas significó una auténtica revolución e impuso un estilo que más tarde imitarían otros grandes del jazz y del blues como James Brown y Ray Charles. Cole actuó también como pianista acompañante de artistas de la categoría de Lionel Hampton.

Sin embargo, Cole no consiguió llegar al gran público hasta «Sweet Lorraine» en 1940. Aunque había cantado diversas baladas con el trío, se avergonzaba de su voz y jamás se consideró un buen cantante.

A principios de los años 40, el King Cole Trio firmó un contrato con la discográfica Capitol Records con la que continuó durante el resto de su carrera. En la década de los 50, la popularidad de Cole era tanta que el edificio de la Capitol Records era conocido como «la casa que construyó Nat».