Aunque también muy controvertido, se trata de uno de los músicos más relevantes e influyentes de la historia del jazz, a la altura de otros artistas como Louis Armstrong, Duke Ellington, Charlie Parker y Miles Davis. Se casó, en segundas nupcias, con la pianista de jazz Alice Coltrane (1937-2007).

Su trayectoria musical estuvo marcada por una constante creatividad y siempre dentro de la vanguardia, abarca los principales estilos del jazz posteriores al bop: hard bop, free jazz y jazz modal. La discografía de Coltrane es considerable: grabó alrededor de cincuenta discos como líder en doce años y apareció en más de una docena de discos guiado por otros músicos.

La obra de Coltrane está conscientemente vinculada al contexto sociohistórico en que fue creada (en concreto, a la lucha por los derechos civiles de los negros) y, en muchas ocasiones, busca una suerte de trascendencia a través de determinadas implicaciones religiosas, como se puede advertir en la que es considerada por la crítica su obra maestra, A Love Supreme.

Una de las aportaciones más reseñables de Coltrane es la que se refiere a la extensión de los solos de jazz, al eliminar cualquier límite temporal a los mismos y dejar su extensión al arbitrio de las necesidades del intérprete (de ahí que algunos temas de Coltrane sobrepasen, por ejemplo, los treinta minutos).

Nacido en un pueblo de Carolina del Norte, Coltrane fue hijo de John R. Coltrane, sastre e intérprete de varios instrumentos de cuerda, y de Alice (Blair) Coltrane, costurera y sirvienta, aunque con estudios superiores y con capacidad para cantar y tocar el piano. Sus abuelos eran pastores metodistas, motivo por el cual John estuvo desde muy pequeño en contacto con los himnos y música de la iglesia.

Dos meses después de nacer, su abuelo materno, el reverendo William Blair, también líder político en su comunidad, fue nombrado regidor anciano de la A. M. E. Zion Church, por lo que la familia se trasladó a High Point, lugar donde crecería John.

Tras graduarse en 1939 en primaria, su padre, sus abuelos y su tío fallecieron, dejando diezmada la familia. Su madre tuvo que trabajar como criada para sostener a la familia. El mismo año, Coltrane se unió a una orquesta de la comunidad en la que vivía y en la que tocó el clarinete y el bombardino en mi bemol; en su orquesta del instituto tocaría ya el saxofón. A comienzos de la Segunda Guerra Mundial, su familia se mudó a Nueva Jersey en busca de trabajo, dejando a John con unos amigos.
La casa de John Coltrane en Filadelfia.

Cuando en 1943 se graduó en el instituto, se trasladó en junio a Filadelfia donde la familia entera quedó reunida de forma provisional.

Fue reclutado por la Marina en 1945 y un año más tarde volvería a Estados Unidos. Coltrane trabajó en varios empleos durante los años cuarenta (siendo saxo alto) hasta que se unió a la big band de Dizzy Gillespie en 1949. Permaneció con Gillespie hasta la separación de la banda en mayo de 1950 (ahora tocando saxo tenor) y luego se unió a un pequeño grupo de Gillespie hasta abril de 1951, cuando volvió a Filadelfia para asistir a la escuela.

A principios de 1952 se unió a la banda de Earl Bostic, y en 1953, después de algunos roces con Eddie Vinson, se unió a un pequeño grupo de Johnny Hodges (durante un tiempo libre de este saxofonista de la orquesta de Duke Ellington), quedándose hasta mediados de 1954.