La primera banda de Phillips fue The Journeymen, un trío dedicado a la música folk. Tiempo después, durante el American folk music revival, conoció a Denny Doherty y Cass Elliot y en un tour por California, a Michelle Gilliam, con quien se casó en 1962. Con ellos formará, en 1965, The Mamas and The Papas, grupo que llegará a su fin al mismo tiempo que su unión con Michelle en 1970. El matrimonio tuvo una hija, Chynna Phillips, futura integrante del exitoso grupo Wilson Phillips.

Phillips y Michelle fueron los responsables de escribir la mayoría de las canciones de The Mamas and The Papas; John comúnmente empezaba a escribir las canciones y luego Michelle las completaba. Después de firmar contrato con Dunhill Records tuvieron numerosos hits en el top ten de Billboard, tales como: California Dreamin’, Monday, Monday, I Saw Her Again, Creeque Alley, 12:30 (Young Girls Are Coming to the Canyon) y Words of love.

Como Solista
1970: John Phillips (John, the Wolf King of L.A.)
1970: Brewster McCloud – Soundtrack con Merry Clayton en la voz
2001: Pay Pack & Follow
2001: Phillips 66
2008: Pussycat
2009: Man On The Moon
Compilaciones
2007: Jack Of Diamonds