Cale nació el 5 de diciembre de 1938 en Oklahoma City. Creció en Tulsa, Oklahoma y se graduó en la escuela secundaria en 1956. Junto a otros músicos jóvenes de Tulsa, Cale se trasladó a Los Ángeles a comienzos de la década de 1960, donde comenzó a trabajar como ingeniero de sonido en diferentes estudios. Debido a su poco éxito como artista, regresó a Tulsa y consideró abandonar la industria musical hasta que Eric Clapton ejecutó una nueva versión de «After Midnight» en 1970. Su primer álbum, Naturally, estableció su propio estilo musical, descrito por Richard Cromelin en Los Angeles Times como «un híbrido único de blues, folk y jazz, marcado por surcos relajados, la guitarra fluida de Cale y una voz lacónica. Su uso temprano de cajas de ritmos y su mezcla poco convencional dio una calidad distintiva y atemporal a su trabajo y lo situó aparte del paquete del purismo musical de las raíces del americana». En 2013, Neil Young comentó que de todos los músicos que había escuchado, Cale era, junto a Jimi Hendrix, el mejor guitarrista eléctrico.

Algunas fuentes citan incorrectamente su nombre real como Jean-Jacques Cale. En el documental To Tulsa and Back: On Tour with J.J. Cale, el músico habló sobre Elmer Valentine, copropietario de la discoteca Whisky a Go Go de Sunset Strip, quien lo contrató a mediados de la década de 1960 y fue el responsable del acrónimo JJ para evitar confusión con John Cale, miembro de Velvet Underground.

Su mayor éxito en los Estados Unidos, “Crazy Mama”, alcanzó el puesto 22 en la lista Billboard Hot 100 en 1972. En el documental To Tulsa and Back, Cale relató que recibió una oportunidad para aparecer en el programa American Bandstand para promocionar la canción. Cale declinó la oferta cuando supo que no podía llevar a su grupo y que tenía que cantar en playback.

Cale también fue conocido por su rechazo y aversión al estrellato, a las giras largas, y a las grabaciones periódicas. Fue un artista de culto para los músicos, y relativamente desconocido para el público durante los últimos 35 años.

El lanzamiento de su álbum To Tulsa and Back en 2004, así como la aparición en el Festival Crossroads de Eric Clapton en 2006 y el estreno del documental To Tulsa and Back: On Tour with J.J. Cale, acercaron su discografía a un nuevo público, más joven y más amplio. Además, esta publicidad siguió hasta finales de 2006, cuando publicó un álbum en colaboración con Clapton, The Road to Escondido, que ganó el Grammy al mejor álbum contemporáneo de blues en la 50ª edición de los premios en 2008.

El 26 de julio de 2013, Cale falleció en el Scripps Hospital de La Jolla, California a consecuencia de un ataque al corazón.

En agosto de 2018 se anunció el lanzamiento de Stay Around, un álbum póstumo con material inédito mezclado y producido por el propio Cale, finalmente publicado en abril de 2019. El primer sencillo, “Chasing You”, fue estrenado el 31 de enero de 2019.

Discografía
Sencillos
1958: “Shock Hop”/”Sneaky” (como Johnny Cale)
1960: “Troubles, Troubles”/”Purple Onion” (como Johnny Cale Quintet)
1961: “Ain’t That Lovin You Baby”/”She’s My Desire” (como Johnny Cale Quintet)
1965: “It’s A Go Go Place”/”Dick Tracy”
1966: “In Our Time”/”Outside Looking In”
1966: “After Midnight”/”Slow Motion”
1971: “Crazy Mama”
1972: “Lies”/”Riding Home”
1979: “Katy Kool Lady”/”Juárez Blues”
Álbumes de estudio
1972: Naturally
1973: Really
1974: Okie
1976: Troubadour
1979: 5
1981: Shades
1982: Grasshopper
1983: #8
1990: Travel-Log
1992: Number 10
1994: Closer to You
1996: Guitar Man
2004: To Tulsa and Back
2006: The Road to Escondido
2009: Roll On
2019: Stay Around
Contribuciones
1966: A Trip Down The Sunset Strip
1973: Back in ’72 – Bob Seger
2006: Uncovered – Tony Joe White
2013: Old Sock – Eric Clapton
Recopilatorios
1984: Special Edition
1997: Anyway the Wind Blows: The Anthology
1998: The Very Best of J.J. Cale
2000: Universal Masters Collection
2003: After Midnight
2006: The Definitive Collection
2006: Collected
2007: Rewind: The Unreleased Recordings
2011: The Silvertone Years