Nació en la ciudad de Hartlepool en el Condado de Durham, pero se crio en la zona sur de Londres. Allí estudió en el colegio Strand, donde conoció la guitarra por primera vez y aprendió rápidamente a tocar el slide con gran habilidad. En 1967 fundó junto a dos amigos el power trio de blues The Levi Set, con el que se presentaban en pequeños bares de la ciudad y es en una de estas que conoció al guitarrista Peter Green que lo convocó para fundar un nuevo proyecto musical llamado Fleetwood Mac.

Debutó con la banda en el disco Fleetwood Mac de 1968, escribiendo tres de las canciones y fue el artífice de los covers realizados de Elmore James, ya que es un ferviente seguidor del artista estadounidense. Seis meses después salió a la venta Mr. Wonderful, que inició algunos problemas con Green porque él no estaba interesado en ayudar en las composiciones del líder de la banda, mientras que Green siempre lo ayudó en las suyas. Dicho problema fue el principal motivo de la contratación del joven músico Danny Kirwan, a pesar de su negación.

En 1969 lanzaron Then Play On, donde no escribió ninguna canción y además solo colaboró en el piano del sencillo «Oh Well». Al año siguiente y luego de la salida de Peter Green, asumió junto a Kirwan la composición de las canciones de Kiln House inspiradas en el sonido de Elmore James y Buddy Holly. En febrero de 1971 mientras estaban de gira por el estado de California, desapareció del hotel en el que hospedaban sin dar avisos a sus compañeros. Luego de buscarlo por la ciudad de Los Ángeles, se enteraron que había ingresado al grupo religioso Children of God y que no tenía ganas de retornar a la banda. Con el pasar de los años, confirmó que se había retirado porque no le había gustado la inclusión de Christine McVie, ya que según él; «el sonido con ella era horrible, una basura».

Discografía
con Fleetwood Mac
1968: Fleetwood Mac
1968: Mr. Wonderful
1969: English Rose
1969: Then Play On
1970: Kiln House
1995: Live at the BBC (en vivo)
solista
1970: Jeremy Spencer
1972: Jeremy Spencer and the Children
1979: Flee
1999: In Concert – India 1998 (en vivo)
2006: Precious Little
2012: Bend in the Road
2014: Coventry Blue
2016: Homebrewed Blues
con Steetley
2013: The Moment She Fell