En 1960, con catorce años, formó parte del grupo de danza de su padre, Joe Baldwin, y un año más tarde creó su propia banda.

En los años 60 comenzó a ser director y arreglista de otros grupos, así como pianista y bajista, incluyendo entre estos a los Outlaws, Mickey Most, the Mindbenders, the Everly Brothers, The Supremes, Rolling Stones, Jeff Beck, Donovan, entre otros.

Se destaca también su gran habilidad como pianista y teclista.

Como solista
Scream For Help (con Jimmy Page) (1985)
The Sporting Life (Diamanda Galas 1994)
Zooma (1999)
The Thunderthief (2001)
Con Them Crooked Vultures
Them Crooked Vultures (2009)
Con Seasick Steve
You Can’t Teach an Old Dog New Tricks (2011)
Hubcap Music (2013)