Proveniente de una familia de músicos (su madre era concertista de violín), McLaughlin de niño estudió violín y piano, pero se interesó más en la guitarra a partir de los once años de edad, explorando estilos como de flamenco y el jazz de Stéphane Grappelli. McLaughlin se trasladó a Londres desde Yorkshire para involucrarse en la escena próspera de música de los inicios de los 60, comenzando con The Marzipan Twisters, después estuvo con la banda de Georgie Fame, en la banda de Brian Auger, y por fin con Graham Bond Quartet en 1963. Durante toda esta época, a menudo tuvo que soportar largas sesiones de trabajo, con lo que no estaba muy conforme, pero consiguió mejorar su modo de tocar y sus habilidades de ejecución.

Antes de trasladarse a EUA, McLaughlin realizó el álbum Extrapolation con Tony Oxley y John Surman en 1969, en el cual demostró ser un virtuoso en su técnica, su gran inventiva y su singular habilidad para tocar y superar cualquier dificultad que presentara el instrumento. Ya en Estados Unidos en 1969 se unió al grupo de Tony Williams The Tony Williams Lifetime. También tocó junto con Miles Davis en sus álbumes In A Silent Way, Bitches Brew, On The Corner, Big Fun, donde McLaughlin fue presentado como solista en «Go Ahead John» y en «A Tribute to Jack Johnson».

En los primeros 70 forma la banda eléctrica Mahavishnu Orchestra, junto al violinista Jerry Goodman (ex-The Flock), banda que se distinguió por su estilo, técnicamente virtuosísimo y complicado de música. El nombre Mahavishnu le fue dado por su gurú Sri Chinmoy, Mclaughlin se había convertido al hinduismo a comienzos de la década de los 70. En 1975 forma un grupo de fusión con la música hindú, llamado Shakti, con quienes permanece hasta 1978. A principios de los años 80 se unió al guitarrista flamenco Paco de Lucía y Al Di Meola formando el Guitar Trio. El trío se reunió nuevamente en 1996 para una segunda sesión de grabación y una gira mundial.

John se distingue al tocar la guitarra, ya que ofrece versatilidad y un variado rango de estilos y géneros, como jazz, la música clásica india, jazz fusion, y la música clásica del oeste. McLaughlin ha influenciado a muchos guitarristas, también ha incorporado la música flamenca en bastantes grabaciones acústicas. El maestro hindú de la Tabla Zakir Hussain dice que McLaughlin es «uno de los músicos más grandes y más importantes de nuestros tiempos». En 2003, McLaughlin estuvo en el lugar 49, según la revista Rolling Stone, en la lista 100 Greatest Guitarists of All Time

Su reputación primero fue de músico de sesión, y como resultado de esto colaboró en grabaciones, aunque de secundario con Miroslav Vitous, Larry Coryell, Joe Farrell, Wayne Shorter, Carla Bley, The Rolling Stones, Carlos Santana entre otros.