Seine Eltern waren ebenfalls Musiker, der Vater Pianist und Arrangeur, die Mutter Sängerin und Tänzerin. So lernte Jones bereits in jungen Jahren Klavier und bald darauf Orgel, die er auch in der Kirche spielte. Im Alter von 14 Jahren begann er Bass zu spielen, wenngleich ihm sein Vater mit der Begründung, er "würde nie verhungern", empfahl, Saxophon
zu lernen. In der Folgezeit spielte er in Schulbands und auch im Duett mit seinem Vater. Mit 17 verließ er die Schule und bewarb sich als Bassist bei Jet Harris und Tony Meehan, die im Begriff waren, eine Band zu gründen. Jones wurde der Bassist und tourte ca. ein Jahr mit der Band, die, ihrer Zeit voraus, Musik im Stil von Blood, Sweat & Tears oder Chicago spielte. Von 1964 bis 1968 dauerte seine Karriere als Studiomusiker, während der er mit zahlreichen Rock- und Popgrößen der damaligen Zeit spielte. Unter anderem ist er auf folgenden Aufnahmen zu hören:
- "2,000 Light Years From Home" von der "Satanic Majesties Request"-LP
der Rolling Stones (1967)
- "Mellow Yellow" (1967) und "Hurdy Gurdy Man" (1968) von Donovan
- "Ten Little Indians" (1967) und weitere Titel der Yardbirds
- verschiedene Titel auf der "Truth"-LP von Jeff
Beck
- verschiedene Titel von Lulu, Tom Jones und Herman’s Hermits
Während einer Session mit Donovan erfuhr er, dass Jimmy Page, welcher bis dahin ebenfalls sehr erfolgreich als Studiomusiker gearbeitet hatte, eine neue Band gründen wollte. Seine Frau Mo überredete ihn, Jimmy nach der Position des Bassisten zu fragen. Da die Wunschkandidaten von Jimmy Page nicht verfügbar waren, bekam Jones den Job. Die Band hieß zunächst "New Yardbirds" und benannte sich während ihrer ersten Tournee im Jahr 1968 in Led Zeppelin um. Der Erfolg dieser bahnbrechenden und stilbildenden Hard-Rock-Formation ist legendär. Jones spielte in dieser klassischen
Periode meist den Fender Jazz Bass, daneben auch das Fender Rhodes E-Piano. Seinen funkigen, offensichtlich von James Jamerson beeinflussten Stil kann man besonders gut beim "Lemon Song" (1969) heraushören (Auszug) Nach dem Ende von Led Zeppelin im Jahr 1980 war Jones in verschiedenartigen Musikstilen als innovativer Produzent und Arrangeur tätig, unter anderem für The Mission (1987), Ben E. King (1986), Cinderella (1990), die Butthole Surfers (1992), R.E.M.
(1992), Peter Gabriel (1992) und die Foo Fighters (2005). Darüber hinaus arbeitete er am Soundtrack für Scream for
Help und trat mit Jimmy Page und Robert Plant beim Live-Aid-Konzert 1985 auf. Zusammen mit der griechisch amerikanischen Künstlerin Diamanda Galás veröffentlichte er 1994 das Album „Sporting Life“. Die darauf enthaltenen Songs haben eine sparsame und druckvolle Instrumentierung (überwiegend Bass und Schlagzeug), was der markanten
Stimme von Galás eine enorme Präsenz verleiht.1998 begann Jones mit der Arbeit an seinem ersten Solo-Album
Zooma.
Die Resonanz der Rock-Fachwelt auf
Zooma war ausgesprochen positiv, und die folgende Welttournee (1999-2000) war ebenso erfolgreich. Im Jahre 2001 veröffentlichte Jones sein zweites Solo-Album
The Thunderthief. Beide Produktionen, welche auf dem Plattenlabel
Discipline Global Mobile von Robert Fripp erschienen sind, zeigen eine musikalische Affinität zum Progressive Rock a la King Crimson. Das Album
Zooma beinhaltet durchwegs unkonventionelle, bass-orientierte Instrumentalstücke, in denen Virtuosität und Sound-Experimentalität eine interessante Symbiose eingehen. Das Album
The Thunderthief weist neben instrumentalem Progressive-Rock wie z. B.
Leafy Meadows (mit einem diffizilen Gitarren-Solo von Robert Fripp) auch folk-balladeske Stücke auf, z. B. das von Jones selbst gesungene und am Klavier begleitete
IceFishing at Night. Im Jahr 2004 half er der jungen neuseeländischen Hard-Rock-Band The Datsuns bei den Aufnahmen zu ihrem zweiten Album "Outta Sight/Outta Mind" mit. So ist auf einigen Songs sein Keyboard-Spiel zu hören. Anfang 2009 wurde bekannt, dass er zusammen mit Dave Grohl (Foo Fighters, ex-Nirvana) und Josh
Homme (Queens of the Stone Age, ex-Kyuss) die Band Them Crooked Vultures gründet. Ein ursprünglich verbreiteter Veröffentlichungstermin des gleichnamigen Debütalbums, datiert auf den 23. Oktober 2009, stellte sich anhand von
Recherche als "Fake" heraus, stattdessen erschien es in Deutschland am 13. November 2009. Das komplette Album war allerdings schon im Voraus im Internet legal hörbar.