Né John Arnold Griffin III à Chicago, il a été formé par le chef d'orchestre de blues Captain Walter Dyett. Griffin a joué avec des groupes de R&B et de blues avant de se tourner vers le jazz. En 1956, il a sorti son premier album « Introducing… » chez Blue Note, tandis que Griffin jouait au même moment comme membre régulier du groupe de Thelonious Monk. Il a joué sur l'album de jazz « Jazz Sahara » d'Abdul Ahmed-Malik, et avec John Coltrane et Hank Mobley sur le célèbre album « Blowin Session ». Griffin s'est ensuite installé en Europe et a travaillé avec le groupe fusion Passport du saxophoniste allemand Klaus Doldinger. Griffin a joué jusqu'au mois de sa mort, puis s'est éteint en France à l'âge de 80 ans.
