Enfant prodige du piano, il a débuté sa carrière à New York avec les Jazz Messengers d'Art Blakey, puis a joué dans les orchestres de Charles Lloyd et Miles Davis. À partir des années 1970, il a dirigé son propre groupe et s'est produit en soliste. Figure emblématique du jazz fusion, il a associé le jazz à des influences d'autres genres populaires. Son album solo « The Köln Concert » paru en 1975 sur ECM est devenu l'enregistrement pour piano le plus vendu de tous les temps. Il a joué et enregistré jusqu'à ses deux accidents vasculaires cérébraux en 2018.