Rodák z Port Chesteru v New Yorku vystudoval hudební školu Berklee v Bostonu. V letech 1967 až 1968 začínal v triu varhaníka Johnnyho Hammonda Smithe, později ve skupině Chica Hamiltona. Jeho prvními významnými nahrávkami byla dvě alba s jazzrockovou skupinou Dreams v roce 1970, postupně se dopracoval ke komornějšímu a lyričtějšímu výrazu.

První sólové album Timeless natočil Abercrombie v roce 1974 spolu s americko-českým klávesistou Janem Hammerem a bubeníkem Jackem DeJohnettem. O rok později založil formaci Gateway, s níž odlehčil a zpřístupnil širšímu publiku svůj styl.

Abercrombie hrál s mnoha špičkovými muzikanty, mezi nimiž byli kromě Hammera i další čeští exulanti – kontrabasisté George Mraz a Miroslav Vitouš. Spolupracoval i se saxofonistou Janem Garbarekem, multiinstrumentalistou Ralphem Townerem, Billym Cobhamem, bratry Breckerovými či houslistou Marcem Feldmanem. Značně se zasloužil o rozvinutí možností progresivního jazzu a post bopu.

Deska s Balzarem

Abercrombie hrál i s česko-americkým kytaristou Rudym Linkou nebo s českým triem Roberta Balzara, se kterým vydal v roce 2009 CD s názvem Tales. „Záměrem nebylo mít na desce velké jméno, ale nahrávat s muzikantem, který mě hodně ovlivnil a oslovil. Mile nás překvapilo, že to byl přesně ten člověk, kterého jsme si podle jeho hudby představovali,” uvedl tehdy ke spolupráci Balzar.

Americký kytarista často vystupoval v České republice, hrál třeba v roce 2006 v rámci cyklu Jazz na Hradě s Miroslavem Vitoušem, o čtyři roky později v klubu Jazz Dock v Praze nebo v červnu 2014 v rámci festivalu Prague Proms v pražském Obecním domě.