Thielemans začínal jako jazzový kytarista, později se však proslavil jako hráč na foukací harmoniku. Značnou část své kariéry strávil ve Spojených státech.

Přesídlil tam už v roce 1952, kdy hrál s kapelou Charlieho Parkera a spolupracoval i s Milesem Davisem a Dinah Washingtonovou. V lelech 1952 až 1959 byl členem kvintetu Gorge Shearinga, kde začínal jako kytarista, ale pak se soustředil na hru na foukačku.

Během let spolupracoval i s Ellu Fitzgeraldovou, Patem Methenym, Stephanem Grapeelím nebo Édith Piaf i Quincy Jonesem a Paulem Simonem.

Jeho tvorba zněla i v mnoha kultovních filmech, jako je Půlnoční kovboj, Francouzský polibek či ve Spielbergově debutu Sugarlandský expres.

V březnu 2014 oznámil Thielemans konec kariéry kvůli dlouhodobým zdravotním problémům. V létě ale ještě vystoupil na hudebním festivalu v Antverpách.

Před měsícem byl hudebník hospitalizován poté, co se zranil při pádu.