Yamashita, který v šedesátých letech studoval hudbu na tokijské konzervatoři Kunitači, se zpočátku držel konvencí. Když ale založil v roce 1969 trio, kde ho doplňoval altsaxofonista Akira Sakata a bubeník Takeo Moriyama, brzo se od billevansovského pojetí jazzu obrátil k avantgardě a k free. Často vystupoval v Evropě, která byla tehdy jedním z center free jazzu.

Na přelomu 70. a 80. let se začal prosazovat i v USA, kam se přestěhoval. Od konce osmdesátých let hrál v New York Triu s basistou Cecilem McBeem a s bubeníkem Pheeroanem akLaffem, k nimž se občas přidával saxofonista Joe Lovano. Vystupoval však i sólově a v různých příležitostných uskupeních, spolupracoval s velikány jazzu, jakými byli Max Roach a Elvin Jones nebo freejazzový trumpetista Lester Bowie. Hrál však i s představitelem newyorské rockové avantgardy baskytaristou a producentem Billem Laswellem a vedl i vlastní big band kombinující swing s free jazzem.

Také se pokoušel spojit japonské tradice s free jazzem, na albu Sakura volně improvizoval na motivy tradičních japonských melodií a spolupracoval s percussionisty, jako je Eitetsu Hayashi. Z japonských tradic čerpá i v novém triu Lotus Position, kde ho doprovází bubeník Akira Horikoshi a hráč na bambusovou flétnu šakuhači Akihito Obama.

Kultovní status má jeho vystoupení Burning Piano, kdy při hře zapálil dosluhující klavír.