Ganz se narodil v Curychu, k herectví ho to táhlo už při studiích na univerzitě. Ve filmu debutoval ve věku 19 let, a to ve švýcarské komedii Der Herr mit der schwarzen Melone. Role mu ovšem žádné velké úspěchy nepřinesla a větší popularitě se těšil v divadle. V roce 1973 ho německý časopis Theater heute vyhlásil hercem roku, což jeho pozici na divadle jen upevnilo.

Na průlom ve filmu čekal Ganz mnoho let, přelomová pro něj byla hlavní role ve filmu Sommergäste z roku 1976, která odstartovala jeho kariéru v Evropě i mimo ni. Později spolupracoval například i se slavným režisérem Francisem Fordem Coppolou. Největší věhlas mu ale zřejmě přinesla role nacistického vůdce Adolfa Hitlera z kultovního snímku Pád Třetí říše (Der Untergang) z roku 2004.

Následovaly role ve filmech Předčítač, Juliino zmizení, Neznámý, Konzultant nebo Heidi, děvčátko z hor. Naposledy ho mohli diváci vidět ve filmu Jack staví dům dánského režiséra Larse von Triera.

Ganz několikrát navštívil Česko, v roce 2010 na mezinárodním filmovém festivalu Febiofest v Praze převzal čestnou cenu Kristián. Po boku Rudolfa Hrušínského mladšího nebo Ladislava Smoljaka vystoupil v německo-československém filmu Die Wette (Sázka) z roku 1990.