Vzděláním učitel pracoval původně jako novinář v rozhlasu a televizi a k působení ve sdělovacích prostředcích se vrátil i po skončení politické kariéry.

V politice se angažoval jako člen Rakouské sociálnědemokratické strany (SPÖ) a především ve funkci starosty rakouské metropole, kterou zastával deset let (1984-1994), si získal značnou oblibu. Krátce byl i spolkovým ministrem školství. Řadu let pak stál v čele Rakousko-české společnosti.

Mezinárodní pozornost vzbudil v roce 1993 atentát, který byl na Zilka spáchán takzvanou dopisovou bombou. V jeho důsledku ztratil tehdejší starosta několik prstů na levé ruce.

Kontroverze pak vyvolalo v roce 1998 odmítnutí tehdejšího českého prezidenta Václava Havla udělit Zilkovi státní vyznamenání kvůli podezření, že v 60. letech údajně spolupracoval s tehdejší československou tajnou policií (StB).