Veterán druhé světové války Drozdov vstoupil do služeb bývalé sovětské tajné služby KGB v roce 1956. Hned následující rok byl vyslán jako operační důstojník do Berlína. Později se pak účastnil řady operací rozvědky, včetně výměny ruského tajného agenta Rudolfa Abeleho, odsouzeného v USA, za pilota sestřeleného amerického výzvědného letounu Garyho Powerse v roce 1962.

Podle sdělení SVR byl kromě jiného i rezidentem v Číně a v USA a rovněž "účastníkem událostí v Afghánistánu". V prosinci 1979 údajně řídil operaci s útokem na palác afghánského prezidenta Háfizulláha Amína, která posléze vedla k sovětské okupaci Afghánistánu.

V listopadu 1979 byl Drozdov jmenován náčelníkem "ilegální" rozvědky a řídil síť tajných sovětských agentů, takzvaných ilegálů, v zahraničí. V čele této instituce byl až do odchodu do důchodu v roce 1991.

Drozdov také vytvořil speciální jednotku KGB Vympel, určenou pro tajné operace v zahraničí.