Šebaršin působil celý život v sovětské rozvědce, vyslán byl mimo jiné do Indie, Íránu, PákistánuAfghánistánu. Po návratu do Moskvy řídil činnost agentů v jižní Asii a na Blízkém východě, několik let stál i v čele celé výzvědné služby.

Po nezdařeném puči proti prezidentu Michailu Gorbačovovi v létě 1991 byl Šebaršin na jeden den jmenován do čela KGB. Funkce byl ale bezprostředně zbaven, a to i přesto, že o jeho přímém zapojení do intrik pučistů nebyly důkazy. Podle dobového tisku byl odstraněn na přímý pokyn Gorbačova. Od září 1991 byl v důchodu.

V Šebaršinově bytě nebyl nalezen dopis na rozloučenou; předběžná zpráva vyšetřovatelů se nezmiňuje o tom, že by na smrti měl podíl někdo jiný.