Covay se narodil jako Donald Randolph v jižanském Orangeburgu roku 1938. Jeho otec byl baptistický kazatel, s rodinou tedy logicky zpíval hlavně gospel, ale už v padesátých letech se pokoušel prorazit i v popu s doo-wopovou formací Rainbows. Svou první práci jako hudební profesionál získal tak, že vozil autem Little Richarda a zpěvák, překvapen šoférovým talentem, dovolil, aby mu dělal předskokana.

Více se začal prosazovat v šedesátých letech, kdy složil první známější hit Pony Time (1961). Skutečně slavná byla až píseň Mercy Mercy (1964), pro niž nahrál kytaru samotný Jimi Hendrix. Později se objevila na americké verzi alba Rolling Stones Out of Our Heads.

Královna soulu Aretha Franklinová měla velký úspěch s písní See Saw a také s Chain of Fools, v obou případech se na nich podílel Covay jako spoluautor. Z dalších jmenujme třeba Solomona Burka (zpíval jeho I'm Hanging Up My Heart for You), Gladys Knightovou a the Pips (Letter Full of Tears), Wilsona Picketta (I'm Gonna Cry) či rokenrolového divocha Little Richarda (I Don't Know What You've Got but It's Got Me).

Několik dalších písní napsal pro Ettu James a Otise Reddinga, coververze jeho melodií hrávali Steppenwolf, Bobby Womack, Small Faces a mnozí další.