Jeffries (vlastním jménem Umberto Valentino) se narodil v Detroitu v roce 1913 jako syn míšence a Irky. Začal se živit jako zpěvák s Earlem Fatha Hinesem a později s orchestrem Duka Ellingtona, s nímž natočil hity Flamingo, In My Solitude nebo I Got It Bad and That Ain't Good.

Kladné postavy kovbojů ztvárnil ve třicátých letech ve filmech jako Harlem on the Prairie (1937), Two-Gun Man From Harlem (1938), Rhythm Rodeo (1938), The Bronze Buckaroo (1939) a Harlem Rides the Range (1939). V té době bylo nemyslitelné, že by černoch hrál něco jiného než sluhu nebo otroka. Omezený byl i přístup do restaurací či na vysoké školy, v dopravních prostředcích směli takzvaní „barevní“ jen na vyhrazená místa.

Jeffries se nadchl pro nápad natočit western se samými černými herci a nakonec přesvědčil producenta Jeda Buella, aby natočili průkopnický film Harlem on the Prairie. Jeffries k němu napsal písničky.

Dostal hlavní roli také ve filmu Calypso Joe (1957). Později už jeho kariéra doznívala – občas se objevoval v televizních seriálech jako I Dream of Jeannie a The Name of the Game.