Scheider se narodil v roce 1932 v New Jersey a v roce 1951 debutoval v televizním seriálu Love of Life. Začátkem 70. let se hodně proslavil ve snímcích Francouzská spojka a Klute, aby v roce 1978 definitivně vstoupil mezi hollywoodské hvězdy kategorie "A" díky filmu Čelisti.

Po ohromném úspěchu Čelistí vzal roli i v pokračování tohoto snímku a tím si dost uškodil. Kritika druhý film zcela rozcupovala a diváci na něj také moc nechodili.

Mnohem lépe se herec zapsal díky snímkům All That Jazz a 2010: Druhá vesmírná odysea. Známý je také Klid noci, Nahý oběd, Romeo krvácí, Ruský dům, Maratónec či Vyvolávač deště. V posledních letech se objevoval hlavně v béčkových produkcích.

Scheider byl ženatý s herečkou Brendou Seimerovou, měl tři děti a jeho nejstarší syn Christian Scheider už také hraje ve filmech.