Herrmannova filmová kariéra začala v 70. letech, kdy se objevil po boku Roberta Redforda a Mii Farrowové jako pianista ve filmu Velký Gatsby. Po Redfordově boku hrál také ve filmu Velký Waldo Pepper, s Goldie Hawnovou si zahrál v komedii Přes palubu a s Farrowovou se opět sešel ve filmu Woodyho Allena Purpurová růže z Káhiry.

Příležitost si zahrát dostal také ve filmovém hitu Martina Scorseseho Letec. Ve dvou televizních filmech ztvárnil prezidenta Franklina Delano Roosevelta, objevil se i v seriálu MASH. V Česku je asi nejznámější díky roli Richarda Gilmorea v seriálu Gilmorova děvčata.