Griffith v roce 1957 zazářil v hlavní roli filmu Tvář v davu, později mu však slávu přinesly zejména televizní seriály. Nejvýraznější role ztvárnil v 60. letech ve vlastním pořadu The Andy Griffith Show a na přelomu 80. a 90. let v seriálu Matlock.

Kromě vystupování v televizi se Griffith také věnoval hudbě. V roce 1997 získal cenu Grammy v kategorii nejlepší album country a gospelu. O dva roky později byl uveden do gospelové síně slávy.

V roce 2005 mu tehdejší prezident George Bush mladší udělil nejvyšší civilní vyznamenání země - Medaili svobody.