Skupinu založil v roce 1978 zpěvák Colin Abrahall spolu s kytaristou Colinem Jockem Blythem, kteří v kapele stále hrají. V roce 1981 se k nim přidal baskytarista Ross Lomas, jenž s nimi natočil všechny nahrávky počínaje singlem Leather, Bristles, Studs & Acne z roku 1981.

Úspěch slavili už v roce 1982 s albem City Baby Attacked by Rats na které o dva roky později navázalo City Baby´s Revenge. Zpočátku hráli přímočarý street punk, ale záhy ještě přitvrdili a začali využívat ve své hudbě i postupy metalu, zejména jeho zvuk. Příklon k metalu byl nejvýrazněji patrný na albu From Here To Reality z roku 1990.

Skupina však na rozdíl od mnoha jiných punkových veteránů nežije z minulosti. V roce 2010 vydali už své jedenácté album Perfume and Piss, které míchal Lars Frederiksen z americké punkové legendy Rancid. Deska také vyšla na jeho labelu Hellcat. Rancid vždy otevřeně přiznávali, že je k hraní inspirovali právě GBH.