Kristal svůj klub otevřel v roce 1973 a chtěl v něm uvádět country, blues a bluegrass. To se mu nepodařilo a klub v chudé čtvrti Bowery na Manhattanu poblíž ubytovny pro veterány z vietnamské války se stal centrem punku a nové vlny. Začínali v něm Ramones, Patti Smithová i Television, i když majiteli se zpočátku jejich pojetí příliš nezamlouvalo. Ramones se Hillymu zpočátku nelíbili, ale brzo tam hráli každý týden několikrát stejně jako Debbie Harry," řekl před půldruhým rokem Novinkám Ivan Král, který tehdy hrál s Patti Smithovou.

Vysvětlil také, proč byly kapely spojené s klubem tak úspěšné: "Jednak to bylo tím, že si Hilly Kristal dost vybíral a vybrané kapely nechával hrát častěji, nevystupovaly tam spousty kapel jako teď, kdy je jich i pět za večer. Taky se o scéně začalo psát, měli jsme známý v New York Times, ve Village Voice."

V osmdesátých a devadesátých letech se klub stal centrem newyorského hard coru, reprezentovaného skupinami Agnostic Front, Murphy´s Law, Sick Of It All a Madball. Centrem scény byl do poloviny první dekády nového tisíciletí.

"Poslední tři roky je to jediný místo, kde se konají také hardcorové koncerty. V 80. letech tu byl Max´s Kansas, ale ten je pryč, pak existoval Coney Island High, který zavřeli, Vanguard, které pořád pořádají nějaké koncerty, ale už ne tolik. Hard core totiž nikdy nevydělává moc peněz, je to tvrdá, divoká hudba, kolem jsou bitky, vždycky je to úplně bláznivý, takže kluby se začnou ptát - proč tohle vlastně děláme. CBGB´s je skvělý, protože dává hard core prostor už 25 let," říkal předloni kytarista Madball Mitts.

Loni musel Kristal svůj klub po prohrané právní bitvě zavřít. V říjnu 2006 jeho provoz legendárního stánku na Manhattanu ukončilo vystoupení Patti Smithové a Deborah Harryové. Kristal věřil, že se mu podaří porazit rakovinu a otevřít klub znovu v Las Vegas. "Myslím na zítřek a pak na pozítřek a tak dál, abych s CBGB ještě něco udělal," řekl loni v říjnu Kristal.

Na deskách, jimiž je vchod klubu zabedněný, se objevil nasprejovaná písmena R.I.P.