Termín bajt „vymyslel“ Werner Buchholz už v roce 1956, při práci na počítači IBM Stretch. Dříve bajt označoval skupinu jednoho až šesti bitů. Teprve až na konci roku se stal standardem osmibitový bajt.

Byte má původ v anglickém slovu bite (kousat, sousto). V počítačové hantýrce se proto často říká práci počítače „chroustání“. Pokud se bajt používá jako jednotka informace, značí se zpravidla velkým písmenem B, zatímco malým b se značí bit.

Oproti tomu bit (z anglického binary digit, angl. bit = drobek, kousek) je základní a současně nejmenší jednotkou informace. 1 bit v počítačovém jazyce reprezentuje informaci, získanou odpovědí na jednu otázku typu ano/ne.