Vyrostl v Šanghaji a v 17 letech se přesunul do USA. Od roku 1935 studoval na univerzitách Pennsylvánii, v Cambridge a od roku 1946 a architekturu dostudoval na Harvardově univerzitě. Mezi jeho učitele patřili architekti Bauhausu Marcel Breuer a Walter Gropius

Svůj první ateliér si založil v New Yorku v roce 1955 a ihned od počátku se mu povedlo získávat velké zakázky. Navrhoval mrakodrapy i budovy univerzit či muzeí. Jeho podpis nese například hotel Four Seasons v New Yorku, bostonská knihovna J. F. Kennedyho, východní křídlo Národní galerie ve Washingtonu.

Také Německo se pyšní jeho stavbou. Podílel se na rozšíření budovy Německého historického muzea v Berlíně, které se vyznačuje schodištěm ze skla a oceli.

V roce 1983 mu byla udělena cena prestižní Pritzkerova cena se slovy: „Ieoh Ming Pei dal tomuto století některé z nejkrásnějších interiérů a exteriérových forem. Jeho všestrannost a dovednost v používání materiálů se přiblížila úrovni poezie“.

Z dalších staveb, které navrhl mimo Spojené státy, jsou nejznámější například Čínská banka v Hongkongu, lucemburské muzeum Mudam či katarské Muzeum islámského umění v Dauhá.

Jeden z jeho nejznámějších počinů - pyramida u Louvre - byla zpočátku ostře kritizována. Nechyběly výroky typu „kultivace Disneylandu“, „akt svévolnosti“ a „gigantická cetka“.