Vysoký, štíhlý Ferrer se poprvé objevil na Broadwayi jako tanečník ve sboru v roce 1938. Filmový debut si odbyl v roce 1949 v dramatu Lost Boundaries. Diváci si ho ale zapamatovali až díky roli nešikovného loutkáře v muzikálu Lili z roku 1953 - tedy téhož roku, kdy Audrey Hepburnová okouzlila filmový svět jako princezna v Římských prázdninách, za něž získala Oscara za hlavní ženskou hereckou roli.

Ferrer a Hepburnová se vzali v roce 1954 a společně se objevili v roce 1956 ve filmu natočeném podle románu Lva Nikolajeviče Tolstého Vojna a mír - Hepburnová jako Nataša Rostovová a Ferrer coby Andrej Bolkonskij.

Jako režisér natočil se svou manželkou v roce 1959 romantický dobrodružný film Zelené domy, ovšem mnohem úspěšnější byla jejich manželská spolupráce v roce 1967, kdy ve Ferrerově produkci vznikl thriller Čekej do tmy. Hepburnová v něm ztvárnila slepou ženu pronásledovanou vrahy, kteří se jí chtějí zbavit jako potenciální svědkyně.

Manželství Ferrera a Hepburnové skončilo rozvodem v roce 1968. Jejich jediný syn Sean Hepburn Ferrer, kterému je nyní 47 let, se stal rovněž režisérem. Ferrer se poté oženil ještě čtyřikrát, z toho dvakrát s Frances Gunby Pilchardovou. Audrey Hepburnová zemřela na rakovinu v roce 1993.