Es un solicitado actor de reparto que cuenta con un Globo de Oro en su haber. Ha aparecido en títulos como las dos entregas de Spy Kids (Spy Kids y Spy Kids 2 - La isla de los sueños perdidos), las dos entregas de Men in Black, o la película de los hermanos Coen El hombre que nunca estuvo allí. Tiene en su haber también títulos como Siete días y una vida, Héroes fuera de órbita, Acción civil, Primary Colors, Estado de sitio, Paulie, el loro bocazas, Gattaca, En busca de Bobby Fischer, Una historia diferente, Luna de miel para tres, Barton Fink, Con la poli en los talones, Compañeros inseparables, etc. Acaba de terminar el rodaje de The Last Shot, junto a Matthew Broderick y Alec Baldwin. Shalhoub ha hecho su debut como realizador con Made-Up, que protagoniza con su esposa, Brooke Adams, y Gary Sinise. En la pequeña pantalla ha protagonizado la serie "Monk", por la que ha ganado un Emmy y un Globo de Oro, y de la que es también productor ejecutivo. También ha trabajado en los telefilmes "Gypsy" y "That Championship Season" y en las series de comedia "Stark Raving Mad" y "Wings". Asimismo cuenta con una distinguida carrera en la escena neoyorquina.