John Mahoney es miembro de la Steppenwolf Theatre Company de Chicago desde 1979, con la que ha trabajado en casi treinta obras de teatro. Además, protagonizó "Larga jornada hacia la noche", con el Irish Repertory Theatre de Chicago, que se representó en Chicago, Los Ángeles y Galway, Irlanda. David Mamet le dio un papel en el estreno mundial de "The Water Engine". Hace poco ha trabajado en "Romance", en el teatro Almeida de Londres, y en la reposición de "Prelude to a Kiss", en Broadway.

Por su interpretación en "House of Blue Leaves", fue nominado a un Tony, un Clarence Derwent y un Drama Desk, y galardonado con un Premio Theatre World. Fue nominado a los Drama Desk por "Orphans". Asimismo ganó el Premio Sarah Siddons.

Fue nominado al Mejor Actor Secundario en los Premios Emmy y los Globos de Oro por su papel en la exitosa serie "Frasier", que se emitió durante once temporadas. Ha trabajado en numerosos telefilms, como "El gran golpe al aeropuerto Kennedy", "Cena a las ocho" y "La otra cara del éxito", en la miniserie "Mi hijo favorito", y en numerosas series.

En la gran pantalla fue muy aclamado en 1986 por su papel en Dos estafadores y una mujer, de Barry Levinson. Otras películas suyas son Hechizo de luna, de Norman Jewison; Sospechoso, de Peter Yates; Reality Bites/Bocados de realidad, de Ben Stiller; El presidente y Miss Wade, de Rob Reiner; El gran salto y Barton Fink, ambas de los hermanos Coen; La casa Rusia, de Fred Schepisi; Frenético, de Roman Polanski; El sendero de la traición, de Costa-Gavras; Ocho hombres, de John Sayles; Un gran amor, de Cameron Crowe; Juguete mortal, de Marshall Brickman; Calles de oro, de Joe Roth; Paro clínico, de Howard Deutch; En la línea de fuego, de Wolfgang Peterson; Las dos caras de la verdad, de Gregory Hoblit; Ella es única, de Ed Burns, y El club de los corazones rotos, de Greg Berlanti.

Más recientemente le hemos visto en Almost Salinas (2001), de Terry Green, y en el telefilm "Fathers and Sons" (2004), de Rodrigo García. Ha prestado su voz a éxitos de animación de la talla de Antz/Hormigaz, El gigante de hierro y Atlantis: el imperio perdido.