Es quizás mejor conocido por su papel del calculador líder de facto del imperio de la droga de Baltimore en la aclamada serie original de HBO Bajo escucha. En 2005, fue nominado a un Image Award por su trabajo en la serie. Elba también actuó en la película para HBO Sometimes In April, del director Raoul Peck. Ambientada en el genocidio de Ruanda de 1994, esta película supuso su primer papel protagonista en un largometraje. Elba interpretó a un soldado hutu que intenta salvar a su esposa y familia tutsi; por su interpretación, Elba fue nominado a otro Image Award.

El intérprete actuó recientemente en Daddy’s Little Girls, con Gabrielle Union, bajo la dirección de Tyler Perry. Próximamente, actuará en el thriller de terror 28 Weeks Later, la esperada secuela del éxito de zombies 28 Days Later, cuyo estreno está previsto para mayo de 2007. Además, ha completado recientemente el rodaje de American Gangster, de Ridley Scott, con Denzel Washington y Russell Crowe, y actualmente se encuentra rodando la comedia de vacaciones This Christmas.

Otros títulos para la gran pantalla de Elba incluyen The Gospel, del director Rob Hardy; Buffalo Soldiers, con Joaquin Phoenix y Ed Harris; y Beautiful Mother, con Catherine Deneuve.

En televisión, Elba ha participado como estrella invitada en series como Ley y orden y CSI: Miami, y actuó en la miniserie de Sci-Fi Channel Ultraviolet. En su Inglaterra natal, participó en el reciente telefilme de Channel 4 All in the Game, y antes fue actor invitado en muchas series, incluidas Silent Witness y Dangerfield, de la BBC.

Elba también ha trabajado sobre el escenario, con algunos papeles principales como el de Coming Home, una obra original escrita por Oscar Watson y representada en el Red Lion Pub Theater de Londres, y la producción off-Broadway de Sir Peter Hall Troilus and Cressida, en la que su retrato de Aquiles ha recibido críticas favorables.