Klinsmann kom fram under 1980-talet i VfB Stuttgart och utvecklades till en av sin generations stora anfallare. Han gjorde sitt första mästerskap för Västtyskland i EM 1988. 1989 flyttade han till Inter där han spelade tillsammans med landslagskollegorna Andreas Brehme och Lothar Matthäus. Klinsmann gjorde tre mål i sitt första VM-slutspel 1990 då Västtyskland blev världsmästare och han bildade anfallspar med Rudi Völler. Klinsmann följde upp med fem mål i USA-VM 1994 och ytterligare tre mål i sitt sista, fotbolls-VM 1998.
Klinsmann var i slutet av landslagskarriären lagkapten och var den som först lyfte pokalen efter segern i EM 1996. Under sin tid i engelska Tottenham Hotspur FC fick han smeknamnet Diver för sin speciella målgest. Efter den aktiva karriären flyttade Klinsmann till Kalifornien och han har varit verksam i Los Angeles Galaxy.
Klinsmann utsågs 2004 till förbundskapten för Tysklands herrlandslag i fotboll och efterträdde då Rudi Völler. Klinsmann inledde ett generationsskifte men framförallt ändrade han lagets spelstil och filosofi. Laget förutsattes bli bollförande och offensivt, en stil som landslaget utvecklat än mer efter hans tid som förbundskapten. Klinsmann ledde laget till en tredjeplats i Confederations Cup 2005 och 2006 ledde Klinsmann landslaget till VM-brons och Tyskland. Klinsmann valde att avgå efter VM:s bronsmatch. Han efterträddes av Joachim Löw som varit assisterande förbundskapten under Klinsmann.