Γεννήθηκε στη Μοραβία, όπου τράβηξε τις πρώτες του φωτογραφίες όσο ακόμα ήταν φοιτητής τη δεκαετία του ’50. Περίπου την ίδια περίοδο, ξεκίνησε την καριέρα του ως μηχανικός αεροσκαφών, ενώ το 1961 άρχισε να φωτογραφίζει αθίγγανους στην Τσεχοσλοβακία και θέατρο στην Πράγα. Το 1967 αποφάσισε να ασχοληθεί επαγγελματικά με τη φωτογραφία. Τον επόμενο χρόνο φωτογράφισε τη Σοβιετική εισβολή στην Πράγα και δημοσίευσε τις φωτογραφίες του αυτές με τα αρχικά P.P.(Φωτογράφος της Πράγας), καθώς φοβόταν πιθανά αντιποίνων σε εκείνον και την οικογένειά του. Το 1969 βραβεύτηκε ανώνυμα με το Overseas Press Club’s Robert Capa Gold Medal για εκείνες τις φωτογραφίες.

Ο Koudelka έφυγε από την Τσεχοσλοβακία αναζητώντας πολιτικό άσυλο το 1970 και σύντομα έγινε μέλος του πρακτορείου Magnum. Το 1975 εκδόθηκε το πρώτο του βιβλίο “Gypsies” και το 1988 το Exiles. Από το 1986, δουλεύει με πανοραμική κάμερα και εξέδωσε μία συλλογή από αυτές τις φωτογραφίες στο βιβλίο του “Chaos” το 1999. Έχουν εκδοθεί δεκάδες βιβλία με τα έργα του συμπεριλαμβανομένου του πιο πρόσφατου “Invasion Prague ’68” το 2008. Έχει βραβευτεί με σημαντικά βραβεία, όπως τα Prix Nadar (1978), Grand Prix National de la Photographie (1989), Grand Prix Cartier-Bresson (1991) και Hasselblad Foundation International Award in Photography (1992). Σημαντικές εκθέσεις της δουλειάς του έχουν φιλοξενηθεί στα Museum of Modern Art και International Center of Photography (Νέα Υόρκη), Hayward Gallery (Λονδίνο), Stedelijk Museum of Modern Art (Άμστερνταμ) και Palais de Tokyo (Παρίσι).