Malgré son passé et ses tendances conservatrices, il obtient le prix Nobel, conjointement avec Nelson Mandela, pour le rôle fondamental qu'il a joué dans la suppression du système de l'apartheid. En 1990 Mandela et d’autres prisonniers politiques sont libérés et la proscription de l'ANC (Congrès national africain) et du Congrès panafricain est levée. Le gouvernement révoque les dernières lois racistes en 1992 et 69% des électeurs blancs du pays approuvent les réformes qu'il propose lors d’un référendum. Après des négociations sérieuses entre leaders blancs et noirs, une nouvelle constitution est proposée. Elle admet enfin l'accès au suffrage universel de la population noire (qui est largement majoritaire ) du pays. En 1994, l’Afrique du Sud connaît ses premières élections multiraciales et de Klerk cède la présidence à Mandela.