Kun je straffeloos updates verwijderen?

Nee, dat mag niet. En heeft ook weinig zin, want updates voor XP en IE worden (als het goed is) via Windows Update automatisch gedownload.
Daarnaast brengt Microsoft eens in de zoveel tijd een Servicepack uit: een bundeling van alle updates die tot dat moment zijn verschenen. Voordeel daarvan is dat als je het besturingssysteem (in jouw geval XP) opnieuw installeert, de updates in één pakket zitten. Voor de rest: niet aankomen!

Toegevoegd na 15 minuten:
In antwoord op je toevoeging: ik zou ze pas verwijderen als er een nieuw Servicepack uitkomt, en dan alleen door het besturingssysteem opnieuw te installeren. Maar er zijn een paar mappen waaruit je de updates waarschijnlijk
probleemloos kunt verwijderen:

C:\Windows\System32\Catroot2
C:\WINDOWS\SoftwareDistribution\Download

Gezien het grote aantal updates kunnen deze mappen in de loop van de tijd behoorlijk omvangrijk worden. Door de geïnstalleerde updatebestanden periodiek te verwijderen, kan er ruimte worden vrijgemaakt voor andere doeleinden.

Omdat de geïnstalleerde Windows-updates zelden worden teruggedraaid, kunnen de daarvoor benodigde undo-bestanden net zo goed worden verwijderd: dit kan veel ruimte vrijmaken! Het gaat om alle verborgen mappen beginnend met het "$"-teken in de map C:\WINDOWS, met uitzondering van de (omvangrijke) map $hf_mig$.
Microsoft adviseert deze map te laten staan, alhoewel het verwijderen ervan nauwelijks tot geen problemen veroorzaakt.

Let op: je doet het op eigen risico!