Wat is het verschil tussen een stoplicht met een pijl naar boven en een stoplicht met gewoon een stip, ze gaan toch allebij recht door??

Dat klopt in zoverre geen verschil dus, vaak wordt een pijl rechtdoor gebruikt op locaties waar je ook een pijl voor links of rechtsaf hebt. Om meer duidelijkheid te scheppen denk ik.

In rotterdam zie ik dat niet echt, in delft zie ik dat heel vaak.

Meestal als je die ziet is het een pijl naar links of rechts
of er deze zijn ook aanwezig. Geeft in elk geval dat de richting aan die kan rijden.

om aan te geven dat de afslag naar rechts gewoon genomen mag worden.
Een stoplicht met stip geldt ook voor rechts -links afslaan.
Een stoplicht met alleen een pijl zou er op kunnen duiden dat er wel een weg naar rechts is, maar dat die niets met het stoplicht te maken heeft

Een pijl in het verkeerslicht geldt voor de aangegeven rijrichting. Het verschil met een rond verkeerslicht is dat je bij een verkeerslicht met pijl géén andere verkeersstromen hoeft te verwachten in de door jou te volgen richting.
Bv.:
bij rechtdoor: géén afslaand tegemoetkomend verkeer
bij rechts af: géén rechtdoorgaande bestuurders op naastgelen fietspad of VOP (voetgangersoversteekplaats)
bij links af: géén rechtdoorgaande tegemoetkomende bestuurders op de rijbaan of naastgelegen fiets- / bromfietspad of VOP

verkeerslicht met pijl betekent dat je vrij baan hebt bij groen in de richting van de pijl, maw je hebt geen last van kruisend verkeer.
Verkeerslicht zonder pijl- je mag rijden maar moet rekening houden met eventueel ander (kruisend) verkeer