Kan de vriend van mijn ex-vrouw mij weigeren om mijn dochter bij de deur op te halen?

Dat huurhuis maakt niet uit.

Ja, iemand kan jou weigeren binnen te laten.

Ik zou voortaan vanuit de auto bellen dat je er bent, geen gedoe met aanbellen en in de tuin wachten in de regen.

Het maakt niet uit of het wel of niet om een huurhuis gaat.
Feit is dat zij als gebruiker van grond en woning aan jou kenbaar mogen maken dat je hun 'grond' niet mag betreden. Even een aantal artikelen als voorbeeld:

Artikel 461 WvSR
Hij die, zonder daartoe gerechtigd te zijn, zich op eens anders grond waarvan de toegang op een voor hem blijkbare wijze door de rechthebbende is verboden, bevindt of daar vee laat lopen, wordt gestraft met geldboete van de eerste categorie.

Artikel 5:22 BW is wat minder van toepassing, maar geeft wel aan dat men personen mag weigeren:

Artikel 22
Wanneer een erf niet is afgesloten, mag ieder er zich op begeven, tenzij de eigenaar schade of hinder hiervan kan ondervinden of op duidelijke wijze kenbaar heeft gemaakt, dat het verboden is zonder zijn toestemming zich op het erf te bevinden, een en ander onverminderd hetgeen omtrent openbare wegen is bepaald.

Het burgerlijk wetboek is hier van toepassing en wel het vijfde boek en dan artikel 22

Artikel 22
Wanneer een erf niet is afgesloten, mag ieder er zich op begeven, tenzij de eigenaar schade of hinder hiervan kan ondervinden of op duidelijke wijze kenbaar heeft gemaakt, dat het verboden is zonder zijn toestemming zich op het erf te bevinden, een en ander onverminderd hetgeen omtrent openbare wegen is bepaald.

Dit betekend eenvoudig dat hij een bord in zijn tuin moet plaatsen van verboden toegang, doet hij dit niet heeft hij geen poot om op te staan.

Sterker nog;

Zolang er dat bord niet staat wordt het gezien als openbaar terrein.