Hoe kunt u een robots.txt maken?

Dit bedoel ik dus niet: neem een text bestand als naam geeft u het robots. Neen dat is het niet, hoe moet u een robots.txt aanmaken op een bepaalde website?

Alvast bedankt

Toegevoegd na 21 uur:
bijvoorbeeld ik heb een SharePoint:
http://dc/
of ik heb een website dat noemt:
http://www.voorbeeld.be/ gemaakt via IIS zelf

Weet jij het antwoord?

/2500

Hmm, je zegt het eigenlijk zelf al, maar ik neem aan dat je dan een generator bedoeld. Dat kan hier: http://www.mcanerin.com/en/search-engine/robots-txt.asp

Een robots.txt bestand dient simpelweg in de zogenaamde 'root' map van een website geplaatst te worden, zodat het beschikbaar wordt voor zoekmachines als: http://www.example.com/robots.txt (example.com dient hier natuurlijk als voorbeeld) Als je FTP toegang hebt tot de website kun je het robots.txt bestand dat je gemaakt hebt uploaden met een FTP programma, naar de juiste map. De 'root' map is de hoofd map van waaruit de website geserveerd wordt. Als je met een FTP programma inlogt op de webserver is het vaak ofwel: a) de map waar je direct in terecht komt, of b) een map lager, met de naam 'public', 'www', 'web' of iets soortgelijks.

Stel zelf een vraag

Ben je op zoek naar het antwoord die ene vraag die je misschien al tijden achtervolgt?

/100