Hoe kunt u een robots.txt maken?

Hmm, je zegt het eigenlijk zelf al, maar ik neem aan dat je dan een generator bedoeld.

Dat kan hier: http://www.mcanerin.com/en/search-engine/robots-txt.asp

Een robots.txt bestand dient simpelweg in de zogenaamde 'root' map van een website geplaatst te worden, zodat het beschikbaar wordt voor zoekmachines als:

http://www.example.com/robots.txt

(example.com dient hier natuurlijk als voorbeeld)

Als je FTP toegang hebt tot de website kun je het robots.txt bestand dat je gemaakt hebt uploaden met een FTP programma, naar de juiste map.

De 'root' map is de hoofd map van waaruit de website geserveerd wordt. Als je met een FTP programma inlogt op de webserver is het vaak ofwel:

a) de map waar je direct in terecht komt, of
b) een map lager, met de naam 'public', 'www', 'web' of iets soortgelijks.