Waar plaats ik best mijn robots.txt?

Je plaatst hem in de root van je site. Dus de hoogste folder:

www.domein.nl/robots.txt

robots.txt komt op het hoogste niveau van je site. Dus NIET per definitie in het hoogste niveau van je mappenstructuur!

Hij zou beschikbaar moeten komen onder http://www.jouwdomein.nl/robots.txt .

robots.txt werkt echter alleen wanneer je een eigen domeinnaam hebt. Het werkt bijvoorbeeld NIET onder mijn site http://www.xs4all.nl/~cryofiel/ .

Verder moet je natuurlijk Unix line-endings gebruiken.

Het antwoord op de plaatsing van robots.txt is hierboven al gegeven.

De inhoud van robots.txt bepaal je verder zelf. Waar wil je dit bestandje zelf voor gebruiken?
*> Je kunt zoekmachines bijvoorbeeld hiermee vertellen dat ze bepaalde onderdelen van de site niet mogen indexeren / vindbaar mogen maken.
*> Ook wordt vaak in robots.txt aangegeven waar zoekmachines de sitemap.xml kunnen vinden.

Hieronder een robots.txt generator met wat uitleg erbij. Maar Google biedt via de webmastertools hier ook oplossingen voor, zie eveneens hieronder.

En tenslotte een robots tutorial. Een hele aardige pagina met goede uitleg. Succes!