Waar plaats ik best mijn robots.txt?

Ik weet hoe ik een robots.txt moek maken maar waar moet ik het plaatsen?

Weet jij het antwoord?

/2500

Je plaatst de robots.txt in principe in elke relevante folder

Je plaatst hem in de root van je site. Dus de hoogste folder: www.domein.nl/robots.txt

robots.txt komt op het hoogste niveau van je site. Dus NIET per definitie in het hoogste niveau van je mappenstructuur! Hij zou beschikbaar moeten komen onder http://www.jouwdomein.nl/robots.txt . robots.txt werkt echter alleen wanneer je een eigen domeinnaam hebt. Het werkt bijvoorbeeld NIET onder mijn site http://www.xs4all.nl/~cryofiel/ . Verder moet je natuurlijk Unix line-endings gebruiken.

Het antwoord op de plaatsing van robots.txt is hierboven al gegeven. De inhoud van robots.txt bepaal je verder zelf. Waar wil je dit bestandje zelf voor gebruiken? *> Je kunt zoekmachines bijvoorbeeld hiermee vertellen dat ze bepaalde onderdelen van de site niet mogen indexeren / vindbaar mogen maken. *> Ook wordt vaak in robots.txt aangegeven waar zoekmachines de sitemap.xml kunnen vinden. Hieronder een robots.txt generator met wat uitleg erbij. Maar Google biedt via de webmastertools hier ook oplossingen voor, zie eveneens hieronder. En tenslotte een robots tutorial. Een hele aardige pagina met goede uitleg. Succes!

Stel zelf een vraag

Ben je op zoek naar het antwoord die ene vraag die je misschien al tijden achtervolgt?

/100