Hoe herken je een bot die bezoekers naar je website stuurt?

Ligt eraan wat voor systeem je gebruikt om je website te onderhouden. Ik heb zelf bijvoorbeeld control panel pro, hiermee kan ik de IPs, client, os en tijd zien van mijn bezoekers. En bots kan je dan herkennen bij "client". Als je geen control panel hebt kan je misschien rondkijken bij de functies van jou websysteem, anders zul je een plugin of dergelijke moeten installeren om dit te kunnen. Je kunt een robots.txt op je website plaatsen om te voorkomen dat robots je website of bepaalde delen van je website bezoeken (stel dat je je webpagina niet in google results wilt hebben) hier word uitgelegd wat dit is en hoe dit moet:

http://www.robotstxt.org/