Wer sich längere Zeit mit dem Aufbau umfangreicherer Internetseiten beschäftigt und dabei oft kontrolliert, wo er in den Suchmaschinen zu finden ist, wird es sicherlich schon erlebt haben, dass Teile der für diese Seiten getippten Texte auf Internetseiten auftauschen, auf denen sie nichts verloren haben.
Meist ist man stinksauer aber kommt an diese Contentklauer nicht heran, weil die Inhaber der Domains beispielsweise auf irgendwelchen Inseln leben. Auf der Suche danach, wie diese bösen Menschen das gemacht haben, stellt man nach Kontrolle der Log-Files schnell fest, dass gerne kleine Roboter genutzt werden, die die Seite nach Content, nach Bildern oder nach Email-Adressen abgrasen.
Um diesen Robotern das Leben zu erschweren, kann man die robots.txt Datei so einrichten, dass diese Roboter ein Verbotsschild vorgesetzt bekommen (ob sie sich daran halten, ist leider wiederum eine ganz andere Sache).

Eine Arbeitserleichterung bietet das kleine Tool Spider-Trap. Auf der Seite von www.spider-trap.de befindet sich neben dem Tool auch noch ein Forum und nützliche Hintergrundinformationen zum Thema.