LinkBack URL
About LinkBacks
Zitieren
Die Frage kann ich dir jetzt nicht beantworten, da ich mich nie mit der robots.txt auseinandergesetzt habe und zwar aus folgendem Grund:
Die robots.txt ist eher eine Empfehlung, als eine Vorschrift. Das heißt, wer deine Seite abgrasen will, der tut dies auch trotz robots.txt . Die kann man einfach so ignorieren... Und genau das tun die ganzen "fiesen" Spider auch.
Wenn man also nur irgendwelche Adressensammler aussperren will, dann nützt es eh nichts.
An die robots.txt halten sich eh nur die Spider von irgendwelchen seriösen Suchmaschinen..
