Robots von bestimmten Seiten fernhalten

[dorintia]

Hallöle,

ich möchte das die Robots bestimmte Seiten wie "Suche", "Login" etc. pp. nicht spidern.

Nun hab ich schon gelesen wie man Bilderordner und dergleichen ausklammern kann und das so eine robots.txt immer in die unterste Ebene der Domain gehört... aber ob ich es richtig gemacht habe weiss ich nicht. Die Robost wuseln immer noch bei advanced_search_result.php und login.php und dergleichen rum.

Ein Shop liegt in folgendem Ordner: root/abc/
Ein zweiter dort: root/xyz/
Und einer im Root direkt.

Für den User angezeigt werden die Shops natürlich ganz normal unter ihrer jeweiligen Domain.

Die robots.txt gehört immer in den Root, also benötigt man auch für mehrere Domains/Shops nur eine einzige. Ist das korrekt?

Wie muss ein Eintrag korrekt aussehen?
Bspw. so?

Disallow: /abc/login.php - Um eben die Login-Seite in diesem Shop auszuklammern.

oder so?

Disallow: /abc/http://www.abc.de/login.php

Oder ganz anders?

Meine robots.txt fängt so an:

User-agent: *
Disallow: /admin/
Disallow: /temp/
Disallow: /cache/
Disallow: /privat/
Disallow: /logs/
Disallow: /tmp/
Disallow: /images/
Disallow: /logs/
Disallow: /ebay/
usw.

Und ab wann beachten die Robost so eine Änderung? Muss man sich da in Geduld üben?

Vielen Dank für eure Hilfe!

Gruß
dori

[fuchzga]

Hey dori,

...das so eine robots.txt immer in die unterste Ebene der Domain gehört...

Nein, immer in die oberste Ebene.
Wobei das sicher Definitionssache ist. Die oberste Ebene ist das root-Verzeichnis deiner Webseite.
Auf dem Webserver nennt man dies DocumentRoot
Dies kann sich von deinem FTP-Root unterscheiden.

Anscheinend ist das bei dir der Fall, denn:

Ein Shop liegt in folgendem Ordner: root/abc/
Ein zweiter dort: root/xyz/
Und einer im Root direkt.

Für den User angezeigt werden die Shops natürlich ganz normal unter ihrer jeweiligen Domain.

Jede Domain hat ihr eigenes DocumentRoot.
Der Suchmaschinen-Robot ist auch nur ein "Besucher". Er ruft die Startseite auf, und hangelt sich durch die Links und Objekte auf deiner Webseite.

Die robots.txt gehört immer in den Root, also benötigt man auch für mehrere Domains/Shops nur eine einzige. Ist das korrekt?

Falsch, jede Domain braucht eine robots.txt.

Wie muss ein Eintrag korrekt aussehen?

Ich bediene mich mal in deinem Beispiel:

User-agent: *
Disallow: /admin/
Disallow: /temp/
Disallow: /cache/
Disallow: /privat/
Disallow: /logs/
Disallow: /tmp/
Disallow: /images/
Disallow: /logs/
Disallow: /ebay/
Disallow: /abc/login.php

Immer erst den User-agent benennen, für den der nachfolgende Block gültig ist.
Du kannst ganze Verzeichnisse und auch einzelne Dateien vor dem Spider sperren lassen.
Wobei mir nicht klar ist, warum die login.php geblockt werden soll.... Der Spider sieht nur den generierten HTML-Code.

Eine sehr schöne Zusammenfassung hab ich hier gefunden: http://www.at-web.de/grundlagen/robots-txt.htm

Beste Grüsse.

[dorintia]

Ok... unterste Ebene, oberste Ebene... ich sehe wir meinen das Gleiche.

Mal ein konkretes Beispiel:

Disallow: login.php
Disallow: /abc/login.php

Eintrag 1 hält die robots von der login.php fern die eben ganz normal im Root steht. Eintrag 2 hält die robots von der login.php fern die eben im Ordner abc steht. Dabei interessiert es dann den Robot wenig ob diese bspw. unter [nourl:-)]www.abc.de/login.php[/nourl:-)] zu finden ist. Ist das korrekt?

Aber ... wenn Robots den Links auf der Website folgen, folgen sie dann trotzdem dem Link zur Login-Seite der Website?

Und wie ist das bspw. wenn der Aufruf der AGB bei mir so aussieht: [nourl:-)]http://www.abc.de/info/allgemeine-geschaeftsbedingungen.html[/nourl:-)]

Wie halte ich bspw. (Sinn oder Unsinn sei jetzt mal dahingestellt) robots davon fern? Die Struktur und Benennung auf dem Server sieht ja völlig anders aus...

Ich will es einfach verstehen... "sieht" der Robot eher die Struktur auf dem Server oder die, die auch der normale Browsernutzer zu sehen bekommt? Oder beides? Der Nutzer bekommt ja bei mir kein /abc/login.php zu sehen, sondern [nourl:-)]www.abc.de/login.php[/nourl:-)].

Und wie nun "jede Domain braucht eine eigene robots.txt"? Ich hatt das eigentlich so verstanden das ich mir eine so: /abc/robots.txt sparen kann, weil die nicht gelesen wird.

Konkrete Beispiele wie das nun ist wenn man 3 verschiedene Seiten/Shops auf einem Webspace hat hab ich leider nicht gefunden.

[fuchzga]

Es müsste so heissen:

Disallow: /login.php

Also immer mit Pfadangabe. Wenn die Datei im Root liegt, dann dort auch Pfad angeben.

Aber ... wenn Robots den Links auf der Website folgen, folgen sie dann trotzdem dem Link zur Login-Seite der Website?

Gute Frage. Ich behaupte mal, dass sie trotzdem dem Link folgen. Ich kann es aber gerade nicht revalidieren..

Zitat: http://www.at-web.de/grundlagen/robots-txt.htm

Es gibt zwei Arten, den Crawlern mitzuteilen, in welcher Art der zugriff auf Dateien gestattet wird. Auf Dateiebene lässt sich besser realisieren, dass eine Seite nicht in den Index von Suchmaschinen gelangt. Dann sollte man mit "noindex" per robots Meta-Tags im Datei-Header verwalten. Für eine gesamte Webpräsenz ist die zentrale Datei robots.txt ein effizienteres Werkzeug. Allerdings, können ausgeschlossene Seiten dennoch im Index erscheinen, solange andere Seiten einen Link gesetzt haben. Dann kann die URL und der Verweistext von der verweisenden Seite ausgelesen und in den Resultaten der Suchmaschine (speziell Google) angezeigt werden, ob wohl die Datei selbst vom indexieren über die robots.txt ausgeschlossen ist.