Gute Spider, schlechte Spider....

[BuboBubo]

Hallo Leute,

ich habe mir dann auch mal eine robots.txt angelegt. So weit so gut

Gibt es eine Liste von "bösen" Spidern, die man ausschliessen sollte? Im Netz finde ich nur grundsätzliche Infos zum Aufbau der robots.txt

Meine zweite Frage ist, ob die Syntax so korrekt wäre, wenn ich dann einzelne Spider ausschliessen möchte:

User-agent: *
Disallow: /folder1/
Disallow: /folder2/

User-agent: Inktomi Slurp
Disallow: /

User-agent: BaiDuSpider
Disallow: /

Vielen Dank und Gruss
Sandra

[matthias]

im anhang ein robots.txt mit einer sammlung der bösen...

[Nele]

Mal ne dumme Frage ...
Was tun die bösen Spider ?

[Jupp]

Was tun die bösen Spider ?

email-adressen klauen, z.b...

[Thomas]

ist der Matthias wieder schnell

ich verweise mal (ausnahmsweise ) auf diesen Thread in einem SEO-Forum

[wys]

Böse Spider mittels robot.txt ausschliessen? IMO ignorieren böse Spider die robot.txt einfach, da diese ja lediglich einen Wunsch des Sitebetreibers an den Spider ausdrückt.

Gruß ...
wys

[BuboBubo]

Hallo Matthias,

das ging aber schnell, super, Danke!

Gibt es auch noch eine Informationsquelle, wo neue "pöse" Spider aktualisiert werden? Ich denke, die Liste wächst genau so schnelle wie die Antivirendateien

@Thomas
Der Thread verwirrt mich, ich werde ihn aber mal bookmarken, vielleicht kommt ja noch die Erleuchtung

Vielen Dank und Gruss
Sandra

[matthias]

hier ein paar links mit spider listen - nicht nur böse!

http://www.psychedelix.com/agents.html
http://www.robotstxt.org/wc/active/html/index.html
http://support.free-conversant.com/2701

[Thomas]

@Thomas
Der Thread verwirrt mich, ich werde ihn aber mal bookmarken, vielleicht kommt ja noch die Erleuchtung

Böse Spider mittels robots.txt ausschliessen? IMO ignorieren böse Spider die robot.txt einfach, da diese ja lediglich einen Wunsch des Sitebetreibers an den Spider ausdrückt.

und genau deswegen arbeiten die Leute statt mit der robots.txt lieber mit der .htaccess

per .htaccess kannst du wirklich effizient den Zugriff verweigern, während du bei der Lösung per robots.txt darauf hoffen musst, dass die "pösen Spider" deine robots.txt überhaupt lesen und akzeptieren

[BuboBubo]

Okay,
ich hab mir nun eine .htaccess generieren lassen bei Spamdatenbank

Sollte man die robots.txt zusätzlich pflegen, getreu dem Motto "doppelt hält besser" oder reicht in diesem FAll eine einfache robots.txt aus?

User-agent: *
Disallow: /folder1/
Disallow: /folder2/

Ist es ausreichend, die .htaccess einmal wöchentlich zu aktualisieren?

Vielen Dank nochmal,
Sandra

P.S. Mann, mann, mann.... wenn man einmal anfängt mit Webdesign..... jeden Tag ein neuer "Abgrund"

[wys]

Sollte man die robots.txt zusätzlich pflegen, getreu dem Motto "doppelt hält besser" oder reicht in diesem FAll eine einfache robots.txt aus?

Nochmal: Eine "robots.txt" muß ein Spider nicht beachten. An einer .htaccess hingegen kommt er nicht vorbei.
Wenn Du über .htaccess vorgehst kannste Dir die robots.txt im Grunde einfach sparen.
Die eigentliche Frage ist, wie wichtig Dir der Ausschluss bestimmter Spider ist. Ist es nicht so wichtig, reicht IMO eine robots.txt. Willst Du aber die "bösen Spider" aussperren, vergiss die robots.txt einfach und mach es per .htaccess.

P.S. Mann, mann, mann.... wenn man einmal anfängt mit Webdesign..... jeden Tag ein neuer "Abgrund"

Ja, so is dat halt

Gruß ...
wys

[HoRnominatoR]

da htaccess vorrang hat und die einzig halbwegs vernuenftige loesung bietet, kann man es dabei im grunde belassen. wie gesagt, robots.txt interessiert sowieso keinen, der es nur darauf angelegt hat, schaden zu verursachen.

[wys]

robots.txt interessiert sowieso keinen, der es nur darauf angelegt hat, schaden zu verursachen.

So isses und das meinte ich auch gesagt zu haben.

@HoRnominatoR
Was meinst Du mit "die einzig halbwegs vernuenftige loesung "? Gibt es Spider, die an einer .htaccess vorbei kommen? Wäre dankbar für Aufklärung.

Gruß ...
wys