Ergebnis 1 bis 13 von 13

Thema: Gute Spider, schlechte Spider....

  1. #1
    TP-Member
    Registriert seit
    Jan 2005
    Ort
    Basel
    Beiträge
    62

    Gute Spider, schlechte Spider....

    Hallo Leute,

    ich habe mir dann auch mal eine robots.txt angelegt. So weit so gut

    Gibt es eine Liste von "bösen" Spidern, die man ausschliessen sollte? Im Netz finde ich nur grundsätzliche Infos zum Aufbau der robots.txt

    Meine zweite Frage ist, ob die Syntax so korrekt wäre, wenn ich dann einzelne Spider ausschliessen möchte:

    Code:
    User-agent: *
    Disallow: /folder1/
    Disallow: /folder2/
    
    User-agent: Inktomi Slurp
    Disallow: /
    
    User-agent: BaiDuSpider
    Disallow: /
    Vielen Dank und Gruss
    Sandra

  2. #2
    TP-Specialist
    Registriert seit
    Jul 2002
    Beiträge
    2.756
    im anhang ein robots.txt mit einer sammlung der bösen...
    Angehängte Dateien Angehängte Dateien
    Geändert von matthias (27.04.2005 um 15:08 Uhr)

  3. #3
    TP-Veteran
    Registriert seit
    Jan 2004
    Ort
    Borntowncity
    Beiträge
    1.263
    Mal ne dumme Frage ...
    Was tun die bösen Spider ?

  4. #4
    TP-Insider Avatar von Jupp
    Registriert seit
    Jul 2004
    Ort
    Mönchengladbach
    Beiträge
    771
    Zitat Zitat von Nele
    Was tun die bösen Spider ?
    email-adressen klauen, z.b...

    GCM d- s: a-- C++$ UL P L+ E--- W++ N o? K- w+ !O !M !V PS+ PE Y PGP- t+ 5? X R- tv- b- DI- !D G e h! r++ z?

  5. #5
    TP-Special Mod TP-Sponsor Avatar von Thomas
    Registriert seit
    May 2001
    Ort
    Arnsberg - Sauerland
    Beiträge
    21.685

    Smile

    ist der Matthias wieder schnell

    ich verweise mal (ausnahmsweise ) auf diesen Thread in einem SEO-Forum

  6. #6
    wys
    wys ist offline
    TP-Insider
    Registriert seit
    Jul 2004
    Beiträge
    774
    Böse Spider mittels robot.txt ausschliessen? IMO ignorieren böse Spider die robot.txt einfach, da diese ja lediglich einen Wunsch des Sitebetreibers an den Spider ausdrückt.

    Gruß ...
    wys

  7. #7
    TP-Member
    Registriert seit
    Jan 2005
    Ort
    Basel
    Beiträge
    62
    Hallo Matthias,

    das ging aber schnell, super, Danke!

    Gibt es auch noch eine Informationsquelle, wo neue "pöse" Spider aktualisiert werden? Ich denke, die Liste wächst genau so schnelle wie die Antivirendateien

    @Thomas
    Der Thread verwirrt mich, ich werde ihn aber mal bookmarken, vielleicht kommt ja noch die Erleuchtung

    Vielen Dank und Gruss
    Sandra

  8. #8
    TP-Specialist
    Registriert seit
    Jul 2002
    Beiträge
    2.756

  9. #9
    TP-Special Mod TP-Sponsor Avatar von Thomas
    Registriert seit
    May 2001
    Ort
    Arnsberg - Sauerland
    Beiträge
    21.685

    Smile

    Zitat Zitat von BuboBubo
    @Thomas
    Der Thread verwirrt mich, ich werde ihn aber mal bookmarken, vielleicht kommt ja noch die Erleuchtung
    Zitat Zitat von wys
    Böse Spider mittels robots.txt ausschliessen? IMO ignorieren böse Spider die robot.txt einfach, da diese ja lediglich einen Wunsch des Sitebetreibers an den Spider ausdrückt.
    und genau deswegen arbeiten die Leute statt mit der robots.txt lieber mit der .htaccess

    per .htaccess kannst du wirklich effizient den Zugriff verweigern, während du bei der Lösung per robots.txt darauf hoffen musst, dass die "pösen Spider" deine robots.txt überhaupt lesen und akzeptieren

  10. #10
    TP-Member
    Registriert seit
    Jan 2005
    Ort
    Basel
    Beiträge
    62
    Okay,
    ich hab mir nun eine .htaccess generieren lassen bei Spamdatenbank

    Sollte man die robots.txt zusätzlich pflegen, getreu dem Motto "doppelt hält besser" oder reicht in diesem FAll eine einfache robots.txt aus?
    Code:
    User-agent: *
    Disallow: /folder1/
    Disallow: /folder2/
    Ist es ausreichend, die .htaccess einmal wöchentlich zu aktualisieren?

    Vielen Dank nochmal,
    Sandra

    P.S. Mann, mann, mann.... wenn man einmal anfängt mit Webdesign..... jeden Tag ein neuer "Abgrund"

  11. #11
    wys
    wys ist offline
    TP-Insider
    Registriert seit
    Jul 2004
    Beiträge
    774
    Zitat Zitat von BuboBubo
    Sollte man die robots.txt zusätzlich pflegen, getreu dem Motto "doppelt hält besser" oder reicht in diesem FAll eine einfache robots.txt aus?
    Nochmal: Eine "robots.txt" muß ein Spider nicht beachten. An einer .htaccess hingegen kommt er nicht vorbei.
    Wenn Du über .htaccess vorgehst kannste Dir die robots.txt im Grunde einfach sparen.
    Die eigentliche Frage ist, wie wichtig Dir der Ausschluss bestimmter Spider ist. Ist es nicht so wichtig, reicht IMO eine robots.txt. Willst Du aber die "bösen Spider" aussperren, vergiss die robots.txt einfach und mach es per .htaccess.

    Zitat Zitat von BuboBubo
    P.S. Mann, mann, mann.... wenn man einmal anfängt mit Webdesign..... jeden Tag ein neuer "Abgrund"
    Ja, so is dat halt

    Gruß ...
    wys

  12. #12
    TP-Insider Avatar von HoRnominatoR
    Registriert seit
    Dec 2003
    Ort
    nienburg (raum hannover)
    Beiträge
    971
    da htaccess vorrang hat und die einzig halbwegs vernuenftige loesung bietet, kann man es dabei im grunde belassen. wie gesagt, robots.txt interessiert sowieso keinen, der es nur darauf angelegt hat, schaden zu verursachen.
    in eile kam er,
    in schwarzem gewand,
    aus den tiefen des waldes,
    ein einsamer mann, ein geschoepf der freiheit,
    ein geschoepf ohne furcht,
    doch alle nannten sie ihn nur T O D

  13. #13
    wys
    wys ist offline
    TP-Insider
    Registriert seit
    Jul 2004
    Beiträge
    774
    Zitat Zitat von HoRnominatoR
    robots.txt interessiert sowieso keinen, der es nur darauf angelegt hat, schaden zu verursachen.
    So isses und das meinte ich auch gesagt zu haben.

    @HoRnominatoR
    Was meinst Du mit "die einzig halbwegs vernuenftige loesung "? Gibt es Spider, die an einer .htaccess vorbei kommen? Wäre dankbar für Aufklärung.

    Gruß ...
    wys

Aktive Benutzer

Aktive Benutzer

Aktive Benutzer in diesem Thema: 1 (Registrierte Benutzer: 0, Gäste: 1)

Aktive Benutzer

Aktive Benutzer

Aktive Benutzer in diesem Thema: 1 (Registrierte Benutzer: 0, Gäste: 1)

     

Berechtigungen

  • Neue Themen erstellen: Nein
  • Themen beantworten: Nein
  • Anhänge hochladen: Nein
  • Beiträge bearbeiten: Nein
  •  

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51