robots.txt erklären

[Paco]

habe mal hier die robots.txt von drweb gesaugt:

User-agent: *
Disallow: /images/
Disallow: /diverses/
Disallow: /search
Disallow: /styles/
Disallow: /includes/
Disallow: /muster/
Disallow: /quiz/
Disallow: /quiz2/
Disallow: /test/
Disallow: /tour/
Disallow: /Templates/
Disallow: /spielwiese/

User-agent: FDSE
Disallow: /diverses/
Disallow: /images/
Disallow: /shop/
Disallow: /includes/
Disallow: /muster/
Disallow: /quiz/
Disallow: /quiz2/
Disallow: /tour/
Disallow: /Templates/
Disallow: /spielwiese/
Disallow: /plus/

User-agent: MSIECrawler
Disallow: /

User-agent: Googlebot
Disallow: /*.gif$
Disallow: /*.jpg$


Kann mir jemand anhand dessen erklären wie das geht? Was bewirkt das Ganze - wenn mir da jemand ein paar nähere Erläuterungen zu machen könnte wäre es echt toll.
Auf drweb habe ich schon gelesen, aber nicht ganz verstanden was das ganze GENAU bedeutet.

[Wunki]

also ich fang mal an :

User-agent: *

.. bedeutet : für alle Robots, Spiders..

Disallow: /images/

.. diesen Ordner nicht in der Suchmaschine indizieren !

User-agent: FDSE

Gilt nur für FDSE - frag mich bitte nicht welcher Spider das ist

Disallow: /*.gif$

.. bedeutet : Ich will nicht an der Bildersuche von Google teilnehmen bzw. keine gifs spidern !

MfG
Wunki

[Paco]

Was tun robots und spider genau - und was ist von denen der Unterschied?

Sollte man eine robot.txt haben?????

[xStream]

Eine robots.txt braucht man glaube ich nur noch wenn man bestimmte Verzeichnisse, Dateitypen etc. nicht von Robots durchgehen lassen will...
Ein Robot/Spider ist im Prinzip ein Script von einer Suchmaschine, dass sämtliche neuangemeldeten URLs durchsucht.
Es speichert entweder die Beschreibung aus deinen Meta- Tags und den Titel oder/und die ersten 150 Zeichen im Body- Tag.
Du kannst z.B. via Meta- Tag festlegen, ob die robots alle Links auf der Seite weiterverfolgen und ebenfalls in den Index aufnehmen sollen.
Wenn du diese Funktion aktiviert hast, aber jetzt z.B. nicht möchtest, dass Google die Seiten im Verzeichniss "ichmagkeingoogle" nicht durchsucht, kannst du das durch die robots.txt steuern...

(wie immer ohne Gewähr )

[Paco]

Danke. Das hat mir weitergeholfen.
Grüßle

[Thomas]

man sollte (nach meinen Recherchen in den diversen "Fach-Sites") immer eine robots.txt anlegen

diese Datei "animiert" viele Suchrobots aus irgendeinem Grunde nun mal, sich die Site genauer anzuschauen.

wenn man (wie wohl oft) eine Site hat, die man wirklich komplett von allen Suchmaschinen gescannt haben möchte, legt man einfach eine völlig leere robots.txt-Datei an und läd diese in den root

macht fast keine Arbeit und schadet auf keinen Fall

[carlsson]

Hallo zusammen, direkt beim Onkel Doktor (dr.web) findet man auch eine gute Detailbeschreibung zur robots.txt

der Link dorthin

der carlsson

[Paco]

Original geschrieben von carlsson
Hallo zusammen, direkt beim Onkel Doktor (dr.web) findet man auch eine gute Detailbeschreibung zur robots.txt

der Link dorthin

der carlsson

Hi ich weiß - siehe thread eins - aber hier im Forum habe ich es erst so richtig verstanden.

@ thomas
yep, das habe ich auch gehört und auch deshalb gemacht thx

[matthias]

hier ein robots.txt generator.. praktisch praktisch ..