Frage zu robot.txt

sky · 02.04.2002, 20:11

Hallo an alle!

ich habe da eine Frage zu der Datei robits.txt!

Könnte mir jemand mal ein Beispiel schreiben, das die Suchmaschinen nur die index.html und die von mir vorgebenen Meta Tags aufnimmt! Also keine Unterseiten und einzelne Frames!

Und wo muss ich diese Datei ablegen und muss ich die in ASCII oder BINÄR auf meinen Server übertragen!??

Kann ich eine solche Datei mit meinem Notepad machen??

thx sky

Lars · 02.04.2002, 20:18

Hier die Datei, die Du mit dem Notepad bearbeiten kannst:

Code:

# Beispiel fuer eine robots.txt

User-Agent: *         # gilt fuer alle Spider
Disallow: /verz1/
Disallow: /verz2/
Disallow: /verz3/     # die Liste um alle gesperrten Verzeichnisse ergaenzen
Disallow: /datei1.htm
Disallow: /datei2.htm # die Liste um alle gesperrten Dateien ergaenzen

Lade sie einfach im ASCII-Modus in das Root-Verzeichnis Deiner Website.

sky · 02.04.2002, 20:25

Hallo!

schon mal danke für die schnelle Antwort!

Aber was ist mein Root Verzeichniss?

Und kann ich die Datei nun so übernehmen? Oder muss ich sie nach meinen Verzeichnissen und Dateien modifizieren?

thx sky

Lars · 02.04.2002, 20:26

Root ist da, wo die Datei liegt, die der Server als erstes ausgibt, in der Regel die index.htm oder ähnliche.

Die Liste musst Du natürlich an Deine Struktur anpassen!

Thomas · 02.04.2002, 20:45

noch zwei gute Links zum Thema:

www.drweb.de/suchmaschinen/robots.shtml

www.avantart.com/techtalk/robots.html

sky · 04.04.2002, 10:45

hallo schmobi and all!

Danke schonmal!!!

Nur noch eine Frage!

wenn meine ganzen HTML Seiten in Ordnern liegen und sich nur die index.htm im Stammverzeichnis als *.htm befindet, reicht es dann, wenn ich nur die Ordner sperre??

Danke sky

Lars · 04.04.2002, 11:27

Eine kurze und präzise Antwort: Ja.

sky · 15.04.2002, 20:26

Hallo an Euch!

Kann ich das oben genannte Problem auch mit den META TAGS erreichen, so wie hier z.B.

<meta name="robots" content="INDEX, NOFOLLOW">

Wird dann nur meine Index.htm eingetragen und die Links auf dieser index.htm werden nicht verfolgt und eingetragen???

Habe ich das richtig verstanden??

danke sky

Thomas · 15.04.2002, 20:34

richtig "sicher" ist weder die <meta> noch die robots.txt - Variante

du weisst nie genau, ob der Spider alle meta's liest genauso wenig sind sie "verplichtet" die robots zu "lesen"

aber beide Möglichkeiten kombinieren, ist sicher kein Fehler, entscheidender ist m. E. der robots.txt

sky · 15.04.2002, 20:37

Hallo...

danke schonmal und den robots.txt kann ich einfach im Editor tippen und als robots.txt speicher und in mein Stammverzeichnis spielen???

danke sky

Lars · 15.04.2002, 20:47

Zitat:

Original geschrieben von schmobi
Eine kurze und präzise Antwort: Ja.

sky · 16.04.2002, 07:32

Hallo an Euch beide!!!

besten besten dank für Eure Hilfe!!!

gruss sky

Paco · 16.04.2002, 08:16

Und die robots.txt muss keinerlei Verknüpfung zu irgendwelchen Dateien oder sonstiges haben??? Einfach blank im root auf dem Server?

#!/usr/bin/beer · 16.04.2002, 08:55

Zitat:

Original geschrieben von schmobi
Eine kurze und präzise Antwort: Ja.

Paco · 16.04.2002, 09:14

Ein kurzes, präzises Danke schön.

code:--------------------------------------------------------------------------------
# Beispiel fuer eine robots.txt

User-Agent: * # gilt fuer alle Spider
Disallow: /verz1/
Disallow: /verz2/
Disallow: /verz3/ # die Liste um alle gesperrten Verzeichnisse ergaenzen
Disallow: /datei1.htm
Disallow: /datei2.htm # die Liste um alle gesperrten Dateien ergaenzen

--------------------------------------------------------------------------------

Jetzt nerve ich mal weiter...
Also, auf meinem Server liegen z.B. images und Test-Ordner. und auf der Ebene wo die index.html liegt, liegen auch viele andere html-Dateien.
Wo sperre ich die Dateien, die mit der index.html auf einer Ebene liegen.Muss ich dann Disallow: mittelframe.html schreiben? Oder Disallow: /mittelframe.html
Und bei den Ordnern Disallow:/images/

Nähere Erläuterungen wären echt klasse!