robots.txt disallo, allow

[Parisienne]

Liebe TP-ler

Ich habe eine Site (einen Shop) mit mehreren Unterordner. Der Hauptordner sollte nicht durch Suchmaschinen indexiert werden, gewisse Unterordner aber schon. Also habe ich eine Robots-Datei erstellt, die so aussieht:

#SPORTS-PUBLISHING robots.txt vom 31.08.2004

User-agent: *
Disallow: /catalog/
Allow: /catalog/moveshop
Allow: /catalog/singletrailmap
Allow: /catalog/trailheidi
Allow: /catalog/tranzbag
Allow: /catalog/ssp_film

Bei einem Robots-Checker erscheint nun die Meldung Allows sei ein unbekannter Befehl. Allerdings habe ich auf verschiedenen Webseiten gelesen, dass man allow benutzen kann

Wisst ihr mehr darüber? Danke. Parisienne.

Meine Sitestruktur sieht im übrigen so aus:

[Nina]

Benutzen Sie im Zweifelsfall so viel wie möglich die Angabe Disallow: und so wenig wie möglich die Angabe Allow:. Der Grund ist, dass Disallow: früher in die Spezifikation der robots.txt aufgenommen wurde und von mehr Robots verstanden wird als Allow:.
Quelle

Ein Working Draft der IETF führt neben der Disallow Anweisung auch die Allow Anweisung ein.
Da die Allow Anweisung aber erst später als der eigentliche Standard eingeführt wurde, wird sie noch nicht von allen Robots unterstützt. Von daher sollte man sich nicht darauf verlassen und lieber nur Disallow benutzen.
Quelle

Allgemein bezweifle ich ehrlich gesagt dass Robots damit zurecht kommen wenn du die 1. Struktur für sie sperrst und dann drunter liegende Folder freigiebst. Gib also lieber die drunter liegenden Ordner und Files die du nicht freigeben willst als DISALLOW an. Das ist zwar mehr Arbeit, aber dafür sicherer.

[Parisienne]

das ist doch etwas sehr umständlich. weil ich im verzeichnis das ich sperre, nicht nur ein paar unterordner sind, sondern gegen die 80 files. die müsste ich dann also alle sperren
darum bin ich auf die variante mit den allows gekommen...