Hallo,
aus aktuellem Anlass (ich las ein entsprechendes Posting im xt:Commerce Forum, das aber meiner Kenntnis nach nicht öffentlich zugänglich ist) ein Hinweis auf die
falsche Syntax in der robots.txt in den original Dateien von xt:Commerce.
Dazu gibt es von mir ein Blog-Beitrag:
http://www.purador.de/blog/2008-01-3...ei-xtcommerce/
(Mein Blog ist neu, weitere Beiträge zu xtc werden folgen.)
Zusammenfassung: Es fehlen in den Einträgen der robots.txt die führenden Slashes. Das führt dazu, dass z. B. Google
alle Einträge ignoriert und in Folge die ganze Seite crawlt.
Viele Grüße
Thomas
http://www.purador.de
