robots.txt und duplicate content

[alexf812]

Hi,

auf meiner Startseite befinden sich News. Diese sind auch unter der eigentlichen Adresse domain.tld/news zu erreichen. (Newsübersicht)

Jetzt wollte ich über die robots.txt sagen, das news nicht berücksichtigt wird (da ja schon auf der Startseite)

über disallow: news/

werden dadurch alle seiten unterhalb von news auch betroffen? also sowas wie news/titel-der-news. ich möchte nur das wirklich die oberseite nicht erfasst wird. alle seiten unter news, d.h. die newsartikel sollen erfasst werden.

[Thomas]

über disallow: news/

werden dadurch alle seiten unterhalb von news auch betroffen?

yep, dadurch sperrst du das komplette Verzeichnis

per Meta-Tag könntest du aber einzelne Dateien innerhalb eines Verzeichnisses sperren: http://www.at-web.de/suchmaschinen/metatag.htm