moin auch
mit einer entsprechenden Anweisung in der robots.txt kannst du zumindest google das Spidern bestimmter Dateitypen verbieten, sieht dann so aus:
Code:
User-agent: Googlebot
Disallow: /*.pdf$
wenn du alle pdf-Dateien in einen bestimmten Ordner packst, kannst du diesen Ordner allen Sumas "verbieten" zu scannen, nicht nur google:
Code:
User-agent: *
Disallow: /pdf-Ordner/
mehr Info