robotes.txt wirklich sicher?

[Kilroy]

Ich habe einige Verzeichnisse auf dem Webserver, bei denen ich in keinem Fall möchte das Irgendeine Suchmaschine diese aufsucht. Man kann zwar eine robots.txt erstellen, aber es gibt einige Exoten (Suchmaschinen) die diese robots.txt ignorieren. Wie bekomme ich das jetzt hin, das meine Verzeichnisse garantiert nicht durchsucht und in irgendwelchen Suchmaschinen auftauchen werden? Verzeichnisschutz mit htaccess geht übrigens nicht, da das Verzeichnis für einen Web-User aufrufbar bleiben muss.

[Flow09]

Per Meta-Tag vielleicht!
<meta name="robots" content="noindex">

lg
Flow

[Jehu]

Wie wär es mit einer Weiche, die alles was nicht explizit ein Browser ist auf dies Startseite umleitet oder Pseudo-Text anzeigt?

Du musst natürlich dann festlegen, welche Browser die echte Seite zu gesicht bekommen dürfen, bist aber sicher, dass alles andere "draußen" bleibt.

Oder gibt's Suchmachinen, die sich als Browser XY ausgeben?

robots.txt würd ich trotzdem noch zusätzlich machen.

Gruß
Tribun

[Kilroy]

Das Problem besteht darin, das in dem Verzeichnis keine html oder php Datein ligen sondern nur PDF oder auch Word Dokumente.

[Flow09]

Dann mach halt eine Dummie-HTML Datei rein! Muss ja nix zwischen den body-Tags stehen!

[Jehu]

Ich versteh das richtig?:
- robots.txt genügt dir nicht
- .htaccess willste nicht
- kein html

aber suchmaschinen verbieten die pdf und word-datein zu indexieren?
Hmmm... Wenn man alle verfügbaren Mittel wegstreicht steht man ungeschützt da - und wundert sich.

Mach doch einfach eine .htaccess und vergib 1 usernamen und 1 passwort, die du bei den Links zu den Dokumenten dem User angibst.

Das ist meine einzige Idee.

[deck16]

Du könntest zu den dokumenten über eine javascript funktion linken.
Ich glaube javascript links, zu dem noch im head, verfolgt keine suchmaschine.