wie hast du denn die internen seiten bis jetzt vor unberechtigtem zugriff geschützt ?
sind es den statische seiten (.hmt, .html) oder dynamische seiten ( erzeugt mit php oder perl oder asp oder....) ?
und auf was für einem server werden die seiten den gelagert. ?
wenn es ein apache ist, bietet es sich an, die .htaccess -datei zu bearbeiten und die zu schützenden seiten dort einzutragen.
jeder der dann die datei besuchen will, muss erst das passwort eingeben.
@ longfang:
auf die robots.txt kann man sich nicht verlassen. sie ist lediglich eine empfehlung, keiner muss sich daran halten.
man bedenke nur das kürzlich aufgetretene google-problem
und wenn sich einer einen eigenen web-ripper/suchmaschine programmiert, dann hält er sich sowieso meistens nicht an die robots.txt
auch die meisten site-ripper/offlinebrowser wie z.b. blackwidow, http-weazel oder wget ignorieren auf wunsch diese datei