|
Google gehorcht nun wieder
Wie vor kurzem bekannt wurde, ignorierte die Suchmaschine Google bei sicheren Verbindungen (https) die Indizierungsdatei "robots.txt" und nahm dadurch auch nicht öffentliche Bereiche in den Suchindex auf.
Heute gab das Unternehmen bekannt, dass ab sofort auch bei sicheren Verbindungen die robots-Datei beachtet wird. Zu diesem Fehler kam es beim hinzufügen der Funktion, womit Google auch Seiten auf https-Basis durchsuchen sollte.
Mit der Robots.txt lassen sich bestimmte Dateien und Verzeichnisse vor einer Suchmaschinenindexierung schützen.
|
