Darf ich das? Yahoo müllt meine Logs voll

StephanF · 13.07.2007, 19:48

Yahoo wird in der letzten Zeit ziemlich aufdringlich. Daher meine Frage:
Ist folgendes erlaubt:

PHP-Code:


			
$verbotenArray = array("Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp");

for($i=0;$i<=count($verbotenArray);$i++){

//echo $verbotenArray[$i] ;

    if(@ereg($verbotenArray[$i], $HTTP_USER_AGENT)){

        //echo $verbotenArray[$i]." gefunden";

        $fund = 1;

    }

}

if($fund == 1){

header("Location: http://www.yahoo.com");

}

sprich, die kriegen ihren Schlonz einfach wieder zurück

webcreate · 13.07.2007, 22:03

Warum so kompliziert? Der Server würde ja weiterhin gestresst werden ...
Eine robots.txt sollte doch reichen:

Code:

User-agent: Slurp
Crawl-delay: 999
Disallow: /

rewboss · 13.07.2007, 22:43

Siehst du die URL im User-Agent? Folgst du dem Link, landest du auf die Hilfe-Seiten von Yahoo! Slurp. Unter anderen befindet sich dort folgende Seite: How do I prevent my site or certain subdirectories from being crawled?

Aber was hast du eigentlich gegen Yahoo! Slurp? Willst du aus Yahoos Datenbank etwa ausgesperrt werden? Es ist doch gut, wenn deine Site indiziert wird.

StephanF · 13.07.2007, 23:37

Zitat:

Zitat von webcreate

Warum so kompliziert? Der Server würde ja weiterhin gestresst werden ...
Eine robots.txt sollte doch reichen:

Code:

User-agent: Slurp
Crawl-delay: 999
Disallow: /

Hallo Mark, genau das hab ich ja schon seit wochen laufen, ne robots.txt. Die funktioniert auch recht gut, aber eben nicht bei dem Verein.

webcreate · 13.07.2007, 23:41

Das hörte ich schon einmal, mach mal einen doppelten Eintrag

Code:

User-agent: Slurp
Crawl-delay: 999
Disallow: /

User-agent: Yahoo! Slurp
Crawl-delay: 999
Disallow: /

StephanF · 13.07.2007, 23:46

kann man ja mal probieren, danke für den Tip. Hab ja im Prinzip nix dagegen, wenn ich von allen Sumas so begehrt bin, aber über 12.000 Einträge in 4 Tagen, verfälscht meine Analyse doch um ne klitze Kleinigkeit

webcreate · 13.07.2007, 23:49

Traue keiner Statistik, die du nicht selbst gefälscht hast.

StephanF · 13.07.2007, 23:50

wohl wahr