Crawler Besuche protokolieren

[gieri]

Hallo,

ich habe auf verschiednen Seiten ein php Script hinterlegt das mir ein Mail sendet wenn z.B. googlebot da war.

Kennt Ihr eine Liste mit den wichtigsten Botnamen die ich noch aufnehmen könnte?

Ich hab zwar was gefunden aber da stehen fast 30 Bezeichnungen für google bots und 40 für yahoo... welche sind denn da relevant?

Saugernamen wäre auch net schlecht damit man weiß ob da evtl. was an Content gezogen wird.

Danke für einen Tipp

Gruß

gieri

[maxi89]

Es reicht doch, wenn du mit ereg überprüfst, ob Googlebot im Identifikationsstring vorkommt?
Da erstellst du dann was für Googlebot, Yahoo bzw. Slurp, msnbot - damit hättest du die wichtigsten abgedeckt.

[marc22]

Ich wäre mit so etwas vorsichtig. Ich habe auch mal die ganzen Bot-Besuche mitgeloggt und das können durchaus einige hundert pro Tag sein.