Google spidert Homepage nicht komplett

[Jupp]

Wie der Titel schon sagt, wird meine Homepage von Google nicht komplett gespidert... Zwar schaut der Googlebot regelmäßig vorbei, allerdings ist er auch genauso schnell wieder weg, ohne die Unterseiten zu spidern...

Die robots.txt sieht folgendermaßen aus:

User-agent: *
Disallow: /css/
Disallow: /img/
Disallow: /inc/
Disallow: /js/
Disallow: /new/
Disallow: /tipprunde/
Disallow: /tmpl/
Disallow: /lauth/

An sich denke ich, dass meine Seite eigentlich relativ SuMa-freundlich ist...

Was mir aufgefallen ist ist, dass Links auf die HP verweisen von anderen Seiten, die mir nicht bekannt sind (z.b. http://cyblog.de/item/50177, http://216.239.59.104/search).

Könnte sich der Sache mal jemand befassen? Das wäre klasse

[Boris]

Tja, Google ignoriert gern Seiten, deren URL so aussieht: ?PHPSESSID=d102138afa4ca1feca5aa89abb59f21a

[rewboss]

Was mir aufgefallen ist ist, dass Links auf die HP verweisen von anderen Seiten, die mir nicht bekannt sind (z.b. http://cyblog.de/item/50177, http://216.239.59.104/search).

Also, die zweite URL, die mit der IP-Adresse, ist Google. Frag mich nicht, was die andere Seite ist -- anscheinend postet da einer irgendwelche Suchmaschinenergebnisse. Du bist unter "Saufspiele" zu finden.

Hast du übrigens ein Problem damit, wenn andere Leute Links von ihrer Website auf deine setzen? Wenn ja, sollst du deine Website schleunigst verschwinden lassen. Aber du kannst ja selber den verweisenden Links folgen, um zu gucken, wie die Leute dich finden...

[Jupp]

Tja, Google ignoriert gern Seiten, deren URL so aussieht: ?PHPSESSID=d102138afa4ca1feca5aa89abb59f21a

Hm... Wo kommen die Anhängsel denn her? Geht das automatisch, sobald ich eine Session starte? Die Session brauche ich nur, wenn der Besucher eingeloggt ist. In der index.php steht folgendes:

session_start();

if(!$_SESSION["user_id"]) {
    session_destroy();
} 

Also ich starte die Session, wenn jedoch keine User-ID gesetzt ist, soll sie wieder destroyed werden, dann brauchts auch nicht die Google-störenden Anhengsel... (so hab ich mir das jedenfalls vorgestellt...)

Hast du übrigens ein Problem damit, wenn andere Leute Links von ihrer Website auf deine setzen? Wenn ja, sollst du deine Website schleunigst verschwinden lassen.

Gute Idee...
Natürlich habe ich kein Problem mit Links auf meine Seite... Im Gegenteil. Jedoch war mir die verlinkende Seite etwas schleierhaft.

[Boris]

Hm... Wo kommen die Anhängsel denn her? Geht das automatisch, sobald ich eine Session starte?

In dem Moment, wo Du session_start() benutzt, wird die Session entweder in einem Cookie angelegt oder halt über die URL übertragen. Und da Google eher keine Cookies anlegen lässt, erhält er Deine URLs mit der SESSIONID ... und ignoriert daher alle Unterseiten.

[Jupp]

Also nutzt das session_destroy(); auch nichts...

Wie könnte ich denn alternativ auf einen Login überprüfen, ohne Session? Da will mir im Moment nichts einfallen...

[Boris]

Du kannst versuchen, via htaccess es zu unterbinden, dass Sessions in der URL abgelegt werden. So kriegt Google normale Links (Google braucht sich ja nicht einzuloggen).

Allerdings sperrst Du so auch normale User aus, die es nicht erlauben, dass man Cookies bei ihnen anlegt. Aber a) kannst Du das einfach voraussetzen und b) ist das so sicherer, wenn Sessions nicht in der URL übertragen werden.

Schreib das in die .htaccess:

php_flag session.use_trans_sid 0 
php_flag session.use_only_cookies 1

[Jupp]

Allerdings sperrst Du so auch normale User aus, die es nicht erlauben, dass man Cookies bei ihnen anlegt.

Das setze ich so oder so vorraus

Schreib das in die .htaccess:

php_flag session.use_trans_sid 0 
php_flag session.use_only_cookies 1

Das wäre genial, nur leider gibt's dann nen 500er...

[Boris]

Tja, dann geht es leider nicht bei Dir (Dein Hoster erlaubt das nicht). Hm ... wär ein Fall für unsere Traum_Dynamiker!

[Jupp]

es ist zum verzweifeln... mittlerweile sind die links alle okay, jedoch spidert google nach wie vor nur den index... es stehen doch alle links ganz sauber in einer liste... woran könnte es noch liegen, dass die links nicht beachtet werden?

[wys]

Vielleicht daran:
<meta name="robots" content="noarchive">

Soweit ich hörte, werden dann zwar vom Googlebot die Unterseiten indiziert, aber bei der einfachen Suche in Google nicht angezeigt.

Ohne Gewähr!

lg
wys

[Boris]

Stimmt - mach das raus. Beachte auch, dass Google nicht jeden Tag vorbei kommt (auch nicht jede Woche), das kann bissel dauern.

[Jupp]

Vielleicht daran:
<meta name="robots" content="noarchive">

das hab ich erst nachher reingemacht, wollte versuchen, das google die alten urls der domain löscht und neu spidert...

Beachte auch, dass Google nicht jeden Tag vorbei kommt (auch nicht jede Woche), das kann bissel dauern.

ich seh ja in meinen statistiken, dass der GoogleBot jeden zweiten tag mal reinschaut... naja ich wart erst mal ab, wenn sich nichts tut (wovon ich ausgehe), poste ich nochmal... wer in der zwischenzeit noch ideen hat, woran es liegen könnte... nur her damit!