Crawl-Effizienz: Dem Google-Crawler die Arbeit erleichtern

Suchmaschinen durchsuchen Ihre Website, um die Inhalte in ihren Index zu bekommen. Je größer Ihre Website wird, desto länger dauert dieses Crawlen.

Es ist entscheidend, diese Zeit für die Crawler zu verkürzen und Ihre Inhalte möglichst gut auszuzeichnen („taggen“). Wenn Ihre Website 1.000 Seiten oder weniger hat, ist dies kein Thema, über das Sie viel nachdenken müssen.

Wenn Sie beabsichtigen, Ihre Website zu erweitern, lesen Sie weiter. Wenn Sie sich frühzeitig einige gute Gewohnheiten aneignen, können Sie sich später vor großen Kopfschmerzen bewahren. In diesem Artikel werden wir darüber sprechen, was Crawl-Effizienz ist und was Sie tun können.

Alle Suchmaschinen durchsuchen Ihre Webseite auf die gleiche Art und Weise. In diesem Artikel gehen wir auf Google und den Googlebot ein.

Wie funktioniert ein Crawling Ihrer Website?

Google findet einen Link zu Ihrer Website irgendwo im Web. An diesem Punkt ist diese URL der Anfang eines virtuellen Stapels. Der Prozess ist danach ziemlich einfach:

1. Der Googlebot nimmt eine Seite von diesem Stapel;

2. es durchsucht die Seite und indiziert alle Inhalte für die Verwendung in Google;

3. dann fügt er alle Links auf dieser Seite dem Stapel hinzu.

Während des Crawls kann der Googlebot auf eine Umleitung stoßen. Die URL, zu der sie weitergeleitet wird, landet ebenfalls auf dem Stapel.

Ihr Hauptziel ist es, sicherzustellen, dass der Googlebot zu allen Seiten der Website gelangen kann. Ein zweites Ziel ist es, sicherzustellen, dass neue und aktualisierte Inhalte schnell gecrawlt werden. Eine gute Website-Architektur wird Ihnen helfen, dieses Ziel zu erreichen. Es ist jedoch unerlässlich, dass Sie Ihre Website regelmäßig und gut pflegen.

Crawling Tiefe

Ein wichtiges Konzept beim Crawling ist das Konzept der Crawl-Tiefe. Angenommen, Sie hatten einen Link zu einer Webseite in Ihrer Domain. Diese Seite ist wiederrum mit einer anderen usw. verlinkt. Der Googlebot wird noch eine Weile weiter crawlen. Irgendwann wird er jedoch entscheiden, dass es nicht mehr notwendig ist, weiter zu crawlen. Wann dieser Punkt erreicht wird, hängt davon ab, wie wichtig der Link, der auf diese erste Seite zeigt, ist.

Das mag vielleicht etwas theoretisch klingen, also lassen Sie uns ein praktisches Beispiel betrachten. Wenn Sie 10.000 Beiträge haben, alle in der gleichen Kategorie und Sie zeigen 10 Artikel pro Seite. Diese Seiten verweisen nur auf „Weiter „“ und „Zurück“. Google müsste 1.000 Seiten tief durchsuchen, um zum ersten dieser 10.000 Beiträge zu gelangen. Auf den meisten Websites wird das nicht der Fall sein.

Deshalb ist es wichtig:

» Verwenden Sie Kategorien / Tags und andere Taxonomien für eine detailliertere Segmentierung. Übertreiben Sie es auch nicht mit ihnen. Als Faustregel gilt, dass ein Tag nur dann sinnvoll ist, wenn er mehr als 3 Inhalte verbindet. Achten Sie auch darauf, diese Kategoriearchive zu optimieren.

» Verlinken Sie zu tieferen Seiten mit Zahlen, damit der Googlebot schneller dorthin gelangen kann. Angenommen, Sie verlinken die Seiten 1 bis 10 auf Seite 1 und machen das weiter. Im obigen Beispiel wäre die tiefste Seite nur 100 Klicks von der Homepage entfernt.

» Achten Sie darauf, dass Ihre Website schnell ist. Je langsamer Ihre Website, desto länger dauert ein Crawling.

XML-Sitemaps und Crawl-Effizienz

Ihre Website sollte eine oder mehrere XML-Sitemaps enthalten. Diese XML-Sitemaps geben Google an, welche URLs auf Ihrer Website vorhanden sind. Eine gute XML-Sitemap zeigt auch an, wann Sie eine bestimmte URL zuletzt aktualisiert haben. Die meisten Suchmaschinen werden URLs in Ihrer XML-Sitemap häufiger als andere durchsuchen.

In der Google Search Console bieten Ihnen XML-Sitemaps einen zusätzlichen Nutzen. Für jede Sitemap zeigt Ihnen Google Fehler und Warnungen an. Sie können dies nutzen, indem Sie verschiedene XML-Sitemaps für verschiedene Arten von URLs erstellen. Das bedeutet, dass Sie sehen können, welche Arten von URLs auf Ihrer Website die meisten Probleme haben.

Probleme, die zu einer schlechten Crawl-Effizienz führen

Viele 404s und andere Fehler

Während der Google-Crawler Ihre Website durchsucht, wird Google auf Fehler stoßen. Normalerweise wählt es einfach die nächste Seite vom Stapel aus. Wenn Sie während eines Crawls viele Fehler auf Ihrer Website haben, wird der Googlebot langsamer. Das heisst, Ihre Webseite wird nur noch langsam und selten ge-crawlt. Um zu verhindern, dass sich Googlebot verlangsamt, möchten Sie so viele Fehler wie möglich beheben.

Google meldet Ihnen all diese Fehler in seinen Webmaster-Tools, ebenso wie Bing und Yandex. Wir haben bereits Fehler in der Google Search Console (GSC) und den Bing Webmaster Tools behandelt.

Sie wären nicht der erste Kunde, der 3.000 tatsächliche URLs und 20.000 Fehler in GSC hat. Lassen Sie Ihre Website nicht zu dieser Website werden. Beheben Sie diese Fehler regelmäßig, mindestens jeden Monat.

Übermäßige 301 Umleitungen

Ich habe kürzlich auf einer Website beraten, die gerade eine Domain-Migration durchgeführt hat. Die Seite ist groß, also habe ich eines unserer Tools verwendet, um einen vollständigen Crawl der Seite durchzuführen und zu sehen, was wir beheben sollten. Es wurde schnell klar, dass wir ein großes Problem hatten. Eine große Gruppe von URLs auf dieser Website ist immer ohne einen nachlaufenden Schrägstrich verlinkt. Wenn Sie zu einer solchen URL ohne den abschließenden Schrägstrich gehen, werden Sie 301 umgeleitet. Sie werden zu der Version mit dem abschließenden Schrägstrich (trailing slash)weitergeleitet.

Wenn das ein Problem für ein oder zwei URLs auf Ihrer Website ist, spielt es keine Rolle. Es ist eigentlich oft ein Problem mit Enterprise-Webseiten Wenn es sich um ein Problem mit 250.000 URLs auf Ihrer Website handelt, wird es zu einem größeren Problem. Der Googlebot muss nicht 250.000 URLs crawlen, sondern 500.000. Das ist nicht gerade effizient.

Aus diesem Grund sollten Sie immer versuchen, Links innerhalb Ihrer Website zu aktualisieren, wenn Sie URLs ändern. Wenn Sie dies nicht tun, erhalten Sie im Laufe der Zeit immer mehr 301 Umleitungen. Dies wird Ihr Crawlen und Ihre Benutzer verlangsamen. Die meisten Systeme benötigen bis zu einer Sekunde, um einen Server umzuleiten. Das verlängert die Ladezeit Ihrer Seite um eine weitere Sekunde.

Spider traps

Wenn Ihre Website in den Augen von Google etwas mehr Autorität hat, können lustige Dinge passieren. Selbst wenn klar ist, dass ein Link keinen Sinn macht, wird Google ihn durchsuchen. Geben Sie Google das virtuelle Äquivalent einer unendlichen Wendeltreppe, es wird weitergehen. Ich möchte ein urkomisches Beispiel dafür nennen, das mir auf der Guardian-Webseite aufgefallen ist.

Beim Guardian hatten wir früher tägliche Archive für alle wichtigen Kategorien. Da The Guardian viele Inhalte veröffentlicht, sind diese täglichen Archive sinnvoll. Sie können von heute, bis gestern und so weiter zurück klicken. Und weiter. Und weiter. Sogar zu lange vor der Existenz des Guardians. Sie könnten bis zum 25. Dezember des Jahres 0 kommen, wenn Sie dazu Lust hätten. Wir haben den Google-Index bis ins Jahr 1.600 zurückverfolgt. Das ist fast 150.000 Klicks tief.

Das ist das, was wir eine „Spider Trap“ nennen. Fallen wie diese können ein Suchmaschinen-Crawl extrem ineffizient machen. Das Beheben führt fast immer zu besseren Ergebnissen bei der organischen Suche. Je größer Ihre Website wird, desto schwieriger sind solche Probleme zu finden. Dies gilt auch für erfahrene SEOs.

Tools zur Fehlersuche und Verbesserung der Crawl-Effizienz

Wenn Sie davon fasziniert sind und Ihre eigene Website testen wollen, werden Sie einige Tools benötigen. Wir nutzen regelmäßig die Tools von SISTRIX, SEOBility und Screaming Frog bei unseren Site Reviews. Screaming Frog ist das Schweizer Taschenmesser der meisten SEOs. Beachten Sie: Dies sind keine „einfachen“ Werkzeuge. Es sind Powertools, die bei falscher Anwendung Webseiten beeinträchtigen können, also seien Sie vorsichtig.

Ein guter erster Schritt ist, mit dem Crawlen einer Website zu beginnen und nach HTML-Seiten zu filtern. Sortieren Sie dann absteigend nach HTTP-Statuscode. Sie können sehen, wie schlecht sich Ihre Website im Vergleich zur Gesamtzahl der URLs entwickelt.

Crawl-Effizienz und Google-Crawler: Sinnvoll ist in den meisten Fällen, SEO-Experten zu befragen.