Google Crawl-Budget beachten
Was bedeutet Google Crawl-Budget?
Google wendet begrenzte Ressourcen für das Crawlen von Webseiten einzelner Domains auf. Bei größeren Websites besteht die Gefahr, dass zu wenig Crawl-Budget für alle URLs Ihrer Domain übrig bleiben.
Wie wichtig ist das Google Crawl-Budget?
Besitzer kleinerer Websites können das Problem vernachlässigen. In der Regel reicht für diese Domains das Google Crawl-Budget aus, um jede einzelne URL im Google-Ranking unterzubringen. Vor allem größere Websites, die über die Datenbank eines CMS (Content Management System) mit Inhalten versorgt werden, können allerdings unbemerkt in eine Crawl-Sackgasse geraten.
Beispiel aus der Praxis:
Bei der SEO-Analyse für einen Kunden haben wir kürzlich im Rahmen eines Test-Crawls weit über 25.000 einzelne URLs gefunden. Das CMS des Kunden hat die Anzahl an einzelnen URLs durch URL-Parameter künstlich aufgebläht.
URL-Parameter wie zum Beispiel „…?sort“, „…?view“ oder „…?filter“ haben aus jeder einzelnen Inhaltsseite 10-20 unterschiedliche URLs generiert.
Der Kunde hatte massive Ranking-Probleme bei Google. Die URL-Parameter sowie einige weitere technische Unsauberkeiten haben dazu geführt, dass die wirklich wichtigen Inhaltsseiten es nicht bis in den Google-Index schaffen konnten. Der Google-Bot war mit dieser Domain schlichtweg überfordert.
Lösung:
Abhilfe ist möglich, wenn man das Problem erst einmal erkannt hat. Es gibt spezielle Werkzeuge, die man gezielt einsetzen kann, um solche Probleme zu vermeiden.
Mit Hilfe der Datei robots.txt, sowie mit Quelltext-Angaben wie „noindex“ und „canonical“ lässt sich ganz gezielt eine Index-Hygiene aufbauen.
Faktoren, die sich negativ auf das Crawling-Budget auswirken können:
- Facettensuche und Sitzungskennungen
- Duplizierte Inhalte auf der Website
- Soft-Error-Seiten
- Gehackte Seiten
- Unbegrenzte Bereiche und Proxys
- Inhalte von geringer Qualität und Spam
Weitere nützliche Informationen zu diesem Thema: