Was ist ein Crawl-Budget?
Das Crawl-Budget ist die Anzahl der Seiten, die Suchmaschinen innerhalb eines bestimmten Zeitrahmens auf einer Website crawlen.
Warum weisen die Suchmaschinen den Websites ein Crawl-Budget zu?
Weil sie nicht über unbegrenzte Ressourcen verfügen und ihre Aufmerksamkeit auf Millionen von Websites aufteilen müssen. Sie brauchen also eine Möglichkeit, ihre Crawling-Aufwendungen zu priorisieren. Die Zuweisung von Crawl-Budgets für jede Website hilft ihnen dabei.
Wie wird das Crawl-Budget den Websites zugewiesen?
Das hängt von zwei Faktoren ab: Crawl-Limit und Crawl-Bedarf:
- Crawl-Limit/Host-Last: Wie viel Crawling kann eine Website verkraften, und welche Präferenzen hat ihr Besitzer?
- Crawl-Bedarf / Crawl-Planung: Welche URLs sind es wert, am häufigsten (erneut) gecrawlt zu werden, basierend auf ihrer Popularität und der Häufigkeit ihrer Aktualisierung.
Crawl-Budget ist ein gängiger Begriff in der SEO. Das Crawl-Budget wird manchmal auch als Crawl-Space oder Crawl-Zeit bezeichnet.
Geht es beim Crawl-Budget nur um Seiten?
Nicht ausschließlich - der Einfachheit halber sprechen wir über Seiten, aber in Wirklichkeit geht es um jedes Dokument, das von Suchmaschinen gecrawlt wird. Einige Beispiele für andere Dokumente: JavaScript- und CSS-Dateien, Varianten für mobile Seiten, hreflang-Varianten und PDF-Dateien.
Wie funktioniert das Crawl-Limit / die Host-Last in der Praxis?
Das Crawl-Limit bzw. die Host-Auslastung ist ein wichtiger Bestandteil des Crawl-Budgets. Die Crawler der Suchmaschinen sind so konzipiert, dass sie eine Überlastung des Webservers mit Anfragen verhindern, daher sind sie in dieser Hinsicht sehr vorsichtig. Es gibt eine Vielzahl von Faktoren, die das Crawl-Limit beeinflussen.
Wie können Sie Ihr Crawl-Budget optimieren?
Bei der Optimierung Ihres Crawl-Budgets geht es darum, sicherzustellen, dass kein Crawl-Budget verschwendet wird. Im Wesentlichen geht es darum, die Gründe für verschwendetes Crawl-Budget zu beseitigen. Wir überwachen Tausende von Websites. Wenn Sie jede einzelne davon auf Crawl-Budget-Probleme untersuchen würden, würden Sie schnell ein Muster erkennen: Die meisten Websites leiden unter denselben Problemen.
Häufige Gründe für verschwendetes Crawl-Budget, auf die wir stoßen:
- Erreichbare URLs mit Parametern: Ein Beispiel für eine URL mit einem Parameter ist https://www.beispiel.de/schuhe/laufschuhe?farbe=schwarz. In diesem Fall wird der Parameter verwendet, um die Auswahl eines Besuchers in einem Produktfilter zu speichern.
- Doppelte Inhalte: Seiten, die sich stark ähneln oder genau gleich sind, nennen wir "doppelte Inhalte". Beispiele sind: kopierte Seiten, interne Suchergebnisseiten und Tag-Seiten.
- Minderwertige Inhalte: Seiten mit sehr wenig Inhalt oder Seiten, die keinen Mehrwert bieten.
- Kaputte und umgeleitete Links: Kaputte Links sind Links, die auf Seiten verweisen, die nicht mehr existieren, und umgeleitete Links sind Links zu URLs, die auf andere URLs umleiten.
- Aufnahme falscher URLs in XML-Sitemaps: Nicht indexierbare Seiten und Nicht-Seiten wie 3xx-, 4xx- und 5xx-URLs sollten nicht in Ihre XML-Sitemap aufgenommen werden.
- Seiten mit langen Ladezeiten / Timeouts: Seiten, die sehr lange zum Laden brauchen oder gar nicht geladen werden, wirken sich negativ auf Ihr Crawl-Budget aus, da dies ein Zeichen für die Suchmaschinen ist, dass Ihre Website die Anfrage nicht bewältigen kann, und sie daher möglicherweise Ihr Crawl-Limit anpassen.
- Hohe Anzahl von nicht indexierbaren Seiten: Die Website enthält viele Seiten, die nicht indexierbar sind.
- Schlechte interne Linkstruktur: Wenn Ihre interne Linkstruktur nicht korrekt aufgebaut ist, schenken die Suchmaschinen einigen Ihrer Seiten möglicherweise nicht genügend Aufmerksamkeit.
Wenn Sie die Struktur Ihrer Webseite so strukturieren möchten, dass Sie das Maximum aus Ihrem Crawl-Budget herausholen können, sprechen Sie uns an!