Crawl Budget

Das Crawl-Budget ist die Anzahl der Seiten, die der Googlebot innerhalb eines bestimmten Zeitraums auf einer Website crawlt und indexiert.

Was ist ein Crawl-Budget?

Das Crawl-Budget ist die Anzahl der Seiten, die Suchmaschinen innerhalb eines bestimmten Zeitrahmens auf einer Website crawlen.

‚Äć

Warum weisen die Suchmaschinen den Websites ein Crawl-Budget zu?

Weil sie nicht √ľber unbegrenzte Ressourcen verf√ľgen und ihre Aufmerksamkeit auf Millionen von Websites aufteilen m√ľssen. Sie brauchen also eine M√∂glichkeit, ihre Crawling-Aufwendungen zu priorisieren. Die Zuweisung von Crawl-Budgets f√ľr jede Website hilft ihnen dabei.

‚Äć

Wie wird das Crawl-Budget den Websites zugewiesen?

Das hängt von zwei Faktoren ab: Crawl-Limit und Crawl-Bedarf:

  • Crawl-Limit/Host-Last: Wie viel Crawling kann eine Website verkraften, und welche Pr√§ferenzen hat ihr Besitzer?
    ‚Äć
  • Crawl-Bedarf / Crawl-Planung: Welche URLs sind es wert, am h√§ufigsten (erneut) gecrawlt zu werden, basierend auf ihrer Popularit√§t und der H√§ufigkeit ihrer Aktualisierung.

‚Äć
Crawl-Budget ist ein gängiger Begriff in der SEO. Das Crawl-Budget wird manchmal auch als Crawl-Space oder Crawl-Zeit bezeichnet.

‚Äć

Geht es beim Crawl-Budget nur um Seiten?

Nicht ausschlie√ülich - der Einfachheit halber sprechen wir √ľber Seiten, aber in Wirklichkeit geht es um jedes Dokument, das von Suchmaschinen gecrawlt wird. Einige Beispiele f√ľr andere Dokumente: JavaScript- und CSS-Dateien, Varianten f√ľr mobile Seiten, hreflang-Varianten und PDF-Dateien.

‚Äć

Wie funktioniert das Crawl-Limit / die Host-Last in der Praxis?

Das Crawl-Limit bzw. die Host-Auslastung ist ein wichtiger Bestandteil des Crawl-Budgets. Die Crawler der Suchmaschinen sind so konzipiert, dass sie eine √úberlastung des Webservers mit Anfragen verhindern, daher sind sie in dieser Hinsicht sehr vorsichtig. Es gibt eine Vielzahl von Faktoren, die das Crawl-Limit beeinflussen.

‚Äć

Wie können Sie Ihr Crawl-Budget optimieren?

Bei der Optimierung Ihres Crawl-Budgets geht es darum, sicherzustellen, dass kein Crawl-Budget verschwendet wird. Im Wesentlichen geht es darum, die Gr√ľnde f√ľr verschwendetes Crawl-Budget zu beseitigen. Wir √ľberwachen Tausende von Websites. Wenn Sie jede einzelne davon auf Crawl-Budget-Probleme untersuchen w√ľrden, w√ľrden Sie schnell ein Muster erkennen: Die meisten Websites leiden unter denselben Problemen.

‚Äć

H√§ufige Gr√ľnde f√ľr verschwendetes Crawl-Budget, auf die wir sto√üen:

  • Erreichbare URLs mit Parametern: Ein Beispiel f√ľr eine URL mit einem Parameter ist https://www.beispiel.de/schuhe/laufschuhe?farbe=schwarz. In diesem Fall wird der Parameter verwendet, um die Auswahl eines Besuchers in einem Produktfilter zu speichern.
    ‚Äć
  • Doppelte Inhalte: Seiten, die sich stark √§hneln oder genau gleich sind, nennen wir "doppelte Inhalte". Beispiele sind: kopierte Seiten, interne Suchergebnisseiten und Tag-Seiten.
    ‚Äć
  • Minderwertige Inhalte: Seiten mit sehr wenig Inhalt oder Seiten, die keinen Mehrwert bieten.
    ‚Äć
  • Kaputte und umgeleitete Links: Kaputte Links sind Links, die auf Seiten verweisen, die nicht mehr existieren, und umgeleitete Links sind Links zu URLs, die auf andere URLs umleiten.
    ‚Äć
  • Aufnahme falscher URLs in XML-Sitemaps: Nicht indexierbare Seiten und Nicht-Seiten wie 3xx-, 4xx- und 5xx-URLs sollten nicht in Ihre XML-Sitemap aufgenommen werden.
    ‚Äć
  • Seiten mit langen Ladezeiten / Timeouts: Seiten, die sehr lange zum Laden brauchen oder gar nicht geladen werden, wirken sich negativ auf Ihr Crawl-Budget aus, da dies ein Zeichen f√ľr die Suchmaschinen ist, dass Ihre Website die Anfrage nicht bew√§ltigen kann, und sie daher m√∂glicherweise Ihr Crawl-Limit anpassen.
    ‚Äć
  • Hohe Anzahl von nicht indexierbaren Seiten: Die Website enth√§lt viele Seiten, die nicht indexierbar sind.
    ‚Äć
  • Schlechte interne Linkstruktur: Wenn Ihre interne Linkstruktur nicht korrekt aufgebaut ist, schenken die Suchmaschinen einigen Ihrer Seiten m√∂glicherweise nicht gen√ľgend Aufmerksamkeit.

‚Äć

Wenn Sie die Struktur Ihrer Webseite so strukturieren möchten, dass Sie das Maximum aus Ihrem Crawl-Budget herausholen können, sprechen Sie uns an!