Was ist Googlebot? - Der Crawler von Google
Google Crawling und Indexierung sind Begriffe, die Sie wahrscheinlich schon einmal gehört haben, als Sie in die sehr dynamischen Gewässer der Suchmaschinenoptimierung eintauchten. Wahrscheinlich haben Sie auch schon von den Google-Suchmaschinenbots wie dem berühmten Googlebot gehört.
Aber was ist Googlebot? Und wie funktioniert Googlebot in der SEO?
Für uns als SEO Agentur ist der Google-Index quasi das Lebenselixier, und dasselbe gilt für alle Internet-Marketing-Unternehmen weltweit. Er ist das Fundament, auf dem unsere Bemühungen aufbauen. Aus diesem Grund werden wir einen tieferen Blick auf die technischen Details des Google-Indexierungsprozesses werfen und die Art und Weise untersuchen, wie er den Erfolg von Unternehmen und Websites beeinflusst.
Was ist das Crawling und die Indexierung durch Googlebot und wie wirkt es sich auf meine Website aus?
Der Googlebot ist eine spezielle Software, die gemeinhin als Spider bezeichnet wird und dafür konzipiert ist, sich durch die Seiten öffentlicher Websites zu wühlen. Er folgt einer Reihe von Links, die von einer Seite zur nächsten führen, und verarbeitet die gefundenen Daten dann in einem gemeinsamen Index.
Diese Software ermöglicht es Google, in Sekundenbruchteilen über 1 Million GB an Informationen zu sammeln. Die Online-Suchergebnisse werden dann direkt aus diesem Index gezogen. Man kann sich das Ganze auf lustige und einfache Weise als eine Bibliothek mit einem sich ständig erweiternden Bestand vorstellen. Googlebot ist ein allgemeiner Begriff für die Tools, die zum Auffinden von Webinhalten sowohl auf dem Desktop als auch auf mobilen Geräten verwendet werden.
Was ist also Googlebot in Bezug auf SEO?
Die strategische Optimierung von Webseiten dient dazu, die Sichtbarkeit in den Suchergebnissen zu erhöhen. Die Art und Weise, wie Ihre Website über Textlinks abgebildet wird, kann die Gesamteffektivität des Googlebot-Crawls erheblich verbessern. Zu den grundlegenden SEO-Praktiken gehören Optimierungstechniken, die sowohl auf den Googlebot als auch auf die Suchmaschinenergebnisseiten (SERPs) ausgerichtet sind.
Was ist die Crawlability einer Website?
Crawlability bezieht sich auf den Grad des Zugriffs von Googlebot auf Ihre gesamte Website. Je leichter die Software Ihren Inhalt durchsuchen kann, desto besser ist Ihre Leistung in den SERPs.
Es ist jedoch möglich, dass Crawler, wenn nicht von Ihrer gesamten Website, so doch von bestimmten Seiten blockiert werden. Zu den häufigen Problemen, die sich negativ auf Ihre Crawlability auswirken können, gehören Komplikationen mit einem DNS, eine falsch konfigurierte Firewall oder ein Schutzprogramm oder manchmal sogar Ihr Content-Management-System. Es sei darauf hingewiesen, dass Sie selbst beeinflussen können, welche Seiten Googlebot lesen kann und welche nicht, aber achten Sie besonders darauf, dass Ihre wichtigsten Seiten nicht blockiert werden.
Was kann ich tun, um meine Website für den Googlebot zu optimieren?
Im Folgenden finden Sie einige Tipps und Vorschläge zur Optimierung Ihrer Website für den Googlebot-Crawler:
- Ihr Inhalt muss in einem Textbrowser leicht zu erkennen sein, machen Sie ihn also nicht zu kompliziert. Googlebot hat es schwer, Websites zu crawlen, die Programme wie Ajax und (manchmal) JavaScript verwenden. Im Zweifelsfall sollten Sie es einfach halten.
- Verwenden Sie kanonische Seiten, damit Googlebot die richtige Version von doppelten Seiten findet. Bei vielen Websites ist es üblich, mehrere URLs für dieselbe Seite zu haben. Der moderne Googlebot ist sogar in der Lage zu erkennen, wann dies der Fall ist, aber tonnenweise doppelte Seiten unter mehreren URLs können ihn manchmal verwirren, seine Indexierungsgeschwindigkeit verlangsamen und Ihr Crawl-Budget verringern. Aus diesem Grund ist die Kanonisierung (canonical tags) in den meisten Fällen die beste SEO-Praxis.
- Leiten Sie den Googlebot mithilfe Ihrer robots.txt-Datei oder Meta-Robots-Tags durch Ihre Website. Wenn Sie den Crawler von unwichtigen Seiten fernhalten, kann die Software ihre Zeit auf die wertvolleren Inhalte verwenden und die Struktur Ihrer Website besser verstehen. (In den letzten Jahren hat Google die Wirkung von robots.txt für das Blockieren von Seiten aus dem Index heruntergespielt, was nicht mehr für bestimmte Seiten funktioniert; die beste Praxis ist, stattdessen "no-index"-Direktiven zu verwenden)
- Frische Inhalte. Google liebt frische und relevante Inhalte. Wenn Sie alte Seiten aktualisieren oder neue Seiten erstellen, wecken Sie das Interesse des Crawlers. Je häufiger Sie gecrawlt werden, desto mehr Chancen haben Sie, Ihre Leistung zu steigern. Dies gilt jedoch nur, solange Sie qualitativ hochwertige Aktualisierungen vornehmen. Achten Sie immer darauf, dass Ihre Texte gut geschrieben und nicht mit Schlüsselwörtern überfrachtet sind. Schlecht geschriebene Inhalte haben nur negative Auswirkungen.
- Interne Verlinkung. Die interne Verlinkung durch Ankertext-Links oder ATLs hilft dem Crawler, sich auf Ihrer Website zurechtzufinden. Ein eng gesponnenes Verlinkungssystem kann das Crawlen des Googlebot wesentlich effektiver machen. Sie sollten ATLs mit Bedacht verfassen. Verweisen Sie nur auf Seiten, die für Ihren Inhalt oder Ihr Produkt relevant sind, und stellen Sie sicher, dass das Ziel nicht anders als über die Navigationsleiste der aktuellen Seite erreicht werden kann.
- Einreichen einer Sitemap. Sitemaps sind Dateien, die auf dem Server einer Website gehostet werden und alle URLs der Website auflisten (oder zumindest alle, die der Eigentümer der Website aufnehmen möchte). Sitemaps sind gut für die Suchmaschinenoptimierung, da sie dem Googlebot eine leicht auffindbare und leicht zu verdauende Liste aller Ihrer wichtigsten Seiten liefern. Mit einer Sitemap werden Websites wahrscheinlich schneller und häufiger indexiert.