Home | Archive für Januar 2015
Googlebot Webcrawler Spider

Googlebot – Wie Google Ihre Website crawlt

Das Internet ist gefüllt mit Informationen in einer gigantischen Anzahl von Webseiten. Startet ein User eine Suchanfrage in einer Suchmaschine wie Google, wird eine Liste mit relevanten Ergebnissen generiert und dem Nutzer zur Verfügung gestellt. Suchmaschinen verfolgen das Ziel, ihren Nutzern möglichst exakt zur Anfrage passende Suchergebnisse aus der Vielzahl von Informationen herauszufiltern und bereitzustellen. Suchmaschinen nutzen hierfür sogenannte Website-Crawler wie den sogenannten „Googlebot“. Diese Webseiten-Crawler durchsuchen, einem algorithmischen System folgend, neue und aktualisierte Webseiten und erfassen die gefundenen Inhalte im Index. Auf diese Weise werden täglich Milliarden von Webseiten gecrawlt und zum Google Index hinzugefügt.