Crawler

12. September 2019 Von Seo Agentur

Ein Crawler ist ein Programm, das von Suchmaschinen eingesetzt wird. Es soll das Internet automatisch nach Inhalten durchsuchen und diese – unabhängig davon, ob es sich um Webseiten oder Informationen handelt – vollständig auslesen und in die Suchmaschinen indexieren. Aufgrund des automatisierten Vorgehens der Crawler, werden sie häufig auch Robots genannt. Da ihr Weg, den Sie im Internet zurücklegen, einem Spinnennetz ähnelt, wird synonym dazu gerne auch der Begriff Spider verwendet.

Aufgesucht werden Internetseiten von Crawlern meist über Hyperlinks, die sich auf bereits indexierten Webseiten befinden. Der Inhalt, der hier folglich ausgelesen wird, landet im Cache, wo er gespeichert und anschließend ausgegeben und gegebenenfalls indexiert wird. Ob eine Indexierung stattfinden, ist vom Algorithmus der jeweiligen Suchmaschine abhängig. Sobald die Indexierung erfolgt ist, lassen sich die Seiten oder die Informationen in den SERPs der Suchmaschinen anzeigen. Insofern sind Crawler ein wichtiger Bestandteil des Internets und stellen für die Suchmaschinen sogar ein Kerninstrument dar.