Spider

Suchmaschinen verwenden sog. „Spider“ (auch: Robots, Bots, Crawler), um ständig das gesamte Internet zu durchsuchen und Websites in ihre Datenbanken aufzunehmen. Spider sind relativ „dumme“ Programme, die Websites besuchen (in dem sie von Link zu Link „springen“), um die Seiten der Website zu analysieren und zu indizieren. Es gibt also nicht nur menschliche Besucher einer Website – auch Suchmaschinen besuchen sie.

Die Spider sind deshalb etwas schwer von Begriff, weil sie die Inhalte von Websites wie ein Computer-Programm – und nicht wie ein Mensch – betrachten. Vereinfacht gesagt können z.B. keine Inhalte in Bildern oder Videos durch die Spider erfasst werden (was für einen Menschen problemlos machbar ist), Inhalte in Flash können nicht indiziert werden, sie können durch fehlerhaften HTML-Code verwirrt werden (was im Extremfall sogar dazu führen kann, dass eine Website nicht oder nur unvollständig indiziert wird), u.v.m.

Als Daumenregel lässt sich feststellen, dass ein Spider eine Website umso häufiger „besucht“ (und damit aktualisiert), je frequenter die Inhalte einer Website aktualisiert oder erweitert werden.

Maßnahmen, um den Spidern das Indizieren einer Website zu erleichtern und die Rangreihung der Seiten positiv zu beeinflussen, fallen unter den Begriff Suchmaschinen-Optimierung.

zurück