Crawler: auch Robot oder Spider genannt. Crawler sind eigenständige Programme, die ununterbrochen das Internet durchsuchen, um Webseiten und deren Inhalt zu analysieren. Diese Crawler nehmen die Webseiten in die Datenbank der Suchmaschinen auf und bewerten sie. Auch nach der Aufnahme in die Suchmaschinendatenbank werden die Webseiten weiterhin regelmäßig von Crawlern überprüft.