Ein Crawler ist ein automatisiertes Computerprogramm, welches Webseiten und deren Informationen durchsucht. Suchmaschinen-Anbieter verwenden Crawler um aus den Informationen von Milliarden an Webseiten einen IndexIndex bedeutet aus dem lateinischen übersetzt so viel wie „Verzeichnis“. Es kann sich zum einen hierbei um ein Register handeln, welches man auch als Stichwortverzeichnis kennt, zum anderen aber auch wie beispielsweise bei Suchmaschinen um ein Datenbankverzeichnis, welches über Suchanfragen ab Mehr aufzubauen. Aus diesem Index werden dann die Suchergebnisse gespeist. Mehr Informationen findest du im Beitrag Crawling und Indexierung. Siehe auch den Eintrag ScraperDen Scraper sollte man nicht mit der Maschine dem Schürfzug verwechseln. Scraper sammeln in der Regel automatisiert Daten beispielsweise von Webseiten. Man bezeichnet sie auch als Webscraper oder Datascraper. Beim Web Scraping spricht man auch vom Screen Scraping. Hierbei wird der angezeigte Inhalt Mehr.