Der sogenannte Deep Crawl ist der Vorgang, bei dem der CrawlerEin Crawler ist ein automatisiertes Computerprogramm, welches Webseiten und deren Informationen durchsucht. Suchmaschinen-Anbieter verwenden Crawler um aus den Informationen von Milliarden an Webseiten einen Index aufzubauen. Aus diesem Index werden dann die Suchergebnisse gespeist. Mehr Information Mehr einer Suchmaschine die Unterseiten einer WebseiteEine Webseite ist eine Seite im World Wide Web. Diese kann aus einer Einzelseite (Onepager) oder mehreren Unterseiten bestehen. Als Synonym kennt man auch die Begriffe Internetseite, Webpage, Website, Webpräsenz, Webauftritt, Internetpräsenz, Homepage oder einfach nur Seite. Eine Webseite liegt in durcharbeitet, um diese eigenständig indexieren zu können. Dafür verfolgt er Deep Links und dringt so tief wie möglich in die Webseite ein, um möglichst keine Unterseite zu „übersehen“. Wenn alle Unterseiten indexiert sind, können diese alle unabhängig von der Startseite ranken, sodass man ein breiteres Feld an Keywords und Themenbereichen abdecken kann, beispielsweise mit einem BlogDas Wort Blog ist eigentlich die Abkürzung für "Webblog" und steht für ein Journal oder ein Tagebuch, welches online zugänglich ist. Während Privatpersonen Blogs oft für Hobbys und Nischenthemen nutzen, haben auch Firmen die Kraft der Blogs für sich entdeckt. So gibt es mittlerweile vom priva Mehr.
Die Häufigkeit eines solchen Crawls hängt von der Signifikanz der Webseite ab. Ist die Webseite wichtig und wird oft aktualisiert, prüft der Crawler sie häufiger.