Mit Crawlback lassen sich archivierte Versionen von Webseiten aufspüren, die im regulären Internet möglicherweise nicht mehr verfügbar sind.
Der kostenlose Onlinedienst unter crawlback.cc greift dafür auf die Daten des gemeinnützigen Projekts Common Crawl zurück. Anders als die bekannte Wayback Machine nutzt Crawlback damit eine separate Archivquelle, in der sich auch Webseiten finden können, die andere Dienste nicht gespeichert haben.
Crawlback durchsucht Milliarden archivierte Webseiten
Die Bedienung ist vergleichsweise einfach. Nutzer geben eine konkrete URL oder eine Domain ein und starten die Suche. Crawlback durchsucht anschließend die verfügbaren Archivbestände und zeigt gefundene Versionen einschließlich ihres Erfassungsdatums an.
Der Dienst bietet mehrere Funktionen:
- Suche nach archivierten Webseiten und ganzen Domains
- Anzeige historischer HTML-Versionen mit Erfassungsdatum
- Export von Trefferlisten als CSV-Datei
- Download archivierter HTML-Inhalte als ZIP-Datei
- Lokale Speicherung des Suchverlaufs im Browser
Die zugrunde liegende Datenbank von Common Crawl umfasst nach Angaben des Projekts mehr als 300 Milliarden Webseiten aus über 100 Crawling-Sammlungen. Die Organisation sammelt seit 2008 öffentlich zugängliche Webinhalte.
Allerdings handelt es sich nicht um vollständige Kopien des Internets. Common Crawl erfasst nur einen Teil der Webseiten und dokumentiert auch nicht jede Änderung. Zudem fehlen bei archivierten HTML-Dateien häufig Bilder, Stylesheets und andere Ressourcen.
Datenschutz und Einschränkungen bei der Suche
Nach Angaben der Entwickler erfolgen die Archivabfragen direkt aus dem Browser. Gespeicherte Webseiten werden in einer isolierten Umgebung dargestellt, in der archivierte Skripte nicht ausgeführt werden.
Eine Besonderheit betrifft die Geschwindigkeit: Aufgrund der Zugriffsbeschränkungen von Common Crawl können umfangreiche Suchvorgänge durchaus 20 Minuten oder länger dauern. Auch vorübergehende Fehlermeldungen sind möglich.
Für Recherchen zu gelöschten Artikeln, früheren Unternehmenswebseiten oder nachträglich veränderten Inhalten ist Crawlback eine interessante Ergänzung zur Wayback Machine. Gerade weil beide Dienste unterschiedliche Archivbestände verwenden, kann sich eine zweite Suche lohnen.