Der Robot Crawlbot analysiert und indexiert vermutlich Webseiten. Der exakte Typ des Robots wurde bisher noch nicht bestimmt.
Zugriffe vom Robot Crawlbot werden mit einem Anteil von 100 % am häufigsten von der IP-Adresse 24.37.226.178 und dem Server modemcable178.226-37-24.static.videotron.ca registriert. Zugriffe vom Robot Crawlbot werden mit einem Anteil von 100 % am häufigsten mit dem User-Agent Crawlbot/Nutch-1.19-SNAPSHOT registriert. Zugriffe vom Robot Crawlbot werden mit einem Anteil von 100 % am häufigsten mit der HTTP-Version 1.1 registriert. Der Robot Crawlbot ruft am häufigsten die Dateitypen TXT ab.
Merkmale
In der folgenden Tabelle sind Merkmale des Robots Crawlbot aufgelistet. Die Merkmale werden automatisch analysiert und erkannt. So wird z. B. erfasst ob der Robot Crawlbot die Robots (TXT) oder die Sitemap (XML) einer Webseite ausliest. Ebenfalls wird erfasst, wie viele Webserver-Zugriffe der Robot Crawlbot pro Minute und Domain im Schnitt ausführt. Ein freundlicher Robot sollte nicht mehr als 30 Webserver-Zugriffe pro Minute auf eine Domain ausführen. Der Durchschnitt wird über alle erfassten Webserver-Zugriffe des Robot Crawlbot auf eine Domain von maximal den letzten 30 Tagen gemittelt. Ein Webserver-Zugriffe meint einen einzelnen HTTP-Zugriff, z. B. GET oder HEAD und alle weiteren.
| Anzahl analysierter Zugriffe | 3 |
| Wird die sitemap.xml ausgelesen? | Nein |
| Wird die robots.txt ausgelesen? | Ja |
| ∅ Anzahl Zugriffe pro Minute | - |
| Anteil ungültiger Zugriffe * | - |
* Der Anteil ungültiger Zugriffe berechnet sich aus dem Verhältnis von Zugriffen des Robots welche einen erfolgreichen HTTP-Status-Code (2xx) sowie einen nicht erfolgreichen HTTP-Status-Code (4xx) zur Folge haben. Ab einem Anteil von 30% ungültigen HTTP-Status-Codes wird der Wert in roter Farbe markiert. Ein hoher Anteil ungültiger HTTP-Status-Codes kann auf einen nicht korrekt funktionierenden Robot oder eine defekte Webseite zurückzuführen sein. Ebenfalls ist es möglich das der Robot versucht auf geschützte Bereiche einer Webseite zuzugreifen. Respektiert der Robot die robots.txt Datei kann der Webseitenbetreiber hierüber den Robot den Ausschluss dieser URLs signalisieren.
IP-Adressen
In folgender Tabelle sind IP-Adressen aufgelistet, von welcher der Robot Crawlbot arbeitet. Ist das Land der IP-Adresse bekannt, wird dieses mit einer entsprechende Landesflagge symbolisiert. Zu jeder IP-Adresse wird außerdem die Name der Organisation angezeigt welche den Server betreibt, sowie Kontaktinformationen für die Meldung von Abuse-Fällen. Zugriffe vom Robot Crawlbot werden mit einem Anteil von 100 % am häufigsten von der IP-Adresse 24.37.226.178 und dem Server modemcable178.226-37-24.static.videotron.ca registriert.
| IP-Adresse | Server | Organisation | Abuse-Kontakt |
|---|---|---|---|
 24.37.226.178 (100 %) | modemcable178.226-37-24.static.videotron.ca | - | - |
User-Agents
In folgender Tabelle sind User-Agents aufgelistet, mit welcher der Robot Crawlbot HTTP-Anfrage an Server stellt. Zugriffe vom Robot Crawlbot werden mit einem Anteil von 100 % am häufigsten mit dem User-Agent Crawlbot/Nutch-1.19-SNAPSHOT registriert.
| User-Agent | Anteil |
|---|---|
| Crawlbot/Nutch-1.19-SNAPSHOT | 100 % |
HTTP-Protokoll Version
In folgender Tabelle sind HTTP-Protokoll Versionen aufgelistet, mit welcher der Robot Crawlbot HTTP-Anfrage an Server stellt. Zugriffe vom Robot Crawlbot werden mit einem Anteil von 100 % am häufigsten mit der HTTP-Version 1.1 registriert.
| Version | Anteil |
|---|---|
| 1.1 | 100 % |
Dateitypen
In folgender Tabelle sind Dateitypen aufgelistet, welcher der Robot Crawlbot von Servern abruft. Der Robot Crawlbot ruft am häufigsten die Dateitypen TXT ab.
| Dateityp | Anteil |
|---|---|
| TXT | 100 % |
Kontakt
Für den Robot Crawlbot sind keine offiziellen Kontaktinformationen bekannt.
Verweise
Es sind keine weiterführende Verweise zu dem Robot Crawlbot bekannt. Du hast weitere wichtige Informationen zu Crawlbot? Dann freuen wir uns jetzt über Deinen Kommentar!