FAQ

"NetworkCartographer" ist ein akademisches Projekt von der Hochschule Niederrhein (FB03 - Elektrotechnik und Informatik) in Krefeld, Deutschland.

Gesammelt werden Webdomains, inklusive ihrer Verlinkungen auf andere Webdomains.

Folgende Informationen werden über die gecrawlten Domains gespeichert:

  • Domain (Host, Protokoll, Port)
  • IP Adresse des Servers
  • Timestamps (Erster Crawle, letzter Crawl)

Folgende Informationen werden über die verlinkten Domains gespeichert:

  • Anzahl der unterschiedlichen Links
  • Anzahl von HTTP Statuscodes (3XX, 4XX, 5XX, 9XX)
  • Timestamps (Erster Crawl, letzter Crawl)

Aktuell gibt es noch keinen ausgeführten Use-Case. Die Informationen werden zur Erprobung des entwickelten Systems und für zukünftige Forschungsprojekte gesammelt.

Die Daten werden auf einem internen Hochschul-Server gespeichert und sind nur für berechtigte Personen zugänglich.

Dieser Personenkreis beinhaltet nur Projektverantwortliche und den Serveradministrator.

Der Crawler berücksichtigt die Regeln in der "/robots.txt".

Der Crawler kann über einen Eintrag in der "/robots.txt" blockiert werden. Dafür kann für den User-Agent "NetworkCartographer" eine Regelkette implemtiert werden.