"NetworkCartographer" ist ein akademisches Projekt von der Hochschule Niederrhein (FB03 - Elektrotechnik und Informatik) in Krefeld, Deutschland.
Gesammelt werden Webdomains, inklusive ihrer Verlinkungen auf andere Webdomains.
Folgende Informationen werden über die gecrawlten Domains gespeichert:
Folgende Informationen werden über die verlinkten Domains gespeichert:
Aktuell gibt es noch keinen ausgeführten Use-Case. Die Informationen werden zur Erprobung des entwickelten Systems und für zukünftige Forschungsprojekte gesammelt.
Die Daten werden auf einem internen Hochschul-Server gespeichert und sind nur für berechtigte Personen zugänglich.
Dieser Personenkreis beinhaltet nur Projektverantwortliche und den Serveradministrator.
Der Crawler berücksichtigt die Regeln in der "/robots.txt".
Der Crawler kann über einen Eintrag in der "/robots.txt" blockiert werden. Dafür kann für den User-Agent "NetworkCartographer" eine Regelkette implemtiert werden.