MapflareBot

Der Mapflare Bot ist ein Webcrawler zur Indizierung von Webseiten mit Nachrichtenartikeln.

Gesammelte Informationen

Wenn eine Seite einen Nachrichtenartikel enthält und sich der Inhalt auf einen bestimmten Ort bezieht, dann werden folgende Informationen gespeichert:

• URL zum Artikel
• der Titel des Artikels
• das Veröffentlichungsdatum
• die in dem Artikel erwähnten Orte

Hinweis: Es wird nur der Titel von Artikeln gespeichert, niemals auch nur Teile des Inhaltes.

Wie kann ich den MapflareBot daran hindern, eine Seite zu indizieren

Füge folgende Zeilen in die robots.txt Datei ein:

User-agent: MapflareBot
Disallow: / 

Kontakt

Für weitere Fragen, Anmerkungen oder wenn Sie denken, dass der MapflareBot die Regeln in ihrer robots.txt nicht korrekt befolgt, kontaktieren sie uns gerne unter: