Wenn ein Webcrawler (oder Robot) eine neue Website prüft, ist diese Datei seine erste Anlaufstelle. Hier legt der Betreiber die (nicht zu 100% verbindlichen) Richtlinien fest, nach denen der Robot die Website prüfen soll.
Sie werden auf eine externe Seite in einem neuen Fenster geleitet. Die externe Seite trackt möglicherweise Ihre IP-Adresse und andere Daten. Bitte klicken Sie auf OK, um zuzustimmen. Der Link führt zu: