Warum fragt Ihr Crawler seltsame URLs ab, die es auf meiner Domain niemals gegeben hat?
Einige Webserver schicken für nicht gefundene Seiten eine Navigations-Seite oder eine andere Antwort-Seite mit einer "HTTP 200 OK" Meldung anstatt mit einer "HTTP 404 Not Found" Meldung. Um zu überprüfen, ob Ihr Webserver die korrekte 404 Meldung schickt, schickt unser Crawler von Zeit zu Zeit absichtlich seltsame URLs, die aus zufällig zusammengesetzten Wörtern gebildet werden. Die URLs werden aber bewusst so zusammengesetzt, dass sie mit keiner aktuellen URL Ihrer Domain übereinstimmen. Wir speichern dann Informationen über die Antworten des Webservers, um veraltete URLs korrekt erkennen und aus unserem Index entfernen zu können.
Bei der Überprüfung werden von unserem Slurp bis zu 10 URLs abgefragt. Diese Überprüfung von 404 Meldungen ist kein Bestandteil der routinemäßigen Aktualisierungen durch den Slurp. Daher sind solche Anfragen sehr selten.
