Ich registriere wiederholte Download-Versuche, warum?

Im Allgemeinen sollte Yahoo! Slurp während des Crawlings jeweils nur eine Kopie von jeder Datei Ihrer Seite herunterladen. Gelegentlich wird der Crawler jedoch angehalten und neu gestartet, so dass er kürzlich angesteuerte Seiten erneut absucht. Dies sollte nur unregelmäßig geschehen und ist kein Anlass zur Beunruhigung.

Yahoo! Slurp greift sehr häufig auf die robots.txt Datei zu, so dass jede Änderung der Ausschluss-Regeln zügig erfasst und umgesetzt wird.

Es gibt neben dem Yahoo! Slurp auch weitere Crawler von Yahoo!, die möglicherweise auf Ihre Web-Site zugreifen. Überprüfen Sie Ihre Server Access Log Datei oder Ihre User-Agent Log Datei, um diese zu identifizieren. Zu unseren weiteren Crawlern gehören insbesondere der Yahoo! MMCrawler, der Nachrichten-Crawler und der Yahoo-MMAudVid Crawler.

Ich registriere wiederholte Download-Versuche, warum?

Helfen Sie uns diese Information so nützlich wie möglich zu gestalten. War diese Antwort hilfreich?

Vielen Dank für Ihr Feedback!

Häufigste Fragen

Fragen Sie die Clever Community

Verwandte Links

Yahoo! Hilfe durchsuchen