Warum crawlen Sie meine Web-Site?

Yahoo! Slurp ist der Web-Indexierungs-Robot von Yahoo! Der Yahoo! Slurp Crawler sammelt Dokumente aus dem Internet um einen durchsuchbaren Index für die Yahoo! Suche aufzubauen. Diese Dokumente werden gecrawlt, wenn andere Dokumente im Internet darauf verlinken.

Während des Crawling beachtet Yahoo! Slurp den robots.txt Standard, damit nur solche Seiten gecrawlt und indexiert werden, die deren Betreiber als Ergebnisse in der Yahoo! Suche sehen möchten. Die URL eines für den Yahoo! Slurp ausgeschlossenen Dokuments kann aber unter Umständen dennoch über die Yahoo! Suche gefunden werden, wenn diese über andere öffentlich zugängliche Web-Dokumente verlinkt ist.

Warum crawlen Sie meine Web-Site?

Helfen Sie uns diese Information so nützlich wie möglich zu gestalten. War diese Antwort hilfreich?

Vielen Dank für Ihr Feedback!

Häufigste Fragen

Fragen Sie die Clever Community

Verwandte Links

Yahoo! Hilfe durchsuchen