Da unser Suchindex Milliarden von Web-Sites umfasst, können wir keine manuellen Änderungen vornehmen, sondern wir stützen uns zur Aktualisierung der Suche auf unsere automatischen Crawling-Prozesse. Wenn sich die Inhalte einer Web-Site verändern, so werden diese Änderungen bei der nächsten Indexierung der Seite berücksichtigt. Unser Web-Crawler besucht bereits bekannte Web-Sites regelmäßig, um zu kontrollieren, ob diese Seiten noch existieren und um die Informationen in der Datenbank zu aktualisieren.
Es gibt mehrere Möglichkeiten um zu verhindern, dass unser Crawler Ihre Web-Site oder Teile davon indexiert.
- Fügen Sie Ihrer Web-Site eine „robots.txt" Datei hinzu, um zu verhindern, dass unser Crawler sie indexiert
- Fügen Sie Ihren Dokumenten ein „noindex" Meta-Tag hinzu
- Entfernen Sie das ursprüngliche Dokument von Ihrer Web-Site
- Hosten Sie das Dokument auf einem gesicherten Teil Ihrer Web-Site (HTTPS oder Login)
Näheres hierzu finden Sie unter FAQs zum Web-Crawler.
Unser Crawler befolgt Anweisungen per robots.txt Datei und den Robots Exclusion Standard . Da die robots.txt Datei jederzeit geändert werden kann, wird diese regelmäßig von unserem Crawler neu erfasst. Wir crawlen oder indexieren keine Web-Sites oder Dokumente, die durch eine entsprechende Anweisung in der robots.txt Datei ausgeschlossen sind.
Auch wenn Sie eine der oben aufgeführten Möglichkeiten genutzt haben, um zu verhindern, dass Ihre Web-Site weiterhin gecrawlt wird, wird diese wahrscheinlich noch für eine Weile in unserem Suchindex auffindbar sein. Die Änderungen werden dann aber mit der nächsten Aktualisierung unseres Suchindex wirksam werden. Die URL eines für den Yahoo! Slurp ausgeschlossenen Dokuments kann unter Umständen dennoch über die Yahoo! Suche gefunden werden, wenn diese über andere öffentlich zugängliche Web-Dokumente verlinkt ist.
Um zu verhindern, dass Inhalte von Web-Sites über den Cache-Link auf den Suchergebnis-Seiten abgerufen werden können, verwenden Sie bitte den noarchive Meta-Tag.
Nähere Informationen hierzu finden Sie unter: Wie kann ich verhindern, dass bestimmte Seiten Ihrem Cache-Speicher hinzugefügt werden?
Dokumente können auch durch eine “404“ Server-Fehlermeldung gelöscht werden. Sobald unser Crawler den 404 Status erfasst hat, werden Web-Sites, die nicht mehr verfügbar sind, aus unserem Suchindex und dem Cache-Speicher entfernt.
Was ist zu tun, wenn Sie selbst keinen Zugriff auf die zu löschenden Web-Sites haben?
Wenn Sie selbst nicht auf die entsprechende Web-Site zugreifen können, dann müssen Sie den Webmaster kontaktieren und bitten, die genannten Hinweise zu befolgen.
Da nicht jeder Löschungs-Antrag auf seine Berechtigung hin überprüft werden kann, wird Yahoo! im Regelfall keine Dokumente oder Web-Sites manuell aus dem Suchindex entfernen.