Wie kann ich verhindern, dass Yahoo! weiterhin meine Nachrichtenquelle crawlt?
Um Ihre gesamte Web-Site oder bestimmte Teile (Verzeichnisse) Ihres Servers aus dem Index der Yahoo! Nachrichten-Suche auszuschließen, fügen Sie Ihrer Web-Site einfach eine robots.txt Datei hinzu.
Um zu verhindern, dass die meisten Robots, einschließlich des von Yahoo!, Ihre Seite absuchen, können Sie die folgenden Angaben der /robots.txt Datei auf Ihrem Server hinzufügen:
- User-agent: *
- Disallow: /
Um ausdrücklich zu verhindern, dass Yahoo! Ihre Web-Site crawlt, können Sie die folgenden Angaben der /robots.txt Datei auf Ihrem Server hinzufügen:
- User-agent: yahoo-newscrawler
- Disallow: /
Sie können auch genau bestimmen, welche Teile Ihres Servers nicht von Robots besucht werden kann. Nähere Einzelheiten zu robots.txt entnehmen Sie bitte der URL http://www.robotstxt.org/wc/faq.html.
Fragen Sie die Clever Community
