Wie kann ich die Zahl Ihrer Zugriffe auf meine Web-Site verringern?
Es gibt eine Yahoo! Slurp-spezifische Erweiterung für robots.txt mit der Sie unsere Crawler-Zugriffe begrenzen können.
Sie können einen "Crawl-delay: xx" Befehl erteilen, wobei „xx" ein Verzögerungs-Wert zwischen aufeinanderfolgenden Crawler-Zugriffen ist. Sollte die Crawler-Rate ein Problem für Ihren Server darstellen, können Sie eine Verzögerung bis maximal 10 festlegen. Wir schlagen allerdings vor, dass Sie zunächst einen geringen Verzögerungs-Wert (0.5-1) einstellen und diesen gegebenenfalls weiter erhöhen bis ein für Ihren Server akzeptabler Wert erreicht ist.
Ein "Crawl-Delay" von 1 für Yahoo! Slurp einzurichten, würde so aussehen:
User-agent: Slurp
Crawl-delay: 1
Crawl-Delay Anweisungen können dazu führen, dass der Umfang und die Aktualität Ihrer Web-Präsenz in der Yahoo! Suche eingeschränkt wird. Verwenden Sie daher eher geringe "Crawl-Delay" Werte, um dies zu verhindern. Generell sollten Sie die Crawling-Aktivität auf Ihrem Server einschränken, indem Sie unwichtige oder schützenswerte Inhalte mittels einer robots.txt Datei vom Crawling ausschließen.
Sollten Sie trotz "Crawl-Delay" Anweisung auch weiterhin Probleme mit der Anzahl der Zugriffe von Yahoo! Slurp haben, dann können Sie uns dies mitteilen, indem Sie unten auf die Schaltfläche Customer Support kontaktieren klicken. Bitte kopieren Sie dann die Web-/Serverlog Einträge, die von Yahoo! Slurp verursacht wurden und die betroffene URL in das Feedback-Formular, so daß wir Ihrem Problem nachgehen können.
Fragen Sie die Clever Community
