Folgt Ihr Crawler dynamischen Links?

Yahoo! Slurp unterstützt Frames und versucht komplexe URLs, wie sie von Content Management Systemen oder Software zur Erstellung dynamischer Seiten erzeugt werden, zu crawlen.

Wir sind bestrebt, Web-Sites ohne besondere Hilfe durch Webmaster zu crawlen, jedoch können auf verschiedene Weise und ohne Absicht Web-Sites erstellt werden, die weder von Yahoo! Slurp noch von einem anderen Suchmaschinen-Crawler abgesucht werden können.

Für weitere Informationen zum Thema robots.txt Datei verweisen wir auf unsere entsprechenden Hilfe-Seiten zu den Themen:

"Wie kann ich verhindern, dass meine Web-Site oder bestimmte Dokumente gecrawlt werden?"

Wie kann ich verhindern, dass bestimmte Seiten indexiert werden?

Im FAQ unserer Leitlinien für Web-Sites finden Sie einige Erläuterungen, weshalb bestimmte Web-Sites nicht indexiert werden können, zusammen mit Empfehlungen wie eine gute Web-Site programmiert werden kann.

Folgt Ihr Crawler dynamischen Links?

Helfen Sie uns diese Information so nützlich wie möglich zu gestalten. War diese Antwort hilfreich?

Vielen Dank für Ihr Feedback!

Häufigste Fragen

Fragen Sie die Clever Community

Verwandte Links