Yahoo! Suche
>
Suche
>
Crawler
Der Web-Crawler
Warum crawlen Sie meine Web-Site? Wie kann ich verhindern, dass meine Web-Site oder bestimmte Dokumente gecrawlt werden? Wie behandelt der Yahoo! Web Crawler Redirects? Wie kann ich die Zahl Ihrer Zugriffe auf meine Web-Site verringern? Wie kann ich verhindern, dass bestimmte Seiten indexiert werden? Wie kann ich verhindern, dass bestimmte Seiten Ihrem Cache-Speicher hinzugefügt werden? Ich registriere wiederholte Download-Versuche, warum? Warum fragt Ihr Crawler seltsame URLs ab, die es auf meiner Domain niemals gegeben hat? Wie findet Ihr Crawler Dokumente auf meiner Seite? Folgt Ihr Crawler dynamischen Links? Warum kann ich meine Web-Site(s) nicht in Ihrer Suchmaschine finden?
Fragen Sie die Clever Community
