Perché il mio sito è stato indicizzato?
Yahoo! Slurp è il web crawler di Yahoo!. Il crawler prende documenti dal Web per creare un indice ricercabile per il motore di ricerca Yahoo!. Questi documenti sono indicizzati perché altre pagine web contengono link agli stessi.
Yahoo! Slurp tiene conto degli standard del robots.txt per evitare di indicizzare quelle pagine che non vogliono far parte dei nostri database e essere presentate nei risultati di ricerca Yahoo!.
Per altre informazioni in questo senso, leggi anche come fare a far rimuovere le tue pagine dal nostro motore di ricerca.