Come faccio ad evitare il passaggio del vostro crawler sulle mie pagine ?
Yahoo! Slurp terrà conto di quanto indicato nel file robots.txt con un User-Agent che contenga "Slurp". Se non dovesse trovare questo dato, terrà conto di quanto indicato con un User-Agent "*".
In campo "Disallow" consente invece di vietare la visita di un determinato URL, sia che corrisponda a una cartella, sia che corrisponda ad un file. Se il campo Disallow è lasciato bianco, significa che nessun URL è da considerarsi vietato.
Esempio:
User-agent: Slurp
Disallow: /cgi-bin/
Le domande più frequenti
- Perché il mio sito è stato indicizzato?
- Come faccio ad evitare il passaggio del vostro crawler sulle mie pagine ?
- Come faccio ad evitare l'indicizzazione di pagine specifiche?
- Perché non riesco a trovare tutte le mie pagine nel vostro motore di ricerca?
- In che modo il vostro crawler trova i documenti nel mio sito?
Link Utili
Copyright © 2008 Yahoo!. Tutti i diritti
riservati.
Yahoo! e la tua privacy - Condizioni Generali di Utilizzo del Servizio
Yahoo! e la tua privacy - Condizioni Generali di Utilizzo del Servizio