Como parte del sistema de rastreo, Yahoo! Slurp tomará en cuenta los estándares robots.txt para asegurarse de que no se rastrean e indexan las páginas que no quieres que aparezcan en resultados de búsqueda a través de Yahoo! Search Technology. Si una página está protegida por un fichero robot.txt no será considerada para inclusión ni indexación en la base de datos de nuestro motor de búsquedas.