Hay una extensión específica de Yahoo! Slurp para robots.txt que te permite establecer un límite más bajo en la tasa de peticiones de nuestro motor.

Puedes añadir una instrucción "Crawl-delay: xx", donde "xx" es el retardo mínimo en segundos entre sucesivos accesos del motor. Si las repetidas peticiones de nuestro motor suponen un problema para tu servidor, puedes establecer el retardo hasta 60, 300 o cualquier valor que estimes conveniente.

Establecer un retardo de rastreo de 20 segundos para Yahoo! Slurp supone algo como:

User-agent: Slurp
Crawl-delay: 20