Yahoo! Slurp hará caso a la primera referencia en el archivo robots.txt que contenga el User-Agent "Slurp". Si no existe tal regitro, obedecerá la primera referencia con un User-Agent "*".

Los documentos inhabilitados (campo "Disallow"), incluida la home, no son indexados ni sus enlaces rastreados. Yahoo! Slurp sí lee la home de cada sitio y la usa internamente, pero si está excluida para el robot, ni la indexa ni la rastrea.

Ejemplo de robots.txt:
User-agent: Slurp
Disallow: /cgi-bin/