Desde principios de marzo que Yahoo! está haciendo una actualización en la parte de indexación de su buscador. Esto significa que hay más robots de búsqueda indexando además de haberle cambiado el nombre a Yahoo! Slurp 3.0, aún sin haber comentado qué cambios hay sobre la anterior versión.
Por ahora, de manera puntual, algunos sitios habrán notado un incremento en el rastreo y el cambio en sus ficheros de log de Yahoo! Slurp 2.0 a Yahoo! Slurp 3.0.
Las directivas restrictivas siguen funcionando en esta nueva versión siempre y cuando no se le indique versión a las mismas.
gracias por la información Javier Casares