El robot de búsqueda de Microsoft, MSNBot, ha mejorado alguna de sus funcionalidades sobretodo en lo que respecta a la no-saturación de los servidores haciendo caso a la cabecera Crawl-delay que ayuda a definir el tiempo que ha de pasar entre la indexación de una y otra página.
En este caso, el robot va a seguir la directiva en el fichero robots.txt:
- Crawl-delay: 5
Espera 5 segundos entre página y página (lento) - Crawl-delay: 10
Espera 10 segundos entre una y otra (muy lento)
Hay alguna manera para permitir que te rastreen google y yahoo pero no MSN???