Aunque se puede hacer un cálculo aproximado de cuándo fue la última vez que el robots de Google rastreó el fichero de robots.txt, ahora un empleado de Google confirma que el sistema rastrea el fichero al menos una vez al día (o al menos ese es su objetivo).
El fichero de robots es el que se utiliza para indicar a los robots de rastreo lo que pueden o no hacer en un sitio web. En principio, la idea principal, es que cuando el sistema vaya a entrar a rastrear el sitio, debe leer el fichero para controlar las órdenes. teniendo en cuenta que ahora el sistema de rastreo es distribuido y no se hace continuo, se haría bastante complejo tener que leer el fichero cada vez que se accede al sistema, por lo que, parece ser, la forma óptima es la de leer el fichero una vez al día y aplicar el rastreo en base a la última descarga.
muy interesante medida de tiempo , he preguntado muchas veces eso y me han discho cosas diferentes, bueno saberlo , muy bueno el articulo.