Hace unos días os comentábamos que News Corp. estaba presionando a Google… y al final parece haber conseguido al menos una acción contra este tema: Google News tendrá su propio agente robot.
La cuestión es que Google siempre decía que era todo tan simple como poner un «Disallow: /» en el robots.txt… pero esto hubiera implicado salir completamente del índice del buscador… porque no había ninguno en concreto para el buscador de noticias.
Es por esto que ha aparecido en escena el Googlebot-News que básicamente actúa como el resto de robots pero sólo afecta a la información que aparecerá en Google News.
Así que, si quieres que Google News no indexe tu sitio, tan sólo has de incluir en el robots.txt un par de líneas como estas:
User-Agent: Googlebot-News
Disallow: /