Google ha lanzado un artículo en el que hace un resumen de las directivas de los ficheros robots.txt además de algunas explicaciones sobre los posibles filtros a través de los meta-tags.
Entre algunos de los elementos están:
robots.txt
- Disallow
- Allow
- $
- *
- Sitemaps
Meta-tags
- NOINDEX
- NOFOLLOW
- NOSNIPPET
- NOARCHIVE
- NOODP
Otros de Google
- UNAVAILABLE_AFTER
- NOIMAGEINDEX
- NOTRANSLATE
Otros de Microsoft
- Crawl-Delay
Otros de Yahoo!
- Crawl-Delay
- NOYDIR
- Robots-nocontent
ACTUALIZACIÓN: Esta actualización de las directivas viene por un acuerdo entre «los grandes» como han hecho todos.