Los secretos para un gran buscador

Hace unos días me preguntaron el porqué del anuncio de Cuil y que luego se haya convertido en un fracaso absoluto cuando algo se vende como «la competencia a Google». La verdad es que la respuesta es a la vez muy sencilla y complicada a la vez.

Para que un buscador tenga éxito influyen tres factores principales:

• Calidad: está claro que si un buscador no te «responde» lo que le preguntas, no es lo suficientemente bueno; esto también implica un elemento muy sencillo, y es su filtro antispam.
• Cantidad: está claro que si queremos obtener buenos resultados lo que hemos de tener es mucha información para poder elegir entre lo mejor de lo mejor; si nos dejamos un sitio importante, la fastidiamos.
• Velocidad: no podemos esperar mucho tiempo en una respuesta, ya que en la red el tiempo es oro.

En el año 1998 Altavista era un buscador muy importante porque cumplía con todos estos requisitos. Tenía una muy buena velocidad (cuando el resto de buscadores estaban empezando a fallar mucho), ofrecía unos resultados muy buenos, principalmente en inglés, ya que el resto del mundo hablar de Internet era como hablar en chino, y tenía un gran índice.

Por la misma época recuerdo haber utilizado AllTheWeb que personalmente creo que llego a superar al anterior, pero que se encontró con un rival muy importante: Google.

Dentro de un mes Google cumplirá 10 años, es decir, su índice lleva depurándose desde hace 10 años. Los primeros Google no era un buen buscador, ya que tenía mucha porquería entre sus resultados, hasta aproximadamente 2003. También hay que contar que Google fue el motor de búsqueda de Yahoo!, el principal portal de Internet de todos los tiempos, y quieras que no eso también hizo popularizarlo.

Ahora bien, la pregunta es: ¿por qué nadie ha podido plantar cara al gigante de Mountain View? Hay que tener en cuenta varios factores…

Cuando Ask llegó a la red venía principalmente con la tecnología de Teoma, que se basa más en la filosofía del algoritmo HITS que no del Pagerank, algo para lo qe todavía Internet no está preparado, aunque en breve lo estará.

Yahoo! acabó comprando Altavista y AllTheWeb. El índice de Yahoo! es impresionantemente grande, pero creo que se han centrado más en estudiar el entorno de Yahoo! y han de jado muy de lado toda la parte de tecnología de búsqueda. Su primer objetivo debería ser el de «limpiar» su índice de spam en inglés, y cuando lo hayan conseguido (algo que no debería tardar más de un año) deberían conseguir indexar a la mayor velocidad el resto de idiomas, adaptar la tecnología antispam a cada una de las culturas y aprovechar esa fuerza.

Para acabar, Microsoft. El gran problema de Microsoft es que ha sido el último en llegar, algo que le está costando muy caro, y de ahí que quisiera la parte de búsquedas de Yahoo!, ya que con la infraestructura de Microsoft y los conocimientos de Yahoo! sí que se podría construir un motor de búsqueda importante y que plantase cara a Google en poco tiempo.

Cuando Live apareció en escena su calidad era más que penosa. Curiosamente a los 2 años comenzó a mejorar, el tiempo que se dedicó principalmente a crecer. Y es que desde hace un año y pico la calidad de los resultados está comenzando a cambiar. Microsoft está haciendo lo que Yahoo! no hace, y es dedicarle tiempo y cariño a las ediciones locales de su motor de búsqueda.

¿Tienen alguna posibilidad los motores nuevos? La respuesta es sencilla: NO. Y es así de claro por precisamente eso: tiempo. Google tiene cientos de robots indexando, ha construido un monstruo capaz de recorrer Internet cada día, algo a por o que el resto debería alcanzar como objetivo.

Lo que sí que me gusta son ideas que, por separado no tienen mucho sentido, pero que sí que deberían tenerse en cuenta. Por ejemplo, el que Microsoft comprase Powerset da pie a ese paso adelante importante, la búsqueda semántica: si eres capaz de entender qué buscan tus usuarios serás capaz de ofrecerles unos mejores resultados. El problema, una vez más, los idiomas.

Otro paso importante es el de Wikia. Creo que es una idea inteligente pero que falla de base: el usuario de Internet no es bueno, por lo que basar la calidad de tus resultados al 100% en lo que ellos prefieren no es bueno, ha de haber un algoritmo que precisamente estudie el porqué los usuarios eligen esas posiciones, hacer inteligente al sistema en base a lo que los usuarios miran.

Aunque suene un poco extraño, creo que debería haber gente neutral trabajando para los buscadores que más que elegir entre diferentes resultados y su calidad, pudiera acabar revisando dominios enteros y valorarlos en base a su temática y calidad. O sea, lo propio que hace Teoma/Ask pero llevado al extremo. Ask es un gran buscador, pero el falta mucho índice… Si fuera Microsoft, ahora que Yahoo! «no se deja» apostaría por atacar a IAC y hacerme con Ask, usar los robots de indexación de Microsoft e inyectarle los resultados al algoritmo, y ver que pasa…