Los vasos comunicantes de la indexación: ¡Google en problemas, Bing en progreso!
Mientras que Google lleva varios años con dificultades para corregir sus errores de rastreo e indexación desactivando su herramienta de sumisión rápida de URL en Search Console, Bing está progresando silenciosamente y se está convirtiendo poco a poco en un actor importante en este campo, lejos de sus errores del pasado. Los dos robots se están acercando poco a poco en términos de calidad. ¿Quién ganará? Tal vez ambos…
Una de las bases del funcionamiento de los motores de búsqueda es el rastreo por parte de los robots (Googlebot, Bingbot) de las páginas web, ya sea la consideración de páginas nuevas o de las recientemente actualizadas. La calidad del rastreo por parte de los motores inducirá automáticamente la calidad del índice y, por tanto, junto con el algoritmo, la calidad de los resultados.
Hoy en día, existen dos tecnologías de motores de búsqueda en el mundo: Google y Bing (aparte de los motores limitados a una zona geográfica estricta como Yandex, Baidu, Seznam o Naver). Y en lo que respecta al rastreo, podemos observar una verdadera inversión de las curvas en cuanto a la calidad del trabajo realizado por su respectivo spider.
Bingbot en fuerte mejora
Hay que decirlo… Bingbot es conocido desde hace tiempo por su pereza. Hace unos años, indexar una página en Bing era comparable a una carrera de obstáculos y el motor se retrasaba a veces varios días – semanas – meses respecto a la visión que podíamos tener de la web en un momento T. Sin embargo, hay que señalar que la situación ha cambiado mucho desde hace tiempo y que los equipos que gestionan el crawl en Microsoft (encabezados por el francés Fabrice Canel) han hecho un gran trabajo, haciendo que el rastreo sea ahora mucho más eficaz. Por lo tanto, la situación está en constante progreso a este nivel en Bing. Todavía no es perfecto, tal vez, pero claramente está mejorando.
Googlebot en pánico
Google, por otro lado, ha estado multiplicando los errores de indexación durante los últimos 2 años y parece sufrir mucho en el rastreo, un área en la que todavía era preponderante hace unos años. Googlebot solía ser una máquina de crawlear e indexar (en esa epoca, teniamos más preocupación por de desindexación de contenidos que el motor había encontrado y no sabíamos dónde y cómo), mientras que ahora, tiene todo el problema del mundo para mantenerse al día.
El último percance a este nivel: a finales del año pasado, la herramienta de sumisión de URL en Search Console estuvo desactivada durante muchas semanas, luego se reactivó, pero desde entonces parece que no tiene casi efecto, y en todo caso es mucho menos efectiva que antes. Por supuesto, éste fue ciertamente objeto de spam masivo por parte de algunos SEO y ésta es sin duda una de las principales razones de su parada/desactivación más o menos parcial. Pero aun así, entre esta voluntad de desactivar la herramienta Search Console y los repetidos fallos de indexación, muchos SEO y editores de sitios web han notado que la calidad del rastreo de Googlebot ha bajado mucho últimamente.
Si a eso le sumamos la lenta desindexación de URL que habrían sido pasadas en 404 o redirigidas en 301, puestas en “noindex”, etc. que seguimos encontrando en los resultados de búsqueda o en el informe de Search Console (de “Cobertura”) días – semanas – meses (tacha lo que se requiera) después de su tratamiento, la cuenta empieza a ser un poco salada para nuestros amigos de Mountain View.
Es como si Google no pudiera seguir el ritmo de la increíble aceleración de la Web, del ritmo de creación de nuevas páginas, de modificación de las existentes y de desaparición de contenidos. En resumen, Googlebot parece anticuado, sobrecargado en comparación con la evolución de Internet. Y esto plantea muchos problemas a muchos webmasters, especialmente a aquellos para los que el tiempo es importante, incluso crucial, como los sitios de noticias, por ejemplo.
Múltiples causas explican el fenómeno
Por supuesto, nada es sencillo y sí, el crecimiento exponencial de la web, la complejidad técnica de algunos sitios, el incesante spam (recordemos que ¡¡¡Google descubre cada día 25.000 millones de páginas de spam destinadas a manipular los algoritmos!!!) y otros muchos factores explican estas dificultades, que tendrán que ser resueltas algún día si Google quiere mantener su supremacía en el mundo de los buscadores.
Parece que el paisaje del crawl a nivel de los principales actores del sector es cada vez más igualado y que la brecha se va reduciendo poco a poco entre el líder y el outsider, tanto por los avances de uno como por las preocupaciones del otro. Sin duda, ambos son plenamente conscientes de ello. El objetivo de Bing debe ser mantener este ritmo, mientras que Google debe actualmente mover cielo y tierra para mejorar su rendimiento actual, que claramente no está a la altura de lo que se puede esperar de un motor de este tamaño. Una “espiral de excelencia” de la que podrían beneficiarse ambos motores. En cualquier caso, será muy interesante observar la continuación de esta lucha a distancia entre los dos gigantes… Además no existe, que yo sepa, ningún observatorio o herramienta para medir la calidad del crawl de los dos motores, mientras que las herramientas del “clima del Search”, que miden los cambios de algoritmos, son muy numerosas.
¿No sería una buena idea?
