Google actualizó el 6 de octubre de 2026 su guía para reducir la frecuencia de rastreo: ahora explica, con ejemplos, cómo usar la cabecera HTTP Retry-After junto a los códigos 503 y 429. La compatibilidad no es nueva, según Google. Interesa a cualquier web cuyo servidor sufra cuando Googlebot rastrea demasiado.
Lo que se sabe
- Qué cambió y cuándo: el registro de cambios de la documentación de rastreo de Google recoge, con fecha 6 de octubre de 2026, que se reestructuró la sección de emergencias de la guía «Reduce the Google crawl rate» y que se añadieron explicación y ejemplos de la cabecera Retry-After.
- Por qué: según ese registro, la compatibilidad con Retry-After no es nueva. Ya estaba documentada en la guía para pausar o desactivar temporalmente una web. Google la lleva a esta guía para que sea más fácil de encontrar.
- Qué dice ahora la guía: para reducir el rastreo con urgencia y por poco tiempo (un par de horas, uno o dos días), el servidor puede responder 500, 503 o 429 en lugar de 200. Con 503 o 429 puede añadir Retry-After para indicar cuándo pueden reintentar los rastreadores.
- Dos formatos: un plazo en segundos, como «Retry-After: 120», o una fecha y hora en UTC, como «Retry-After: Wed, 21 Oct 2026 07:28:00 GMT». Son los ejemplos de la guía.
- Cómo reacciona Google: cuando encuentra muchas URL con esos códigos, baja la frecuencia de rastreo de todo el nombre de host, también para las URL que responden bien, y la vuelve a subir sola cuando los errores disminuyen, según la guía.
- El límite: Google no recomienda mantenerlo más de uno o dos días. Si Googlebot ve esos códigos en la misma URL durante varios días, la URL puede salir del índice, según la guía.
- Quién lo detectó: Search Engine Roundtable lo publicó el 6 de octubre de 2026.
Qué cambia y qué no
Cambia la documentación, no el comportamiento del rastreador: Google dice que ya admitía Retry-After. Lo nuevo es que la instrucción y sus ejemplos están en la guía a la que acude quien tiene el servidor saturado.
La guía presenta Retry-After como una indicación de cuándo se puede reintentar. No detalla con qué precisión la siguen los rastreadores.
Lo demás sigue igual. Reducir el rastreo tiene coste: Google descubre menos páginas nuevas, tarda más en reflejar cambios de precio o de disponibilidad y las páginas borradas siguen más tiempo en el índice, según la guía. Y sigue en pie un aviso que el blog de Google Search Central publicó en 2023: los códigos 403 y 404 no sirven para frenar a Googlebot. Todos los 4xx, salvo el 429, hacen que el contenido se retire de la Búsqueda.
Cómo saber si te afecta
Te interesa si tu servidor se ha quedado corto alguna vez por culpa de los rastreadores, o si tu web tiene modo de mantenimiento. Siete pasos:
- Mira qué responde tu web en mantenimiento. La próxima vez que lo actives, lanza «curl -I https://tudominio.com/» desde una terminal. La primera línea debe decir 503. Si además aparece «Retry-After», mejor. Si dice 200, 403 o 404, hay que corregirlo.
- Comprueba que el archivo robots.txt no devuelve 503. La guía de Google para pausar una web avisa de que eso bloquea todo el rastreo.
- Pregunta a tu hosting, a tu CDN o a tu cortafuegos: «Cuando limitan a Googlebot por exceso de peticiones, ¿qué código devuelven?». La respuesta buena es 429 o 503. En 2023 Google contó que había propietarios de webs y algunas CDN usando 404 y otros 4xx para eso.
- Antes de frenar, busca la causa. Google recomienda revisar con el hosting los registros de acceso del servidor. Las causas más habituales, según la guía: filtros y ordenaciones que multiplican las URL (navegación facetada) y calendarios con una URL por fecha.
- Si es una emergencia, responde 503 o 429 con Retry-After a las peticiones de rastreo, y solo durante horas. Pon un plazo realista: si el servidor necesita diez minutos, 600 segundos. La guía para pausar una web pide que el plazo o la fecha sean la mejor estimación posible.
- Cuando pase, vuelve a responder 200 y mira en Search Console el informe «Estadísticas de rastreo», dentro de Ajustes, para ver cómo se recupera.
- Si tu infraestructura no puede servir errores, Google ofrece un formulario para pedir la reducción. Avisa de que la respuesta tarda varios días y de que no se puede pedir un aumento.
Relacionado: Sitemap «No se ha podido obtener»: Google explica por qué
Fuentes
- Google, registro de cambios de la documentación de rastreo, entrada del 6 de octubre de 2026 (en inglés)
- Google, «Reduce the Google crawl rate» (en inglés)
- Google Search Central, «Temporarily pause or disable a website» (en inglés)
- Google Search Central Blog, «Don't use 403s or 404s for rate limiting», 17 de febrero de 2023 (en inglés)
- Search Engine Roundtable, «Google Search Crawl Rate Doc Adds Retry-After HTTP & More», 6 de octubre de 2026 (en inglés)
Actualizaciones: aquí se añadirá si Google detalla cómo aplican sus rastreadores el plazo de Retry-After.