Qué hacer si no podemos recuperar el contenido

Si añades un nuevo sitio web y ves este mensaje, generalmente significa que tienes una Firewall o CDN (Content Distribution Network) que está bloqueando los bots. Necesito darle a nuestro bot acceso al sitio antes de que podamos indexarlo para ti.

Aquí hay algunas causas comunes por las que esto sucede, junto con las soluciones. Si encuentras una solución que no está mencionada, nos ENCANTARÍA escucharlo en los comentarios, de forma que nuestros otros usuarios no tengan el mismo problema.

CloudFlare

Este probablemente es el CDN más común que bloquea bots. Ve a la Cloudflare y selecciona el sitio que tiene el problema. Luego selecciona > Firewall > Herramientas. Añade nuestra dirección IP (199.16.129.39) aquí y establécela a “Permitir”. Una nota es opcional, pero útil en caso de que otro usuario de Cloudflare quiera saber para qué es esta regla.

WordPress

Si no estás siendo bloqueado mediante CDN, entonces es probable que sea un plugin si estás utilizando WordPress. El plugin más común para detener el tráfico automatizado es WordFence, que usualmente no nos bloquea, pero en caso de que lo haga, puedes arreglarlo al incluir nuestra dirección IP en la lista blanca de aquí: