Pocos archivos tienen tan poco texto y tanto poder de hacer daño como el robots.txt. Una sola línea mal escrita puede dejar a Google sin acceso a toda tu web, y sucede más a menudo de lo que parece: un sitio que se lanza con el archivo del entorno de pruebas, una migración que arrastra reglas antiguas, un plugin que añade un bloqueo que nadie revisa. El resultado se nota semanas después, cuando las impresiones caen y nadie sabe por qué.
En este artículo te explico qué es el robots.txt y qué puede (y no puede) hacer, cómo se lee, qué conviene bloquear y qué no, qué papel tiene ahora con los rastreadores de IA y cómo revisarlo paso a paso para que proteja tu rastreo en lugar de romperlo.
Qué es el robots.txt y qué puede (y no puede) hacer
El robots.txt es un archivo de texto que vive en la raíz de tu dominio (tudominio.com/robots.txt) y que indica a los rastreadores qué partes de tu web pueden visitar. Es lo primero que consulta un buscador al llegar, antes de rastrear nada más.
Lo importante es lo que no hace. El robots.txt controla el rastreo, no la indexación. Bloquear una URL impide que Google la visite, pero no impide que aparezca en los resultados: si otras webs la enlazan, Google puede indexarla igualmente, sin descripción, solo con la dirección. Esa confusión es el origen de la mayoría de errores graves con este archivo.
Cómo se lee un robots.txt
La sintaxis es corta. Este es un ejemplo típico de una web WordPress con tienda:
User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php Disallow: /*?filtro= Sitemap: https://tudominio.com/sitemap_index.xml
Se lee así: para todos los rastreadores, no entres en el panel de administración (salvo en el archivo que necesitan algunas funciones), ignora las URLs con el parámetro de filtro y aquí tienes mi sitemap. Cada directiva tiene su función:
| Directiva | Para qué sirve | Ejemplo |
|---|---|---|
| User-agent | Indica a qué rastreador se aplican las reglas siguientes. El asterisco significa todos. | User-agent: Googlebot |
| Disallow | Ruta que ese rastreador no debe visitar. Si se deja vacío, no bloquea nada. | Disallow: /carrito/ |
| Allow | Excepción dentro de una ruta bloqueada. | Allow: /wp-admin/admin-ajax.php |
| Sitemap | URL de tu sitemap XML. Puedes incluir varias líneas. | Sitemap: https://tudominio.com/sitemap_index.xml |
| Comodines * y $ | El asterisco sustituye cualquier texto y el dólar marca el final de la URL. | Disallow: /*?filtro= |
Dos detalles que conviene tener presentes. Cuando dos reglas se contradicen, Google aplica la más específica, la de la ruta más larga. Y la directiva Crawl-delay, que algunos buscadores respetan, Google la ignora. Una diferencia mínima en una barra o en una mayúscula cambia el significado de una regla, así que cada línea del robots.txt merece una lectura atenta.
Qué bloquear y qué no bloquear en el robots.txt
La regla de fondo es sencilla: bloquea lo que no tiene valor para quien busca y consume rastreo, y no bloquees nada que Google necesite para entender y mostrar tu web.
Robots.txt y rastreadores de IA
Aquí el robots.txt ha ganado un papel nuevo. Los asistentes de IA y los buscadores generativos tienen sus propios rastreadores, y cada empresa publica sus nombres: GPTBot, PerplexityBot o Google-Extended, entre otros. Algunos distinguen además entre el rastreo para entrenar modelos y el rastreo para responder a una búsqueda concreta, así que conviene leer la documentación de cada uno antes de decidir.
La decisión es de negocio, no técnica, pero hay un matiz que se pasa por alto: bloquear a un rastreador de IA significa renunciar a que ese sistema pueda leerte y, por tanto, citarte. Es el mismo razonamiento que explico en el artículo sobre cómo conseguir que Google cite tu web. Y una precisión útil: Google-Extended no afecta a tu aparición en Google Search ni en las AI Overviews, que dependen de Googlebot.
El fichero llms.txt es un complemento, no un sustituto: orienta a los modelos sobre qué contenido es relevante, pero no sustituye las reglas de acceso que fijas aquí. Ambos forman parte del trabajo de consultoría GEO.
Cómo revisar tu robots.txt, paso a paso
Abre el tuyo y comprueba cada versión del dominio
Escribe tudominio.com/robots.txt en el navegador. Revisa también las variantes con y sin www, los subdominios y cualquier entorno de pruebas que siga accesible. Cada host tiene su propio archivo.
Mira qué versión está leyendo Google
En Search Console, dentro de Ajustes, el informe de robots.txt muestra el archivo que Google tiene guardado, cuándo lo rastreó por última vez y si encontró errores. Es el sustituto del antiguo probador de robots.txt.
Cruza las reglas con las páginas que quieres posicionar
Haz una lista de tus URLs de negocio (servicios, categorías, fichas, artículos) y comprueba que ninguna queda bloqueada. En el informe de indexación de páginas de Search Console, el estado «Bloqueada por robots.txt» te lo indica; la inspección de URLs lo confirma una a una.
Edita con cuidado y guarda una copia
En WordPress, si no existe un archivo físico, el propio sistema genera uno virtual, y plugins como Rank Math permiten editarlo desde el panel. Antes de cambiar nada, guarda el contenido actual: si algo falla, podrás volver atrás en minutos.
Rastrea tu web y comprueba qué queda bloqueado
Un rastreo completo con Screaming Frog, respetando el archivo, lista las URLs bloqueadas. Si ves ahí páginas que deberían rastrearse, tienes un error que corregir antes de que lo note Google. Google guarda el archivo en caché hasta unas 24 horas, así que los cambios no se reflejan al instante.
Cómo medir si el robots.txt está bien configurado
Un cambio en este archivo afecta a todo el sitio, así que conviene medir antes y después, no solo confiar en que está bien.
| Qué medir | Dónde y qué te dice |
|---|---|
| Versión que lee Google | Search Console, informe de robots.txt. Archivo guardado, fecha de rastreo y errores. |
| URLs importantes bloqueadas | Search Console, indexación de páginas e inspección de URLs. Detecta bloqueos que no querías. |
| Efecto en el rastreo | Search Console, estadísticas de rastreo. Si el bloqueo funciona, baja el rastreo en las zonas sin valor. |
| Bloqueos en toda la web | Screaming Frog. Lista completa de URLs bloqueadas para revisar de un vistazo. |
Revisa estas cuatro fuentes después de cada lanzamiento o migración. Es el momento en que más veces se cuela un bloqueo por error, y una auditoría SEO bien planteada incluye esta comprobación desde el primer día.
Lo que no funciona
¿Sabes qué está bloqueando tu robots.txt?
Reviso tu robots.txt, el rastreo y la indexación de tu web, y te entrego un plan priorizado para corregir lo que esté frenando tu visibilidad.
Lo he visto en proyectos reales. En el caso de éxito SEO de productos personalizados B2B, la auditoría técnica arrancó con un rastreo completo de unas 8.200 URLs con Screaming Frog, y la depuración del sitemap y de los errores 4xx formó parte de la hoja de ruta del proyecto.
