crawling de GPTBot

Si bien la inteligencia artificial ofrece muchas oportunidades, también implica nuevos desafíos para los publishers y creadores de contenido digital. 

Los bots de IA, como GPTBot, pueden generar contenido a partir de material existente en estas webs, lo que plantea ciertos interrogantes sobre el papel que juega la propiedad intelectual aquí y, si alguien debería obtener una compensación económica por este nuevo contenido “artificialmente generado”.

En este artículo analizamos estas preocupaciones y te contamos qué debes hacer si no quieres que el crawler de GPTBot pueda rastrear el contenido de tu web.

Preocupaciones de los publishers por los bots de AI

Los publishers, y todos los creadores de contenido digital en general, dedican mucho tiempo, recursos y esfuerzos en generar contenido de calidad para sus audiencias. 

Por eso, dos de las preocupaciones más importantes relacionadas con la inteligencia artificial radican en los derechos de autor y las ganancias.

Por empezar, existe una discusión vigente sobre qué papel ocupan los derechos de autor en este nuevo mundo de la IA. El cuestionamiento aplica tanto a si las obras creadas por IA tienen realmente un autor, como así también, a si se está violando el derecho de autor de los creadores de contenido cuyos sitios han sido crawleados por estos bots para “aprender” a generar el nuevo contenido en cuestión.

En lo que respecto a las ganancias, el debate se centra en que los publishers deberían tener derecho a obtener revenue por el contenido de calidad que han desarrollado. Más aún si se utiliza para generar otro material sin respetar sus derechos de autor.

Opting out del crawling de GPTBot

Sea cual fuera el motivo, si decides que no quieres que el contenido de tu web sea rastreado por el bot de inteligencia artificial de OpenAI, puedes hacer el opt-out de una manera muy sencilla. 

Pero, es importante tener en cuenta que el opt-out solo va a tener efecto desde el momento de su aplicación en adelante. Todos los modelos de IA existentes que ya han absorbido tu contenido para aprender de él, seguirán contando con esa información.

La forma para deshabilitar el crawling de GPTBot es simplemente añadiendo unas líneas de códigos en el archivo robot.txt de tu sitio.

Si lo que deseas es bloquear todo el contenido del sitio ante GPTBot:

User-agent: GPTBot

Disallow: /

Si, en cambio, prefieres bloquear solo algunas secciones de tu sitio, puedes especificar los directorios habilitados y los que no lo estarán:

User-agent: GPTBot
Allow: /directory-A/
Disallow: /directory-B/

En ambos casos, una vez que haya realizado los cambios en el archivo robots.txt, deberás guardarlo y subirlo nuevamente al directorio raíz de tu sitio web.

Finalmente, puedes revisar que los cambios se hayan aplicado correctamente utilizando el informe de robots de Google.

Conclusión

Si bien GPTBot y otros bots de IA son herramientas valiosas, es importante analizar la repercusión que tienen sobre el contenido digital y sus creadores.

Como publisher, debes estar atento a la evolución del panorama de la IA y tomar medidas proactivas para proteger tus derechos. Contar con un socio de monetización como AdGoat puede ayudarte en esta tarea.