La aparición de la inteligencia artificial (IA) en el mercado de servicios y productos digitales ha generado un impacto significativo en el sector de las industrias culturales. Artistas globales sostienen que empresas como OpenAI, Google o Meta utilizan información protegida por derechos de autor para capacitar a sus algoritmos en función del modelo de la IA que utilizan. ¿Cómo impactará esto en la industria del arte? ¿El data poisoning[1]es el «arma» contra la IA Generativa?
Fuente: Alfredo Moreno
Desde la personalización de la experiencia cultural hasta la preservación del patrimonio y la mejora en la gestión cultural, la IA ha revolucionado la forma en que se crea, distribuye y consume la cultura. Sin embargo, también plantea desafíos relacionados con la equidad, el empleo, la privacidad y la autenticidad. Desafiando la encrucijada mercado o Estado para la producción de autor.
La inteligencia artificial generativa, con sus aplicaciones crean imágenes a partir de explicaciones textuales como sucede cuando se interactúa con ChatGPT, Dall-e o Midjourney; o en modo recolección de datos provenientes de diversas fuentes. Su entrenamiento se basa en el consumo millones de datos alojados en repositorios o canales de comunicación en base internet como Wikipedia, redes sociales, medios de comunicación y libros. Sin embargo, mucha de esta información está protegida por derechos de autor, lo que inicia una escalada legal donde los productores originales están desprotegidos en países donde el estado no regula la práctica de producción de imágenes en el ámbito de la cultura.
Escritores como Mona Awad y Paul Tremblay, y compañías como Getty Images, han llevado a juicio a compañías de IA, argumentando violación de derechos de autor. En el caso de Getty Images, denunciaron a Stability AI, creadores del modelo generativo de imágenes Stable Diffusion, por copiar más de doce millones de fotografías protegidas. «La infracción del contenido de Getty Images a gran escala fue fundamental para su éxito», afirmaron desde la empresa.
En este contexto, un grupo de desarrolladores, ingenieros y científicos ha creado Nightshade, una herramienta con la que los artistas combaten el fraude de este tipo perpetrado por la IA. Bautizado en honor a las plantas solanáceas, Nightshade sigue el mismo funcionamiento de estas hierbas usadas antaño para envenenar a reyes y emperadores, ahora envenenan datos.
La diferencia radica en que esta herramienta (software) es digital y su objetivo no es la nobleza, sino cualquier IA que amenace el trabajo original de los artistas. Este software que utiliza una técnica conocida como data poisoning, que busca «envenenar» los datos de entrenamiento de los algoritmos, manipulándolos para que las respuestas que devuelvan sean incorrectas.
Creada por el profesor de ciencias computacionales de la Universidad de Chicago Ben Zhao, Nightshade nació con la intención de ayudar a los artistas a combatir a los generadores de arte que funcionan con IA, que se encargan de tomar sus obras como aprendizaje, infringiendo así su copyright.
Para conseguir su objetivo, Nightshade «envenena» a la IA de una forma un tanto peculiar: la herramienta permite a los artistas incluir un píxel invisible en sus obras antes de que lo suban a la red. Si la obra «infectada» es captada por una IA, entonces esta queda infectada hasta su total destrucción.
Esta forma de veneno en línea es capaz de manipular los modelos de IA, engañando a los sistemas haciéndoles creer que la imagen de un gato es, por ejemplo, un globo, o que una tarta es una tostadora. Como resultado, los programas de aprendizaje de IA quedan obsoletos y no pueden «copiar» el trabajo original de los artistas.
Nightshade podría afectar directamente a Midjourney, DALL-E y Stable Diffusion, programas de aprendizaje de IA a los que se les terminaría la libre creatividad (ajena) para su propio beneficio.
¿Qué es el data poisoning o envenenamiento de datos?
Los ataques de data poisoning aparecen con la llegada masiva de los modelos de machine learning al final del siglo XX. Estos ataques intervienen en la fase de entrenamiento de los modelos de machine learning. Un modelo debe ser efectivamente entrenado con datos para funcionar. Progresivamente, el modelo de machine learning va aprendiendo de sus errores y realiza su tarea cada vez mejor.
La técnica fue experimentada por el equipo de Ben Zhao, profesor de la Universidad de Chicago, en un entorno reducido y con la última versión del modelo de Stable Diffusion. Los resultados mostraron que con trescientas imágenes «envenenadas», el algoritmo devolvía imágenes incorrectas, lo que demuestra el potencial de Nightshade para desestabilizar las características generales en un modelo generativo de imágenes.
Como el ataque de data poisoning se realiza en fase de entrenamiento, altera e invalida completamente los resultados del modelo predictivo. Los ataques dirigidos contra el modelo Antispam de Google entre 2017 y 2018 son un ejemplo de cómo funcionan este tipo de ataques. El modelo antispam de Google es entrenado con datos llamados pares de input/etiquetas. El input es un mail o un mensaje de texto y la etiqueta indica si el mensaje es spam o no. Este corrompe y falsifica masivamente los datos de entrenamiento indicando por ejemplo como spam algo que no lo es. Estos ataques alteran la precisión del modelo de machine learning. En el caso de Google, los spammers pueden enviar spams sin que el modelo antispam de Google los detecte. Los ataques de data poisoning también se dirigen a modelos de reconocimiento de carteles de tráfico, utilizados por los vehículos autónomos, por ejemplo. Si este modelo es envenenado, podría causar que se confunda un cartel de alto con uno de límite de velocidad.
Este ataque se vuelve cada vez más accesible para los «envenenadores». Antes, los ataques de data poisoning eran difíciles de implementar porque requerían un gran poder de cálculo, tiempo y dinero. Pero con las nuevas tecnologías disponibles, estos ya no son obstáculos. La técnica TrojanNet Backdoor es uno de los principales problemas. Esta técnica crea una red neuronal que detecta una serie de parches sin necesidad de acceder al modelo original, con lo que puede realizarse desde un computador personal.
¿Cuáles son los peligros del data poisoning?
El hecho de que un ataque de data poisoning se haya vuelto accesible, lo vuelve un verdadero peligro. Una vez que la fase de entrenamiento de un modelo de machine learning ha terminado, es muy difícil corregir el modelo. Se necesitaría un análisis exhaustivo de todos los inputs que hayan entrenado el modelo, detectar los fraudulentos y eliminarlos. Pero si el conjunto de datos es demasiado grande, este análisis es simplemente imposible. La única solución es entrenar nuevamente el modelo.
Las fases de entrenamiento son muy costosas: en el caso del sistema de inteligencia artificial GPT-3 desarrollado por Open IA, la fase de entrenamiento costó alrededor de dieciséis millones de euros.
Más allá del costo económico, el data poisoning puede representar un peligro aún más grande. La inteligencia artificial y los modelos de machine learning ocupan un lugar cada vez más importante en nuestras vidas y en nuestra sociedad y son utilizados para las tareas más importantes, como la salud, el transporte, las investigaciones criminales, etc. Por ejemplo, la policía utilizaIA para luchar contra el crimen mediante reconocimiento facial y modelos predictivos para conocer cuándo y dónde sucederán los crímenes. ¿Qué pasaría si sus modelos de machine learning estuvieran envenenados?
En este contexto es necesario interpelar la neutralidad de la IA. ¿Quién regula este conflicto? ¿Mercado o Estado?
La IA dispone de un tablero de herramientas basadas en software, desarrolladas por programadores con fuerte capacidades de base matemática y de ciencia de datos que optimizan los procesos de identificación de imágenes o producción de contenidos. No obstante, la IA se fundamenta en los datos que capturan expresiones socio-culturales, disponibles en plataformas digitales como música, videos, imágenes, recorridos virtuales o tecno-inmersión de eventos en museos o artísticos y textos de interacciones sociales. A partir de estos datos se realizan procesos de ciencia de datos como la aplicación de algoritmos predictivos que están fuertemente influenciados por la ¿neutralidad? de los datos y son específicos del contexto.
La digitalización de la vida cotidiana tiene actores centrales representados por las grandes corporaciones digitales que concentran globalmente los productos y servicios del mercado. Las Gafam (Google, Amazon, Facebook, Apple y Microsoft) llevan años dominando el sector de las tecnologías de la información, el alza de las BATX, sus homólogas chinas, podría poner en peligro su hegemonía. Las siglas BATX corresponden a Baidu, Alibaba, Tencent y Xiaomi, que controlan desde hace años el mercado chino y se están expandiendo a escala global. Además de estos gigantes tecnológicos asiáticos, las Gafam tienen competidores estadounidenses en algunos sectores, como el de la música en streaming, liderado por Spotify, Netflix, Airbnb, Tesla y Uber (conocidas por las siglas NATU). Sus productos han revolucionado el consumo de películas y series, el alojamiento de viajeros, la industria automovilística y el transporte urbano de viajeros, respectivamente.
«En los últimos años hemos aprendido a diferenciar varios aspectos del impacto de las tecnologías digitales en la producción y la comunicación cultural, también en el acceso. En la primera década del siglo XXI hubo una cierta euforia por las posibilidades de democratización en la circulación de las voces políticas, de las voces culturales que daban las tecnologías, especialmente las redes sociales, a partir de 2006. Luego empezamos a ver la distorsión de los procesos políticos. por la acción de grandes corporaciones como Facebook, Google, que han intervenido en los resultados electorales, pero que intervienen también de un modo menos reconocido en la orientación de las políticas culturales. Han reducido enormemente lo que pueden hacer los Estados. y los movimientos sociales comunitarios gestionando la producción cultural de un país o de la internacional. Y la seleccionan, la esconden, la proclaman, le suben el volumen según el tipo de réditos que produce. Ahí hay un enorme asunto que tiene un aspecto político al que ahora se le está empezando a prestar más atención, sobre todo en Europa y Estados Unidos. En América Latina pareciera que hay poco para decir desde los regímenes gubernamentales; pero especialmente en relación con las próximas elecciones estadounidenses, hay una seria preocupación por la intervención de formas apócrifas de comunicación, los bots. Cuando Bolsonaro ganó, una de las consignas de la gente agrupada en ese gran espacio frente al Palacio de Gobierno de Brasilia era “Viva Facebook” ¿Qué se estaba diciendo? ¿Qué tipo de ciudadanía se está formando o está desapareciendo cuando aparece esta intervención? Hay algo que cuesta mucho pensar en estos términos, pero estamos viviendo la mayor dictadura digital de la historia. O, dicho de otra manera. la dictadura digital de las corporaciones es la mayor dictadura de la historia porque nos involucra a todos globalmente. Está manejada con total opacidad por corporaciones en las que no tenemos ninguna participación, y que pueden modificar la orientación económica, política y el sentido de lo que hacemos. Ahí viene lo cultural. Y si no entramos en esos modos de comunicación sumisa, no podemos trabajar, no podemos comunicarnos con los amigos, con la familia, no podemos educarnos, no podemos producir ciencia. En ese sentido es un absolutismo mucho más radical que cualquier otro que haya habido. Los absolutismos, o las dictaduras anteriores, ocurrían en territorios acotados.»[2]
Industrias culturales la producción basada en IA
Es fundamental abordar estas temáticas de manera ética y responsable; con políticas públicas y presencia del Estado para garantizar que la IA sea una herramienta al servicio de la creatividad humana y la diversidad cultural.
Algunos aspectos que debemos considerar a la hora de analizar la implementación de las inteligencias artificiales en la industria cultural:
- Sesgos algorítmicos: Los algoritmos de IA están condicionados por los datos utilizados para su entrenamiento y a menudo contienen sesgos inherentes, como discriminación de género, racial o económico, o sobre preferencias y gustos que no tienen por qué ser mayoritarios en los consumidores culturales.
- Cambios en las competencias de los profesionales del sector cultural: La automatización impulsada por la IA supone un cambio en las competencias del sector cultural. Para el uso efectivo de esta nueva tecnología es necesario tanto el conocimiento del sector como adquirir nuevas habilidades en el uso de los llamados prompts o comandos para hacer trabajar el algoritmo. Es decir, instrucciones que hay que suministrar a los algoritmos para obtener el resultado deseado. Algunas tareas que antes eran realizadas por profesionales, como la gestión de eventos o la curar contenidos, pueden ser automatizadas. En este contexto, sigue siendo necesaria la visión estratégica y el conocimiento profundo del sector para su supervisión. El «experto» garantiza la implementación positiva de la IA.
- Privacidad y protección de datos: El uso de IA implica la recopilación y análisis de grandes cantidades de datos de las personas. La protección de la privacidad y los datos de los usuarios es un desafío clave que debe estar regulado y controlado en el mundo digital, en el que técnicamente es posible registrar casi cualquier actividad que realiza la persona que interactúa en este contexto.
- Pérdida de autenticidad: Existe el riesgo de que el uso excesivo de las IA en la creación y distribución cultural pueda llevar a una homogeneización de la generación de obras culturales, reduciendo la originalidad y variedad de contenidos. Si las obras de arte o las producciones culturales se generan en su totalidad por algoritmos, podría disminuir la diversidad creativa y la singularidad de las expresiones culturales.
- Violación al derecho de autor: Los procesos de entrenamiento de los algoritmos no respetan el derecho de autor.
- Mercado sin regulación y cuidado: los artistas como defensa utilizarán los procesos de envenenamiento de datos para envenenar el entrenamiento de la IA. La inteligencia artificial generativa se entrena con imágenes que no respetan la fuente privada de producción original.
El mercado de las obras de arte
El colectivo francés Obvious Art, desarrolla el proyecto Neural Burners: un videoarte creado usando una combinación de redes adversariales generativas y algoritmos de superresolución en una gran base de datos de obras de graffiti.
Esta obra de arte única fue creada para el EDH, un programa de educación superior en París, Francia. El propio campus de la escuela es un homenaje al arte callejero, y esta obra se exhibe junto a las obras de algunos de los artistas vivos más icónicos de ese movimiento, como Jon One y Speedy Graffito.
«Los burneres neurales remontan la historia del graffiti. Elegimos este tema específico debido a sus reglas de assumo. El graffiti arte está ligado a la disidencia y a la libertad en su espíritu tanto como en su expresión. Se ha utilizado para denunciar y expresar, de una manera de la que surgieron ciertos patrones. Grandes letras, colores brillantes, palabras flotando en el borde entre lo legible y lo ilegible. Con este proyecto, queríamos dar estas obras de arte como base a los algoritmos para identificar su propio patrón, y crear a partir de él. Esta interpretación se dedica a ser abstracto y puramente visual como estos algoritmos no pueden leer, y mucho menos tienen sentido de las palabras. Esta detección imperfecta de patrones permite la creación de imágenes nuevas y únicas.»
Subastas de arte en tiempos de la IA
Un retrato hecho por un algoritmo rompió nuevos límites al ser vendido por u$s 432.500 y convertirse en la primera obra de arte deIA comercializada en una importante casa de subastas, informó la casa de subastas de arte Christie’s de Estados Unidos.
A primera vista, «Edmond de Belamy», el retrato de un caballero vestido de negro y enmarcado en oro, podría ser cualquier retrato estándar de los siglos XVIII o XIX. De cerca, la imagen es más intrigante. La cara es borrosa y la pintura está aparentemente sin terminar. En lugar de la firma de un artista, en la esquina inferior derecha lleva el sello de una fórmula matemática.
Se trata de una creación del colectivo francés Obvious Art, cuyo objetivo es utilizar la inteligencia artificial en el arte. Para hacer la pintura, el artista Pierre Fautrel realizó quince mil retratos clásicos a través de un software.
Una vez que el algoritmoaprendió las reglas del retrato, utilizando un nuevo algoritmo desarrollado por el investigador de GoogleIan Goodfellow, generó una serie de nuevas imágenes por sí mismo, dijo Fautrel.
El colectivo francés seleccionó a once, y los llamó la familia Belamy, uno de los cuales consiguió u$s 432.500 dólares en una subasta de Christie’s, en Nueva York. Lo que vendieron no es la imagen digital, sino la tela, una tela física, con la firma del artista, condensada en una fórmula matemática.
Para crear la obra Edmond de Belamy, lo que hicieron fue reunir bases de datos de pinturas de los siglos XVII, XVIII, XIX que sirvieron para entrenar el algoritmo. Utilizaron redes generativas antagónicas (GAN), esto es, un sistema compuesto por dos redes neuronales: una primera red que trata la información que recibe y propone una muestra de obras y otra que hace las veces de seleccionador y filtra las obras generadas por la primera. Así, cualquier obra que logre saltar la segunda red será en general una obra de mucha mayor calidad que cuando la IA trabaja con una sola red.
Desde las industrias culturales y creativas, la IA implica un salto de productividad formidable. Un caso son las empresas que desarrollan videojuegos o en las productoras cinematográficas y supongamos que necesitan editar algunas escenas y borrar parte de un efecto en las mismas, o cambiarle el color al automóvil que pasa en segundo plano. Esa no es una tarea tan sencilla, es bastante más compleja de realizar en una escena en movimiento que en una imagen estática.
Existen sistemas de IA que permiten seleccionar determinados elementos, para que luego el software los borre o los modifique, no solo en un cuadro puntual sino en toda la escena. Esto obviamente representa un salto en eficiencia y en productividad sin precedentes respecto a los procesos anteriores de edición.
En este marco, estamos asistiendo a la aparición de un sinnúmero de nuevas empresas que desarrollan aplicaciones y sistemas de IA de este tipo, pensados para los sectores creativos. Ello derivará en la creación de nuevos puestos de trabajo calificados.
Si antes mencionamos a los y las artistas y las industrias culturales, esto es, si pensamos en términos de la cadena de valor, de los eslabones de la creación, la producción y la distribución, tendríamos que referirnos también a la situación del público o audiencia, que ocupan el eslabón del acceso o consumo, al final de la cadena.
Para el público, todas estas técnicas o sistemas de IA empleados por los artistas y las industrias derivarán, necesariamente, en una explosión de la oferta cultural: los libros, películas, pinturas y creaciones de toda clase realizadas, en parte gracias a sistemas de IA, harán incalculablemente mayor la oferta cultural a la que tenemos acceso.
Los algoritmos de recomendación llevan ya bastantes años en el mercado, funcionan con IA y permiten a las empresas conocer el perfil y los gustos culturales de los usuarios de una forma muy fina.
Puede suceder, que las grandes plataformas generen obras culturales personalizadas, no para una cierta comunidad, sino para un individuo. Algunos movimientos recientes, por ejemplo, la contratación de expertos en la generación de música automática por parte de grandes plataformas de streaming, podrían ofrecer música funcional, que no precisa de una letra ni de un cantante, y que puede adaptarse en función de nuestros estados de ánimo.
Estos nuevos negocios puede ser una gran oportunidad en términos comerciales, pero si lo pensamo desde el punto de vista de la cohesión social, una cultura atomizada y desprovista de símbolos, identidades y sentido podría hacer que todo el andamiaje que nos mantiene juntos se resquebraje.
Por cierto, ¿es viable una sociedad en la que no existe una cultura compartida?
El riesgo en términos culturales es que los países del sur terminemos importando nuestra propia producción cultural. Si la música argentina se empieza a componer con sistemas de aprendizaje profundo que son alimentados con canciones argentinas de décadas pasadas, se podría presentar que la brecha digital se transforme en una brecha creativa. Nos encontraríamos en una situación en la cual ciertas zonas del planeta se volverían más creativas que otras, una situación absolutamente inédita.
Otro desafío se relaciona con la dificultad de determinar quién es el titular de los derechos de autor en las obras creadas con IA. Se podría argumentar que los derechos son del usuario final, que fue quien pensó el comando o prompt para que la computadora generara la imagen.
Si alimentamos las computadoras con obras del siglo XVII, XVIII, XIX, no hay problema, porque son insumos de dominio público. Pero ¿qué pasa si alimentamos el algoritmo con imágenes de pinturas de Picasso? Ahí reside un problema, porque pertenece al dominio privado. ¿No podrían acaso los herederos de Picasso argumentar que esas obras no se deben utilizar para data mining o para alimentar los procesos de IA, porque esas pinturas forman parte de la creatividad de Pablo Picasso?
¿Nightshade, un envenenamiento como herramienta de los artistas para combatir la copia o defender el derecho de autor? ¿Acaso Nightshade no es una alternativa de nuevos negocios?
La IA puede configurarse como un «colonizador digital» que impone ciertos valores y principios en la sociedad, como ha ocurrido en nuestros territorios latinoamericanos a manos de otras culturas que se materializan económicamente.