14/07/2025

El uso ilícito de la IA, arma de polarización e instrumentalización

De los memes a los ‘deepfakes’: ¿hacia dónde va la desinformación generada con IA?

pexels-ron-lach-9783348

Escrito por Raúl Magallón

En los últimos tiempos, la inteligencia artificial se está convirtiendo en un catalizador para la dopamina que alimenta las batallas culturales, desarrollando una esfera pública donde no importa tanto que sea mentira lo que se comparte, sino su capacidad para alimentar relatos e imaginarios. Más que una batalla ideológica, está en juego el desafío de diferenciar estructuralmente entre los hechos y las narrativas alternativas a los hechos.

 

* RAÚL MAGALLÓN

El apagón del pasado 28 de abril puso en evidencia cómo la conversación primaria -el cara a cara físico- fue fundamental para reducir la incertidumbre y el miedo social, pero también para mitigar la necesidad de una información actualizada permanentemente.

La desinformación -y sus ramificaciones- circularon, pero con limitaciones y, sobre todo, con una suspensión temporal en torno al contrato de veracidad que implicaba el desconcierto generado por un acontecimiento “histórico”.

Como explicaba Delia Rodríguez, “estamos muy bien equipados contra el rumor tradicional, y le damos a la comunicación oral informal el valor que tiene: relativo. El rumor digital, incontrolable y más sensible a manipulaciones interesadas, es otra cosa” (Rodríguez, 2025).

Como en el caso de la DANA, la desinformación de carácter ideológico empezó a circular con mayor intensidad a partir del tercer día. En fenómenos disruptivos, y tras el desconcierto en la comprensión de acontecimientos imprevistos, emerge con fuerza la polarización y la instrumentación.

En este escenario, desgraciadamente, la inteligencia artificial (IA) está asumiendo un papel protagonista. Fundéu, que prefiere hablar de “ultrafalso”, señala que la palabra “deepfake” “alude a los sistemas informáticos que permiten, mediante técnicas de inteligencia artificial, desarrollar vídeos manipulados extremadamente realistas, aunque también es frecuente que se aplique a los vídeos así creados. El realismo es tal que puede ser imposible saber que ha sido falseado, lo que sirve, por ejemplo, para propagar contenidos falsos con apariencia de noticias y como ‘pornovenganza’. Este es su uso original, pero en ocasiones se utiliza para manipulaciones similares, como en audio”.

La estrategia de diferentes actores políticos es utilizar la ficción y los memes como alternativa narrativa a los hechos, el periodismo crítico y la información veraz

En su inicio, los deepfakes se utilizaban para el desarrollo de falsos contextos y se servían principalmente de personajes políticos, cantantes y artistas femeninas, para tratar narrativas vinculadas a los ciclos de actualidad. Se podían identificar porque se caracterizaban por la ralentización de movimientos; y, además, destacaban las alteraciones faciales, se reproducía la explotación de estereotipos y generalmente eran compartidas desde cuentas no oficiales (Garriga et al., 2024).

Sin embargo, parte de esto ha cambiado rápidamente y los indicios de imágenes o vídeos creados con IA se basan actualmente en voces robóticas que no modulan la entonación, movimientos de cabeza repetitivos, textura de la piel uniforme, etc. (Maldita, 2025).

En los últimos tiempos, la IA se está convirtiendo en un catalizador para la dopamina que alimenta las batallas culturales, desarrollando una esfera pública donde no importa tanto que sea mentira lo que se comparte, sino su capacidad para alimentar relatos e imaginarios.

Cinco días después del “Gran Apagón” en España, la cuenta oficial de la Casa Blanca publicaba una imagen creada con IA de Donald Trump vestido de papa y, poco después, compartía otra imagen vestido de maestro Jedi, en alusión a La Guerra de las Galaxias.

Más allá de la ruptura de determinadas reglas de comunicación política, la estrategia que se ha ido consolidando por diferentes actores políticos en los últimos años es utilizar la ficción, los memes y las referencias a la cultura popular como alternativa narrativa a los hechos, el periodismo crítico y la información veraz.

El desarrollo de los 'deepfakes' plantea más dudas que certezas en relación con la alfabetización mediática, la legislación y los mecanismos de identificación automatizados

De esta forma, y en poco menos de dos años, hemos visto cómo debatíamos sobre su uso experimental por parte de los medios de comunicación a la existencia de páginas como MrDeepFakes con más de 650.000 miembros (Bellingcat, 2025).

Su facilidad de acceso y de uso se ha acelerado paralelamente al desarrollo de comunidades que lo explotan ideológica o económicamente. En 2024, un análisis de Channel 4 News de los cinco sitios web de deepfakes más visitados reveló que en ellos aparecían casi 4.000 personas famosas.

Asimismo, es creciente el uso de deepfakes para desarrollar narrativas y estrategias de comunicación corporativa o para el intento de timos y estafas a través de la suplantación de voz o imagen en tiempo real, por lo que se trata de un fenómeno en el que hay que seguir explorando sus consecuencias en diferentes campos y desarrollar campañas de concienciación pública.

Como ocurrió hace años con internet, estamos en un momento en el que hay que distinguir entre el acceso a la IA y su uso. La diferencia es que esta vez el acceso y el uso se han acelerado mucho más de lo previsible hasta hace muy poco.

Al respecto, el desarrollo de los deepfakes plantea más dudas que certezas en relación con cuestiones como la alfabetización mediática, la legislación y los mecanismos de identificación automatizados. Además, el uso ilícito relacionado con desnudos y pornografía por parte de las generaciones más jóvenes incorpora debates que van más allá de su propia naturaleza tecnológica.

Como ya ocurrió con internet, la normalización de su uso -sobre todo, por parte de los más jóvenes- hace que su consumo se produzca mucho antes de que la educación formal debata y explique sus limitaciones y disfunciones sociales.

¿Qué medidas han tomado las redes sociales y plataformas contra la desinformación creada por los usuarios con IA?

Para responder a esta pregunta primero es importante recordar que la propia filosofía de las redes sociales y plataformas se basa en el uso de sus propios sistemas de inteligencia artificial para recomendar contenidos personalizados, pero también para intentar identificar contenidos que vulneren sus propias reglas.

En teoría, X (antes Twitter), Meta, TikTok y YouTube (Google) indican en sus políticas que los usuarios deben etiquetar contenido generado con IA. Sin embargo, sigue sin haber una concienciación de los usuarios de que el proceso automatizado de identificación no funciona suficientemente bien.

Además, la moderación humana de estas plataformas está muy limitada por la gran cantidad de contenidos que se publican, y la incentivación de las notas de la comunidad por parte de las redes sociales no está teniendo el suficiente impacto a la hora de identificar y mitigar el alcance de contenidos potencialmente perjudiciales o engañosos.

En cualquier caso, la breve experiencia nos indica que son necesarias etiquetas claras que indiquen cuándo una imagen ha sido creada con inteligencia artificial.

En la actualidad, entre las medidas que se debaten está la desmonetización de cuentas que utilicen la IA sin identificar para generar ingresos, la prohibición de deepfakes políticos o pornográficos en normativas legislativas específicas y el desarrollo de marcas de agua (in)visibles para poder ser identificadas rápidamente por sistemas automatizados.

Sigue siendo fundamental el papel de las organizaciones de 'fact-checking' en la identificación y reducción del impacto de los 'deepfakes'

También hay iniciativas como la C2PA (Coalition for Content Provenance and Authenticity) que trabajan en la procedencia de los datos básicos y fiables sobre el origen de un contenido digital (imagen, vídeo, audio, documento, etc.). Puede incluir información como quién ha creado el archivo, cómo, cuándo y dónde se creó o si se editó.

Así, en teoría, el autor del contenido siempre puede tener el control sobre si se incluyen los datos de procedencia, así como sobre qué datos se incluyen.

La tecnología más allá del mito de progreso es una promesa de sociedad

En esta carrera que identifica progreso y promesa de una nueva sociedad, hay otras cuestiones que parecen ir a paso de cangrejo. La experiencia nos está demostrando que sigue siendo fundamental el papel de las organizaciones de fact-checking en la identificación y reducción del impacto de los deepfakes, la limitación contextual de las notas de la comunidad y, asimismo, que las plataformas podrían tener mayor capacidad de respuesta ante los contenidos dudosos o engañosos, paralizando temporalmente la viralización de este tipo de contenidos hasta que sean etiquetados correctamente.

En línea con lo demostrado durante las últimas décadas, las plataformas siguen necesitando mayores estándares de transparencia, rendición de cuentas y exhaustividad sobre esta cuestión en sus informes periódicos, así como el desarrollo de iniciativas de alfabetización mediática y la incorporación de herramientas de identificación disponibles para los propios usuarios.

Desde el punto de vista legislativo, cabe recordar que en el ámbito europeo está en vigor la Ley de Servicios Digitales (DSA) -aunque su cumplimiento sigue siendo muy limitado en esta cuestión- a la espera de que el Código de Conducta sobre Desinformación de carácter voluntario entre en vigor el 1 de julio de este año y permita una mejor rendición de cuentas.

Entre las posibles debilidades del escenario más próximo sigue estando el acceso a datos por parte de los investigadores, mejorar sus sistemas de transparencia -incluidos los relacionados con el uso de inteligencia artificial- y potenciar los mecanismos de coordinación y corregulación público-privados.

En el ámbito estatal queda por ver cómo se puede profundizar en el derecho de rectificación en contenidos digitales, qué medidas son necesarias desde el punto de vista de los procesos electorales para mitigar su impacto en la opinión pública y el papel de los órganos independientes creados para monitorizar e identificar este tipo de riesgos sistémicos.

En palabras de Rafael Rubio (2025), “el diseño de la tecnología es también el diseño de la sociedad”. En juego, más que una batalla ideológica, está el desafío de diferenciar estructuralmente entre los hechos y las narrativas alternativas a los hechos, pero también el reto de limitar las posibilidades de alimentar esas narrativas.

Entre las posibles debilidades del escenario más próximo sigue estando el acceso a datos por parte de los investigadores, mejorar sus sistemas de transparencia -incluidos los relacionados con el uso de inteligencia artificial- y potenciar los mecanismos de coordinación y corregulación público-privados.

Si queremos seguir defendiendo sociedades abiertas, tendremos que empezar a demandar también tecnologías más abiertas y transparentes que permitan una rendición de cuentas más ágil.

 

Referencias bibliográficas

 

Pie de foto de apertura: Pexels / Ron Lach

 

Contenido relacionado: