Monda & Lironda

REVISTA AZUAYA ESPECIALIZADA EN CRÍTICA CULTURAL Y ESCRITURA CREATIVA

NÚMERO 17

MARZO 2024 | CUENCA, ECUADOR

Juan Pablo Pazmiño: IA, derechos humanos y cajas negras

Por: Rosalía Vázquez Moreno

 

Juan Pablo Pazmiño en una de las aulas en la Universidad Católica de Cuenca. Fotografía de Jaime Villavicencio intervenida por Juan Contreras.

La escena va más o menos así: el astronauta David Bowman —Dave— está en una pequeña cápsula frente a una colosal nave espacial, el Discovery 1. La amplitud del espacio negro que rodea a Dave es inconmensurable y la distancia que lo separa de la nave y la certeza de sobrevivir es corta. Dave le pide a HAL 9000 —un computador algorítmico programado heurísticamente que se ha instalado en todos los rincones del Discovery 1 en forma de cámara— que abra las puertas de la nave. HAL 9000 le responde que no lo hará y cuando Dave le pregunta por qué, esta inteligencia artificial (IA) replica: «Esta conversación ya no tiene propósito. Adiós». Dave se queda afuera y no hay forma de entrar. Entonces, Dave y audiencia comprenden, con terror, que el astronauta ha perdido el control no solo de la IA, la nave y la misión, sino que ahora HAL 9000 dirige el Discovery 1 y el único suplemento de oxígeno.

Aunque 2001: Odisea del espacio de Kubrick es una de las primeras películas que vienen a la mente cuando pensamos en las representaciones de la IA en la cultura popular, en la filmografía mundial sobran escenas como esta, situaciones en las que una IA se transforma en un antagonista que debe ser derrotado —pensemos en Skynet de Terminator o V.I.K.I. en Yo, Robot—. Todos estos son personajes que han llevado la representación de la conciencia artificial a un extremo aterrador: la agresión que resulta de la imposibilidad de controlarlas o de entender sus procesos de razonamiento.

El año pasado ChatGPT —especializada en generar texto— y Midjourney —enfocada en la generación de imágenes— fueron puestas a disposición del público. Su uso masivo y acelerado ha puesto nervioso al sector creativo, se ha hablado mucho sobre la posibilidad de reemplazar la labor de escritores o ilustradores con estas IA. Por otro lado, preocupa que se usen para crear imágenes o videos falsos, como las imágenes del Papa Francisco que se viralizaron hace poco, las que confundieron a innumerables usuarios quienes, debido al realismo que se puede alcanzar con las IA, no podían distinguir lo que era real de lo que no.

Además, el 22 de marzo de este año, varios expertos en el campo de la IA —entre ellos Elon Musk y Steve Wozniak, cofundador de Apple— publicaron una carta abierta en la que pedían que las investigaciones se detuviesen, por lo menos durante seis meses. En la carta, se pregunta: «¿Debemos permitir a las máquinas inundar nuestros canales de información con propaganda y mentiras? ¿Debemos automatizar todos los trabajos, incluidos los gratificantes? […] ¿Debemos arriesgarnos a perder el control de nuestra civilización?».

Teniendo en cuenta este escenario, en Monda & Lironda nos preguntamos qué tan lejos estamos de que una IA reemplace a nuestros escritores, editores y diseñadores, qué tan lejos estamos de quedarnos fuera de la nave, sin oxígeno y sin forma de volver.

Por eso y antes de entregarnos al pánico, decidimos juntarnos con Juan Pablo Pazmiño, docente investigador y director de la carrera de Robótica e Inteligencia Artificial de la Universidad Católica de Cuenca, para conversar sobre el desarrollo vertiginoso de la IA y el incremento de su presencia en nuestra vida cotidiana.

Para empezar y aclarar algunos conceptos, podrías explicarnos ¿cuál es la diferencia entre la inteligencia artificial (IA) y la inteligencia artificial general (IAG)?

Hasta el momento, la IA que tenemos se destina a acciones específicas y necesita entrenamiento humano, es decir, una persona le da consignas para que se comporte de una manera, según entradas o especificaciones determinadas. Así, la IA aprende y luego nos da respuestas. En cambio, la IAG trata de entrenarse a sí misma con patrones que probablemente nosotros le dimos —o no— como entrada y, luego, ella empieza a tomar decisiones. Los temores son amplios cuando hablamos de IAG, porque su existencia implicaría que las máquinas van a decidir sin la necesidad de un entrenamiento humano. Todavía no hemos creado IAG, pero se está trabajando en eso. Yo, sinceramente, espero que todavía no se logren avances, porque lo más complejo de lo que se viene es la parte moral. Mientras no tengamos una visión ética, vamos a entrar en grandes conflictos. Lo que sucede es que la IA es desarrollada solamente por ingenieros o ingenieros de software, pero ahí no hay expertos en relaciones humanas, no hay un filósofo o alguien que realmente ponga los frenos necesarios en estos procesos.

¿En qué consiste la definición de caja negra en la IA?

Una IA funciona a través de una red neuronal para que, ante una acción, se genere una reacción. Es decir, tiene patrones de entrenamiento de entrada y tiene salidas que dan una respuesta. La información pasa por el sistema neuronal de entrenamiento, que consiste en algunos procesos matemáticos que nosotros diseñamos. A cada neurona se le da un peso y una función —por ejemplo, yo quiero que esta tenga un peso de -1, esta de 2, esta de 5—, pero hay que tener en cuenta que estos son elementos matemáticos que pueden estar equivocados y que deben ajustarse. Si se sabe cómo es un proceso de entrenamiento, se sabe cómo se va a comportar la IA; se sabe, además, qué hay adentro de esa caja que, en primera instancia, es transparente.

Sin embargo, también hay una caja negra, es decir, un desconocimiento sobre qué hay dentro, entre la entrada y la salida. Ya que la reacción que se consigue de la IA depende de las neuronas que están en el algoritmo, cuando se desconoce el proceso medio, se desconoce cómo se trata la información en la red neuronal y no se sabe cómo se va a comportar la IA.

Espero que siempre tengamos transparencia, que sepamos qué está pasando y cómo una IA toma decisiones, caso contrario, el algoritmo puede ser impredecible. La idea es que se den procesos transparentes en todo sentido y que no existan cajas negras.

¿Las cajas negras son intencionales o involuntarias?

Algunas son intencionales, totalmente. No nos olvidemos que nosotros nos fijamos en el lado bueno y útil de la IA, pero hay un lado oculto y oscuro que está presente. Por ejemplo, este momento, cuando se habla de la guerra entre Rusia y Ucrania, no se escucha sobre todos los ataques cibernéticos que ocurren. Para esos ataques se usa IA: yo quiero dejar a una ciudad sin agua, ¡fácil!, actúo sobre los sistemas de control de las bombas hidráulicas y se acabó; quiero dejar a otra ciudad sin electricidad, ¡perfecto!, actúo sobre la planta nuclear accediendo a sus computadoras. Por esto es necesario hablar de ciberseguridad.

¿Existen otros conceptos que creas que son esenciales para comprender el impacto que el desarrollo de la IA tendrá en nuestra vida?

Hay muchos, por ejemplo, el machine learning o el aprendizaje de las máquinas que es trascendental. Las fábricas pueden tener mejor productividad justamente por la inteligencia con la que se dote a las máquinas. Esto nos lleva a otros conceptos como la automatización, que consiste en mejorar el nivel de productividad de una fábrica, ciudad o país, con base en procesos de IA. Es algo que ocurre en varias industrias cuencanas como Continental, Cartopel o Graiman, que ya tienen procesos industrializados con IA.

Pero el concepto más importante que debemos entender es el de ética, porque tengamos lo que tengamos, si nos empezamos a equivocar en el campo médico, educativo, social o industrial, con respecto al uso que le damos a la IA, podemos caminar hacia a una catástrofe a nivel laboral. Creo que el desarrollo de la IA es un proceso al que, simplemente, tenemos que adaptarnos. Es una herramienta, hay que verla así, desde todas las profesiones.

Desde que se puso a disposición del público el ChatGPT o Midjourney, muchos trabajadores del sector creativo están preocupados por la posibilidad más tangible de ser reemplazados por estas tecnologías o porque se precarice su situación laboral y salarial. ¿Qué les dirías?, ¿sus miedos están fundados o infundados?

Creo que su preocupación es totalmente comprensible. Todos tenemos temores sobre el camino hacia dónde va la IA. Hay un fino hilo entre lo que es la inteligencia y el pensamiento. La inteligencia puede ser simulada, incluso, creo que en muchos casos la IA ha superado a la humana, pero eso no ocurre con el pensamiento, porque el pensamiento es propio del ser humano, es lo que genera autenticidad, creatividad e innovación, algo que la IA todavía no logra y que nunca tendrá… al menos, mientras no se dé la IAG [risas].

La IA no es creativa y no es crítica, no piensa. Bajo esos parámetros no nos va a poder sustituir. Más bien, yo la veo como una excelente y poderosa herramienta para complementar, aportar y mejorar las habilidades que nosotros ya tenemos en nuestras profesiones.

En Estados Unidos se planea legislar el uso responsable de la IA —sobre todo de cara a las elecciones— como una manera de hacer frente a la desinformación, «a que internet se vea inundada de falsos textos, fotos y vídeos, y que los ciudadanos no puedan ser capaces de distinguir lo que es real» (El País, 2023, s.p.). ¿Qué opinas de esto? ¿Se debería legislar el uso de la IA?, de ser así, ¿qué se debería tener en cuenta?

Totalmente, la IA se debe legislar, pero hay pasos fundamentales que se deben tomar. Lo primero es la protección de datos. En este momento ya hay una normativa a nivel nacional y, desde hace algunos años, en otros países. Bajo este perfil tenemos algunas restricciones interesantes. Segundo, esta legislación debe ser muy efectiva y, si bien, la que existe es solamente para proteger datos —que no se sepa un número de cédula, una dirección—, la legislación debe cambiar drásticamente y considerar temas de IA. La protección no solo implica esos números, sino también incluye imágenes propias de seres humanos, por ejemplo. En tercer lugar, yo creo que debemos empezar a hablar de la IA desde las escuelas, para que exista una adecuada educación digital que trate sobre el uso acertado de esta tecnología: cómo vamos a ocuparla y hacia dónde va enfocada. Hay que saber que, al final de cuentas, esta se crea para ayudar al ser humano y eso debe estar clarísimo desde la escuela. La alfabetización digital y el conocimiento sobre la IA son claves.

También es importante tener en cuenta que la IA tiene el potencial de ser utilizada para difundir desinformación y manipular la opinión pública, especialmente en contextos políticos y electorales. Por eso, la educación y la alfabetización son fundamentales para asegurar que los ciudadanos puedan distinguir la desinformación de lo real y tomar decisiones informadas.

En una entrevista con el New York Times, Geoffrey Hinton, informático galardonado, dijo que «Es difícil ver cómo se puede evitar que los malos actores lo usen [habla de la IA] para cosas malas» (El País, 2023, s.p.). ¿Qué opinas de esto? ¿Cuál es el peor escenario al que nos enfrentamos si se usa mal esta tecnología?

Las IA que tenemos ahora nos pueden llevar a cosas bastante complejas, por ejemplo, armas de guerra o drones, no solamente con funcionalidad de espías, sino con el perfil de ataques programados. Como ya mencioné, un caso claro de esto es el que se vive en el campo de la ciberseguridad de la guerra entre Rusia y Ucrania.

Cuando hablamos de malas intenciones, lo que ocurre es que el ser humano empieza a autodestruirse con las cosas que ha creado. «El hombre es el lobo del hombre», en ese sentido, es como si hubiéramos creado un lobo que empieza a atacarnos, con base al uso de armas y procesos de ciberseguridad violada.

En este contexto, en la carta abierta se pide que se suspenda la investigación en IA por seis meses. ¿Se debería hacerlo?

Es un tema a debatir. No entiendo para qué quieren suspender la investigación. La IA nos está dando una mano muy importante en el campo educativo, médico, social; hay impactos poderosos y benévolos cuando hablamos de ella. Creo que falta la legislación, que falta un proceso de enseñanza sobre las redes neuronales y que haya alguien que inserte procesos de buenas relaciones humanas en el desarrollo de estas tecnologías. Todo lo que la ONU, lo que la Agenda 2030 promulga debería estar formando parte de los algoritmos de entrenamiento de las IA, para que se sepa que es un proceso para el bien, para la construcción del ser humano, no para su destrucción.

Deberíamos actuar de esta manera, no desde el temor, pues la tecnología, al final de cuentas, nos está llevando a un mejor estilo de vida. ¿Qué es lo que nos falta entonces?: legislar sobre el uso de las IA. Un paro de seis meses o de un año o dos no tiene mucho sentido.

Como es sabido, la IA suele tener sesgos cognitivos. ¿Crees que en este contexto se pueda promover la discriminación e invisibilización de las poblaciones vulnerables al usarla?

Pienso que sí, definitivamente. Yo creo que la discriminación en ese sentido es un hecho y es 100 por ciento real. Tenemos que actuar sobre esto, porque van a existir sesgos en las redes neuronales, ya que son entrenadas por seres humanos. Hay veces que se toman algoritmos realizados en otros lugares y se los aplica acá. Por ejemplo, la selección de personal se realiza con una red neuronal. No es lo mismo que corra una red neuronal así en África, en Australia o en Perú, Ecuador, Colombia, etcétera. Una red neuronal no está destinada para procesos tan puntuales y tan afectivos. Por eso, van a existir sesgos, no solamente raciales, sino también de género. En ese sentido, hay que considerar que, si una máquina empieza a tomar decisiones, podemos caer en lo que ya se está viviendo, por ejemplo, con respecto a la falta de representación del sexo femenino en la tecnología, lo cual es un error gravísimo.

Juan Pablo Pazmiño en una de las aulas en la Universidad Católica de Cuenca. Fotografía de Jaime Villavicencio intervenida por Juan Contreras.

¿Cuáles son los retos de la IA y de sus desarrolladores en el futuro?

Creo que tenemos que hablar de la brecha digital y además de quiénes tienen acceso a la IA. El grupo es selecto y pequeño todavía. La gente de sesenta años en adelante, con los temores que tiene hacia la digitalización, ni siquiera la ha usado aún. Ni hablar de las zonas rurales, donde ni siquiera tenemos acceso a internet. La brecha es muy grande y ese es uno de los retos que debemos superar, porque debería haber IA para todos.

En segundo lugar, el reto fundamental que tiene la IA es el manejo de la ética en todo sentido, lo que va ligado con procesos filosóficos, morales y con la educación que debemos tener respecto a su uso.

En tercer lugar —podríamos hablar de muchos otros, pero estos son los más importantes—, está la transparencia. La caja negra no debería ni existir, deberíamos saber qué se está trabajando en el proceso de un algoritmo de IA, para saber qué es lo que está haciendo una máquina.

Además, es vital que los empresarios y todos sepamos el impacto laboral que tiene esta tecnología. Una IA no viene a reemplazar al ser humano, viene para ser un apoyo, a mejorar procesos. La IA no tiene pensamiento crítico, creatividad o ingenio; el ser humano, sí.

Finalmente, lo principal es promulgar los derechos humanos, que formen parte de los algoritmos de la IA.

¿Hacemos bien en tener miedo o, en el mejor de los casos, mirar con desconfianza y ser cautelosos ante la IA?

El ser humano es el que puede evaluar críticamente lo que está pasando. Temor a lo desconocido, como personas, lo podemos tener, pero, más bien, yo diría que hay que ser cautos, sigilosos y críticos. Al final de cuentas, esta tecnología es creada por personas. Mientras las usemos con ética y moral, las IA van a ser para bien, así que no deberíamos tenerles miedo.

¿Hay algo que no te haya preguntado y quieras decir?

Diría que el esfuerzo que se está haciendo desde la academia es fundamental. Aquí en la universidad creamos una IA para reconocer la covid a través del análisis del procesamiento digital de radiografías que permite saber si esa imagen pertenece o no a una persona con covid. Actualmente estamos mejorándola para que se enfoque en casos de influenza. Así, el diagnóstico y las decisiones que toma un médico, a través de sus conocimientos, pueden apoyarse y consolidarse gracias al análisis de una IA. Además, en educación, estamos trabajando en un pequeño robot para el aprendizaje de kichwa y shuar en las comunidades. Tú le dices una palabra en español y él te responde en kichwa o shuar usando patrones de reconocimiento de voz con base en una IA.

La academia tiene que empezar a trabajar en la implementación de la IA en diversas áreas, porque las posibilidades de aplicación son grandes. Yo creo que no podemos ceder ante el pánico; tenemos que hablar, conversar y entender que la legislación sobre el uso de la IA es lo más importante.

Referencias bibliográficas

Bengio, Y.; Musk, E.; Wozniak, S.; et al. (2023, marzo 2). Pause Giant AI Experiments: An Open Letter. Future of Life. https://futureoflife.org/open-letter/pause-giant-ai-experiments/

El País. (2023, mayo 2). Geoffrey Hinton, el ‘padrino’ de la IA, deja Google y avisa de los peligros de esta tecnología. El País. https://elpais.com/tecnologia/2023-05-02/geoffrey-hinton-el-padrino-de-la-ia-deja-google-y-avisa-de-los-peligros-de-esta-tecnologia.html

Sánchez-Vallejo, M. A. (2023, mayo 4). La Casa Blanca tratará de mitigar los riesgos de la inteligencia artificial con más inversión pública. El País. https://elpais.com/tecnologia/2023-05-04/la-casa-blanca-tratara-de-mitigar-los-riesgos-de-la-inteligencia-artificial-con-mas-inversion-publica.html

Rosalía Vázquez Moreno (Cuenca, Ecuador). Es licenciada en Lengua, Literatura y Lenguajes Audiovisuales por la Universidad de Cuenca y máster en Escritura Creativa por la Universidad Complutense de Madrid. Es escritora, editora, correctora de estilo, lectora y fotógrafa aficionada. Sus textos han sido incluidos en Wiwasapa (antología artística) (2017), Apenas memoria. Cuentos de transición (2020), ¿Hasta cuándo con el tal Chiriboga? (2021) y la novena edición de la revista literaria Salud a la esponja (2021). Ha escrito para varias publicaciones como Inhaus, la Gaceta Cultural República Sur y L’escalier Magazine. Le gustan los museos, el café y el rock ecuatoriano.

Scroll al inicio