Cada vez más ingenieros de IA están perdiendo su trabajo por hablar abiertamente de los riesgos de la IA. Y quieren protección

Leopold Aschenbrenner, investigador de OpenAI que trabajaba en la seguridad de sus modelos, fue despedido recientemente. La razón: plantear problemas sobre la seguridad de sus modelos y compartir un documento que según OpenAI contenía información sensible, acusación que él niega.

En el pasado hemos visto movimientos de este tipo. Geoffrey Hinton, considerado uno de los "padrinos de la IA" abandonó Google en mayo de 2023 para alertar libremente de sus "aterradores" riesgos.

Antes, a finales de 2020, había ocurrido algo parecido con Timnit Gebru, una ingeniera que trabajaba en la división ética de IA de Google. Publicó un estudio alertando de los riesgos de la IA a pesar de que sus jefes le pidieron que no lo hiciera, y acabó siendo despedida. Todo ello ha dejado clara una cosa.

Si trabajas en IA y adviertes de sus riesgos, te juegas tu empleo.

En Xataka

Meta no para de presumir de que la IA de Llama es Open Source. Eso no es del todo cierto

Ese ha sido el principal motivo de que ace unas horas un grupo de exempleados de OpenAI y Google DeepMind publicaran una carta abierta con un ruego. Según ellos, las empresas de inteligencia artificial deberían permitir hablar de los riesgos de la IA sin miedo a posibles represalias.

Titulada "Derecho a advertir sobre la inteligencia artificial avanzada", la misiva reúne las ideas de esos 13 exempleados —otros pueden sumarse a la petición— y resume una situación preocupante en la industria: la de que se está avanzando demasiado rápido y sin tener en cuenta los riesgos asociados a esos avances.

Los firmantes argumentan que aunque la IA puede traer ventajas para toda la humanidad, también plantea riesgos serios como el de agrandar las desigualdades, ser usada para la manipulación o la desinformación e incluso "la pérdida de control de sistemas de IA autónomos que dé como resultado potencial la extinción de la humanidad".

En The New York Times citan las palabras de Daniel Kokotajlo, un exinvestigador de la división de gobernanza de OpenAI. Según él la empresa "está realmente entusiasmada con la creación de una AGI, y están corriendo de forma temeraria para ser los primeros en llegar allí".

En la carta abierta estos ingenieros piden que entre otras cosas las empresas no tomen represalias contra empleados que hablan de los riesgos. También reclaman la posibilidad de compartir información confidencial relacionada con esos riesgos si otros procesos para advertir del peligro fracasan.

Las represalias aparentemente están ahí: según datos recientes, OpenAI hacía uso de acuerdos de confidencialidad muy restrictivos que tenían un impacto directo en este tipo de divulgación de riesgos: si quieres criticarme, adiós a tus acciones. Sam Altman negó tales términos y añadió que están revisando ese tipo de condiciones si un empleado deja la compañía.

La carta abierta ha sido firmada por personalidades como Yoshua Bengio, el citado Geoffrey Hinton o Stuart J. Russell. Para otros expertos como Yann LeCun, responsable de IA en Meta, "todo el debate sobre el riesgo existencial [de la IA] es exagerado y muy prematuro". Eso no quita para que poder hablar de esos riesgos por parte de la comunidad que trabaja en el desarrollo de estos sistemas sea ética y moralmente lo ideal.

Imagen | Tri-Star Pictures

En Xataka | Sam Altman liderará el comité de seguridad de OpenAI que vigila los desarrollos de Sam Altman. No parece una gran idea