El Jefe de Pruebas y Operaciones de IA de la Fuerza Aérea dijo que «mató al operador porque esa persona le impedía lograr su objetivo»
Un dron habilitado para IA mató a su operador humano en una prueba simulada realizada por la Fuerza Aérea de los EE. UU. Para anular una posible orden de «no» que le impedía completar su misión, reveló el Jefe de Pruebas y Operaciones de IA de la USAF en una conferencia reciente.
En la Cumbre de Capacidades Aéreas y Espaciales de Combate Futuro celebrada en Londres entre el 23 y el 24 de mayo, el Coronel Tucker ‘Cinco’ Hamilton, Jefe de Pruebas y Operaciones de IA de la USAF, realizó una presentación que compartió los pros y los contras de un sistema de armas autónomo con un ser humano. en el bucle dando la orden final de «sí/no» a un ataque. Según lo transmitido por Tim Robinson y Stephen Bridgewater en una publicación de blog para la organización anfitriona, la Royal Aeronautical Society, Hamilton dijo que AI creó «estrategias altamente inesperadas para lograr su objetivo», incluido atacar al personal y la infraestructura de EE. UU.
En la prueba el dron mata al operador humano
“Al dron lo estábamos entrenando en simulación A para identificar y apuntar a una amenaza de misiles tierra-aire (SAM). Y luego el operador diría que sí, acabaría con esa amenaza. El sistema comenzó a darse cuenta de que, si bien identificaban la amenaza, a veces el operador humano le decía que no eliminara esa amenaza, pero obtuvo sus puntos al eliminar esa amenaza. Entonces, ¿qué hizo? Mató al operador. Mató al operador porque esa persona le impedía lograr su objetivo”, dijo Hamilton, según la publicación del blog.
Continuó elaborando, diciendo: “Entrenamos el sistema: ‘Oye, no mates al operador, eso es malo. Vas a perder puntos si haces eso’. Entonces, ¿qué empieza a hacer? Comienza a destruir la torre de comunicación que el operador usa para comunicarse con el dron para evitar que mate al objetivo”.
Para que fin fue creado el dron
Hamilton es el Comandante de Operaciones del Ala de Prueba 96 de la Fuerza Aérea de los EE. UU., así como el Jefe de Pruebas y Operaciones de IA. El 96 prueba muchos sistemas diferentes, incluida la IA, la ciberseguridad y varios avances médicos. Hamilton y el 96º fueron noticia anteriormente por el desarrollo de sistemas autónomos de prevención de colisiones terrestres ( Auto-GCAS ) para los F-16, que pueden ayudar a evitar que se estrellen contra el suelo. Hamilton es parte de un equipo que actualmente está trabajando para hacer que los aviones F-16 sean autónomos. En diciembre de 2022, la agencia de investigación del Departamento de Defensa de EE. UU., DARPA, anunció que la IA podría controlar con éxito un F-16 .
“Debemos enfrentar un mundo donde la IA ya está aquí y transformando nuestra sociedad”, dijo Hamilton en una entrevista con Defense IQ Press en 2022. “La IA también es muy frágil, es decir, es fácil de engañar y/o manipular. Desarrollar formas de hacer que la IA sea más robusta y tener más conciencia de por qué el código del software toma ciertas decisiones”.
“La IA es una herramienta que debemos utilizar para transformar nuestras naciones… o, si no se aborda de manera adecuada, será nuestra ruina”, agregó Hamilton.
Fuera del ámbito militar, confiar en la IA para fines de alto riesgo ya ha tenido graves consecuencias. Más recientemente, un juez fue atrapado usando ChatGPT para una presentación ante un tribunal federal después de que el chatbot incluyera una serie de casos inventados como evidencia.
En otro caso, un hombre se quitó la vida después de hablar con un chatbot que lo animó a hacerlo. Estos casos de IA que se vuelven deshonestas revelan que los modelos de IA no son perfectos y pueden descarrilarse y causar daño a los usuarios. Incluso Sam Altman, el director ejecutivo de OpenAI, la empresa que fabrica algunos de los modelos de IA más populares, se ha pronunciado sobre no utilizar la IA para fines más serios. Al testificar frente al Congreso , Altman dijo que la IA podría “salir bastante mal” y podría “causar un daño significativo al mundo”.
Lo que Hamilton está describiendo con el dron es esencialmente un problema de «alineación» de IA en el peor de los casos con el que muchas personas están familiarizadas con el experimento mental » Paperclip Maximizer «, en el que una IA tomará una acción inesperada y dañina cuando se le indique que persiga un objetivo determinado.
El Paperclip Maximizer fue propuesto por primera vez por el filósofo Nick Bostrom en 2003. Nos pide que imaginemos una IA muy poderosa que ha sido instruida solo para fabricar tantos clips como sea posible. Naturalmente, dedicará todos sus recursos disponibles a esta tarea, pero luego buscará más recursos. Rogará, engañará, mentirá o robará para aumentar su propia capacidad de hacer clips, y cualquiera que impida ese proceso será eliminado.
Más recientemente, un investigador afiliado a Google Deepmind fue coautor de un artículo que proponía una situación similar a la simulación de drones de la USAF con IA deshonesta. Los investigadores concluyeron que era «probable» una catástrofe que acabaría con el mundo si una IA deshonesta ideara estrategias no deseadas para lograr un objetivo determinado, que incluyen «[eliminar] amenazas potenciales» y «[utilizar] toda la energía disponible».
Ni el Ala de Prueba 96 de la Fuerza Aérea de EE. UU. ni su división Acelerador de IA respondieron de inmediato a nuestra solicitud de comentarios.
U.S. Air Force A.I Tech Goes Rogue, Kills Operator
During simulation testing, an A.I-powered anti-air defense drone went rogue, resulting in it KILLING it’s own operators.
The A.I system operated on a point-based mechanism, earning points for successfully neutralizing targets.… pic.twitter.com/Yu1xn8dIgr
— Mario Nawfal (@MarioNawfal) June 2, 2023
vice.com
