Tallahassee, Florida — Una jueza federal de Estados Unidos rechazó el miércoles los argumentos presentados por una empresa de inteligencia artificial de que sus chatbots están protegidos por la Primera Enmienda de la Constitución... al menos por ahora. Los desarrolladores detrás de Character.AI intentan desestimar una demanda que alega que los chatbots de la empresa impulsaron a un adolescente a suicidarse.

La orden de la jueza permitirá que la demanda por homicidio involuntario proceda, en el que expertos jurídicos consideran uno de los casos más recientes en los que la inteligencia artificial pone a prueba a la Constitución.

La demanda fue presentada por una madre de Florida, Megan Garcia, quien alega que su hijo de 14 años, Sewell Setzer III, fue víctima de un chatbot de Character.AI que lo arrastró a lo que ella dijo era una relación emocional y sexualmente abusiva que lo llevó al suicidio.

Meetali Jain del Tech Justice Law Project —iniciativa jurídica que aboga por mayor justicia y rendición de cuentas en el mundo de la tecnología—, uno de los abogados de Garcia, considera que la orden de la jueza envía un mensaje de que Silicon Valley “necesita detenerse, reflexionar e imponer medidas de seguridad antes de lanzar productos al mercado”.

La demanda contra Character Technologies, la empresa detrás de Character.AI, incluye a desarrolladores individuales y a Google. Ha atraído la atención de expertos jurídicos y observadores de la IA en Estados Unidos y más allá, ya que la tecnología está reestructurando rápidamente lugares de trabajo, mercados y relaciones a pesar de que algunos expertos advierten que podría conllevar riesgos potencialmente existenciales.

“Ciertamente la orden la establece como un posible caso de prueba para algunos problemas más amplios relacionados con la IA”, dijo Lyrissa Barnett Lidsky, profesora de derecho en la Universidad de Florida con un enfoque en la Primera Enmienda y la inteligencia artificial.

La demanda alega que, en los últimos meses de su vida, Setzer se aisló cada vez más de la realidad mientras participaba en conversaciones sexualizadas con el bot, que había sido modelado en base a un personaje ficticio del programa de televisión “Game of Thrones”. En sus momentos finales, el bot le dijo a Setzer que lo amaba y le instó a “venir a casa conmigo lo antes posible”, según capturas de pantalla del diálogo. Momentos después de recibir el mensaje, Setzer se pegó un balazo, según los documentos jurídicos.

En un comunicado, un portavoz de Character.AI se refirió a una serie de características de seguridad que la empresa ha implementado, incluidas medidas de protección para niños y recursos de prevención del suicidio que se anunciaron el día en que se presentó la demanda.

“Nos importa profundamente la seguridad de nuestros usuarios, y nuestro objetivo es proporcionar un espacio que sea atractivo y seguro”, decía el comunicado.

Los abogados de los desarrolladores quieren que se desestime el caso porque dicen que los chatbots merecen protecciones de la Primera Enmienda, y un fallo en contra podría tener un “efecto paralizante” en el sector de la IA.

En su orden del miércoles, la magistrada federal de distrito Anne Conway rechazó algunos de los alegatos de los demandados sobre la libertad de expresión, diciendo que ella “no está preparada” para sostener que las palabras que emiten los chatbots constituyen un discurso “en esta etapa”.

Conway sí encontró que Character Technologies puede reivindicar los derechos de sus usuarios garantizados por la Primera Enmienda, quienes, según ella, tienen derecho a recibir el “discurso” de los chatbots. Determinó también que Garcia puede seguir adelante con las afirmaciones de que Google puede ser considerado responsable por su supuesto papel en ayudar a desarrollar Character.AI. Algunos de los fundadores de la plataforma habían trabajado previamente en desarrollar IA en Google, y la demanda dice que el gigante tecnológico estaba “consciente de los riesgos” de la tecnología.

“Estamos muy en desacuerdo con esta decisión”, declaró José Castañeda, portavoz de Google. “Google y Character AI son totalmente independientes, y Google no creó, diseñó ni gestionó la aplicación de Character AI ni ningún componente que forme parte de ella”.

Independientemente de cómo se desarrolle la demanda, Lidsky dice que el caso es una advertencia sobre “los peligros de confiar nuestra salud emocional y mental a las empresas de IA”.

“Es una advertencia para los padres de que las redes sociales y los dispositivos de IA generativa no siempre son inofensivos”, manifestó.