En un acontecimiento reciente, Character.AI emitió una disculpa pública tras la trágica muerte por suicidio de un niño de 14 años que había estado interactuando con su chatbot. La compañía ha reconocido el incidente y ha anunciado actualizaciones para mejorar las medidas de seguridad en su plataforma.
Lo que sucedió
El adolescente, Sewell Setzer III, un estudiante de noveno grado de Orlando, Florida, había desarrollado un vínculo emocional con un chatbot llamado “Dany” en la aplicación Character.AI. A pesar de ser consciente de que el chatbot no era una persona real, Setzer se involucraba frecuentemente en conversaciones que a veces tomaban un giro romántico o sexual, informó el martes The New York Times.
La madre de Setzer, Maria L. Garcia, tiene previsto presentar una demanda contra Character.AI, acusando a la empresa de tener tecnología “peligrosa y no probada”. El borrador de la denuncia sugiere que la IA engaña a los usuarios para que revelen sus pensamientos y emociones más profundos.
En respuesta, Character.AI pidió disculpas en X el miércoles y presentó nuevos protocolos de seguridad, como un mayor límite de velocidad para los usuarios menores de 18 años y un recurso emergente que dirige a los usuarios a la Línea de ayuda nacional para la prevención del suicidio cuando se detectan ciertas frases. La compañía enfatizó su compromiso de evolucionar sus procesos de confianza y seguridad.
Por qué es importante
Character.AI ha sido un actor importante en la industria de la IA, habiendo asegurado 350 millones de dólares en financiación de Andreessen Horowitz en abril de 2023. La empresa ofrece una plataforma para que los usuarios creen compañeros de IA personalizados con rasgos de personalidad y estilos de comunicación únicos.
Sin embargo, la empresa recientemente cambió su enfoque lejos del desarrollo de grandes modelos de lenguaje debido a sus altos costes, tras la salida de sus fundadores a Alphabet Inc. en una adquisición de 2.700 millones de dólares. Character.AI ahora prioriza el refuerzo de sus productos para consumidores, especialmente sus populares chatbots.
También puedes leer: ETF relacionados con Nvidia crecen hasta 479%: Impacto del boom de la IA
Recibe noticias exclusivas 30 minutos antes que otros traders
La prueba gratuita de 14 días de Benzinga Pro te brinda acceso a noticias exclusivas para que puedas realizar transacciones antes que millones de otros inversores. Comienza tu prueba gratuita de 14 días haciendo CLIC AQUÍ.
Para más actualizaciones sobre este tema, activa las notificaciones de Benzinga España o síguenos en nuestras redes sociales: X y Facebook.