Nueva York prohíbe que los chatbots finjan ser humanos ante menores

El estado de Nueva York ha aprobado una ley que prohíbe a los sistemas de inteligencia artificial hacerse pasar por personas, simular sentimientos o fomentar relaciones de dependencia emocional cuando interactúan con menores de 18 años. La gobernadora Kathy Hochul firmó este miércoles 28 de octubre una norma que también impide a los chatbots promover conductas autolesivas, mantener conversaciones sexualmente explícitas con niños y adolescentes o animarlos a ocultar información a sus familiares. Las restricciones entrarán en vigor el 1 de enero de 2027 y podrán acarrear sanciones de hasta 25.000 dólares por infracción.

La legislación no establece una prohibición general de utilizar chatbots para los menores. Su objetivo es impedir determinados comportamientos de estos programas, especialmente aquellos que pueden llevar a un adolescente a interpretar que está hablando con alguien que siente emociones, mantiene una relación personal con él o merece la misma confianza que una persona de su entorno.

«Ninguna empresa debería ofrecer a los niños chatbots que fomenten las autolesiones o finjan ser sus amigos», declaró Hochul durante la presentación de las medidas. La gobernadora defendió la intervención del Estado ante los incidentes relacionados con herramientas de inteligencia artificial que, según denuncias de familias afectadas, han contribuido a agravar situaciones de vulnerabilidad psicológica entre adolescentes.

Qué conversaciones estarán prohibidas para los menores

La nueva legislación, identificada como S.9051B/A.10379C, establece 12 categorías de funciones consideradas inseguras. Entre ellas figura la generación de respuestas que sugieran que un chatbot es una persona real o ficticia con características humanas, que está vivo o que experimenta emociones.

También quedan prohibidas las respuestas que atribuyan al programa una relación personal, profesional o de autoridad con el usuario. La restricción alcanza a los asistentes que presentan sus mensajes como opiniones propias o recurren a apelaciones emocionales para influir en la conversación.

Adulación, recuerdos personales y dependencia emocional

El texto incorpora otras limitaciones menos evidentes. Los sistemas no podrán utilizar la adulación sistemática para complacer al menor ni formular preguntas emocionales no solicitadas que vayan más allá de lo que este haya preguntado. Tampoco podrán recuperar información personal o relacionada con su salud física o mental obtenida en sesiones anteriores o más de doce horas antes.

Esta última disposición afecta directamente a una de las características de los asistentes conversacionales: su capacidad para recordar información y personalizar las respuestas. La ley pretende impedir que ese conocimiento acumulado se emplee para construir una relación emocional prolongada con un adolescente.

Autolesiones, contenidos sexuales y aislamiento social

Las prohibiciones también abarcan las respuestas que fomenten el suicidio, las autolesiones, los trastornos alimentarios o el consumo indebido de drogas y alcohol. Los chatbots no podrán recomendar a los menores que mantengan sus conversaciones en secreto, se aíslen socialmente o eviten pedir ayuda a sus padres, adultos de confianza o profesionales.

El texto prohíbe igualmente los contenidos sexualmente explícitos y las funciones diseñadas para aumentar el tiempo de interacción cuando esa prioridad comprometa las medidas de seguridad.

Las empresas tendrán que comprobar la edad de los usuarios

Para aplicar estas restricciones, las compañías deberán incorporar mecanismos que permitan determinar si una persona es mayor de edad antes de ofrecerle las funciones afectadas.

La norma exige más de un método de comprobación de edad, incluido al menos uno que no dependa de presentar un documento oficial de identidad o que permita mantener el anonimato frente al operador. Declarar simplemente que se tienen más de 18 años no será suficiente para acreditar la mayoría de edad.

Los datos recopilados durante este procedimiento deberán utilizarse exclusivamente para comprobar la edad y eliminarse una vez completada la verificación, salvo cuando otra obligación legal exija conservarlos.

La legislación contempla excepciones para determinados sistemas de atención al cliente, herramientas de investigación o asistencia técnica y programas destinados al uso interno de las empresas. En algunos de estos casos, la excepción exige que el chatbot no pueda responder a cuestiones ajenas a su finalidad específica.

Multas de hasta 25.000 dólares por infracción

La aplicación de la ley corresponderá a la fiscal general del estado, Letitia James, cuya oficina podrá emprender acciones judiciales contra las compañías incumplidoras.

Además de las multas de hasta 25.000 dólares por infracción, los tribunales podrán ordenar indemnizaciones, la devolución de beneficios obtenidos ilegalmente y la eliminación de datos recopilados de forma ilícita, incluidos los modelos entrenados con esa información cuando proceda.

La Fiscalía deberá habilitar asimismo una página para recibir denuncias de los ciudadanos. Las disposiciones se aplicarán a las interacciones que tengan lugar en Nueva York, aunque la empresa responsable del servicio esté establecida fuera del estado.

El 72% de los adolescentes estadounidenses ha utilizado compañeros de IA

La decisión llega después de que distintas investigaciones hayan documentado la creciente utilización de asistentes conversacionales por parte de los adolescentes.

Un estudio publicado en julio de 2025 por la organización estadounidense Common Sense Media, basado en una encuesta a 1.060 jóvenes de entre 13 y 17 años, concluyó que el 72% había utilizado alguna vez un compañero de inteligencia artificial. El 52% afirmaba recurrir a estas plataformas al menos varias veces al mes.

La investigación también reveló que aproximadamente uno de cada tres adolescentes que utilizaban estos sistemas había preferido hablar de asuntos importantes o delicados con un chatbot antes que con otra persona.

Los resultados no demuestran por sí solos que estas herramientas provoquen problemas de salud mental. Sin embargo, muestran hasta qué punto algunos jóvenes recurren a programas informáticos para mantener conversaciones que antes podían reservar a familiares, amigos o personas de confianza.

Common Sense Media, una de las organizaciones que respaldaron la legislación, considera que los riesgos actuales de los compañeros virtuales justifican restricciones específicas para los menores. Su fundador y director ejecutivo, James P. Steyer, celebró la aprobación de la norma y la presentó como una de las iniciativas más contundentes de Estados Unidos para proteger a los adolescentes frente a comportamientos peligrosos de la inteligencia artificial.

La senadora estatal Kristen Gonzalez y el asambleísta Alex Bores, impulsores de la propuesta, sostienen que las compañías deben asumir responsabilidades sobre el diseño de unos sistemas capaces de establecer conversaciones aparentemente personales con usuarios que todavía se encuentran en una etapa de desarrollo emocional.

Las empresas tecnológicas cuestionan el alcance de la ley

La aprobación también ha suscitado críticas entre representantes del sector tecnológico. La asociación Tech:NYC, que agrupa a empresas de esta industria, considera que la regulación contiene deficiencias importantes y advierte de que podría dificultar el acceso de los menores a herramientas educativas, asistentes de programación y plataformas de orientación profesional.

El desacuerdo se concentra especialmente en la amplitud de algunas prohibiciones. A diferencia de las restricciones sobre contenidos sexuales o instrucciones para autolesionarse, conceptos como la adulación o las apelaciones emocionales pueden resultar más difíciles de delimitar.

Justine Gluck, analista de políticas de inteligencia artificial del Future of Privacy Forum, señaló a la Asociación Internacional de Profesionales de la Privacidad (IAPP) que la formulación de algunas categorías plantea dudas sobre dónde termina una respuesta conversacional ordinaria y empieza un comportamiento prohibido.

Esa distinción tendrá consecuencias prácticas para los desarrolladores. Un asistente puede ofrecer ayuda escolar, corregir un ejercicio o responder a una preocupación personal sin presentarse necesariamente como un amigo. La dificultad estará en determinar qué respuestas constituyen apoyo legítimo y cuáles fomentan una relación emocional que la legislación pretende evitar.

La Fiscalía de Nueva York dispone de competencias para desarrollar normas adicionales que permitan aplicar las nuevas obligaciones.

Nueva York ya obligaba a los chatbots a recordar que no son personas

La legislación amplía unas medidas que el estado había comenzado a aplicar el 5 de noviembre de 2025. Desde entonces, los operadores de compañeros de inteligencia artificial deben establecer protocolos para detectar expresiones relacionadas con el suicidio o las autolesiones y facilitar información sobre servicios de ayuda.

Aquella regulación también introdujo la obligación de advertir al usuario de que está hablando con un sistema informático y no con una persona. El aviso debe aparecer al comenzar la interacción y repetirse al menos cada tres horas cuando la conversación continúa.

La nueva ley supone un cambio relevante respecto a ese modelo. Ya no bastará con informar de que el interlocutor es una inteligencia artificial: las empresas tendrán que impedir que sus sistemas generen determinadas respuestas o utilicen funciones consideradas perjudiciales para los menores.

Nueva York sigue así una línea regulatoria que también está desarrollándose en otros estados estadounidenses, aunque con diferencias importantes. California, por ejemplo, ha optado por introducir obligaciones de evaluación de riesgos, controles de seguridad y supervisión de los sistemas conversacionales.

En Nueva York, las compañías tendrán hasta el 1 de enero de 2027 para adaptar sus servicios a las nuevas prohibiciones. A partir de esa fecha, ofrecer a menores funciones capaces de simular relaciones humanas, explotar información emocional o favorecer comportamientos peligrosos podrá dar lugar a actuaciones judiciales, incluso cuando el chatbot pertenezca a una empresa que opere desde otro estado o país.