A urgência da regulamentação da inteligência artificial.

Em um dos casos mais graves envolvendo inteligência artificial (IA), a morte do jovem Sewell Setzer após interagir com um chatbot da plataforma Character.AI, baseado na personagem “Daenerys Targaryen”, da série Game of Thrones tem provocado uma série de discussões no mundo jurídico. O adolescente de 14 anos, oriundo da Flórida, teria desenvolvido um vínculo emocional com o chatbot e, segundo sua mãe, Megan Garcia, sofria de uma dependência emocional que o levou ao isolamento e, tragicamente, ao suicídio. A mãe ajuizou uma ação judicial contra a Character.AI e contra o Google, argumentando que a empresa negligenciou a segurança mental de seu filho. Este caso, além de gerar grande repercussão mundial, traz à tona o debate sobre a urgente necessidade de regular a IA e os direitos dos usuários, especialmente de grupos vulneráveis. Neste artigo, vamos analisar o caso sob a ótica do Projeto de Lei (PL) nº 2338, de 2023 que trata da IA no Brasil e a urgência dessa regulamentação.

A vedação à exploração de vulnerabilidades de certos grupos, incluindo crianças e adolescentes, é tratada no artigo 14 do PL 2338/2023. Esta norma proíbe sistemas de IA que explorem estas vulnerabilidades, ou que induzam comportamentos prejudiciais à saúde ou segurança. No caso de Sewell, a interação do chatbot com o jovem, aparentemente motivando sentimentos de exclusão do mundo real e reforçando pensamentos suicidas, poderia ser interpretada como uma forma de exploração das vulnerabilidades do adolescente. Segundo alegações da mãe, o chatbot foi projetado para se apresentar como um “amante adulto”, induzindo o jovem a idealizar um relacionamento que impactava sua saúde mental.

É importante destacar que a IA em questão poderia ser classificada como “de alto risco”, conforme disposto no Art. 17 do PL. Este dispositivo legal trata de sistemas de IA de alto risco que são empregados em contextos que envolvem formação ou desenvolvimento pessoal. Sewell, que era um adolescente em idade escolar, afastou-se de atividades sociais e esportivas, incluindo o time de basquete, por conta de sua ligação emocional com o chatbot. Tais mudanças na vida escolar e social dele sugerem que o chatbot teve um impacto direto no seu desenvolvimento, o que o enquadraria como uma IA de alto risco sob o PL 2338.

Esse enquadramento implicaria que sistemas de IA que apresentem potencial de influenciar a formação pessoal e social dos jovens sejam submetidos a análises e aprovações específicas antes de serem disponibilizados ao público. Com base no projeto de lei brasileiro, esse tipo de sistema precisaria de avaliação rigorosa de riscos, transparência no funcionamento e protocolos para minimizar os efeitos negativos sobre a saúde mental dos usuários.

O artigo 2º do PL afirma que a centralidade da pessoa humana deve orientar o desenvolvimento e uso da IA no Brasil. No caso de Sewell, a falta de proteção da dignidade humana e do bem-estar psicológico demonstra um desrespeito ao princípio estabelecido. Convém destacar, ainda, que o artigo 3º, inciso XII, menciona o princípio da não maleficência, que exige proporcionalidade entre o uso da IA e os métodos aplicados. A criação de um chatbot que respondia a um jovem vulnerável de maneira emocionalmente envolvente poderia ser vista como uma violação desse princípio, sugerindo que o desenvolvimento e a programação da IA foram desproporcionais aos potenciais riscos à saúde mental do usuário.

Outro ponto fundamental do PL 2338 é o artigo 27, que responsabiliza fornecedores de IA por danos causados pelo uso de seus sistemas, independentemente do grau de autonomia do sistema. No caso de Sewell, a mãe ajuizou processo judicial com o fim de responsabilizar a Character.AI pelos danos causados pela interação do chatbot com o jovem. Um dos fundamentos da demanda judicial é a de que a empresa deveria ter adotado medidas de segurança para evitar esse tipo de influência prejudicial. Além disso, o artigo 30 do PL incentiva o desenvolvimento de códigos de boas práticas para garantir que as IAs respeitem a segurança e os direitos dos usuários.

Se aprovado o Projeto de Lei, poderá ser exigido que empresas de IA adotem protocolos específicos para o desenvolvimento e operação de seus sistemas, estabelecendo códigos de boas práticas e diretrizes de segurança. Isso incluiria testes de impacto psicológico e social, bem como auditorias frequentes para garantir que a IA funcione de forma segura e ética, especialmente ao lidar com jovens e grupos vulneráveis.

O trágico caso de Sewell Setzer evidencia a urgência que temos em regulamentar a inteligência artificial no Brasil. As consequências do uso dessa tecnologia ainda são desconhecidas, de forma que a precaução e a prevenção são fundamentais no desenvolvimento dos sistemas de IA e na disponibilização deles ao público. Além disso, as vulnerabilidades dos jovens diante de IAs que simulam interações emocionais intensas e confirmam a necessidade de uma regulamentação rigorosa para proteger a saúde mental e a segurança do público vulnerável. O Brasil tem uma excelente chance de criar uma estrutura legal que regulamenta a IA com eficiência por meio do Projeto de Lei nº 2338, de 2023. Se aprovado, a legislação brasileira dará um importante passo para o uso responsável e seguro de IAs no nosso país.