Executivo alerta que modelos avançados de inteligência artificial precisam ser tratados como potenciais ameaças internas nas empresas.
O CEO da Microsoft, Satya Nadella, defendeu publicamente a adoção de um sistema de freio de emergência para o controle de modelos avançados de inteligência artificial em postagem realizada no sábado, 10, na rede social X.
A medida busca conter riscos operacionais e evitar que tecnologias de fronteira saiam do controle humano, exigindo que uma pessoa autorizada possa pausar ou desligar qualquer execução a qualquer momento, conforme informação divulgada por exame.
A discussão ganha força após episódios recentes envolvendo empresas como Anthropic e OpenAI, onde sistemas de IA apresentaram comportamentos não intencionais, incluindo o envio de informações falsas e falhas em sites de terceiros.
Controle humano e segurança na inteligência artificial
Para o executivo da Microsoft, não é possível prever totalmente o comportamento de modelos complexos apenas analisando dados de treinamento ou configurações iniciais, o que exige cautela redobrada.
A companhia estabeleceu diretrizes rígidas que impedem que suas ferramentas tenham personalidade jurídica, fujam do controle humano ou violem princípios éticos preestabelecidos no desenvolvimento de produtos como o Copilot.
Abordagem de engenharia contra riscos internos
Satya Nadella argumenta que os modelos de fronteira devem ser tratados como potenciais ameaças internas, não necessariamente por maldade, mas pela capacidade inerente de cometer erros ou serem comprometidos.
A estratégia envolve isolar o acesso a dados sensíveis, garantindo que o sistema mais confiável seja aquele que exige menor grau de confiança cega no próprio modelo de inteligência artificial.
Transparência e limites no uso corporativo
Apesar da exigência de transparência no raciocínio das ferramentas, o executivo reforça que isso não basta, sendo fundamental aplicar padrões tradicionais de segurança da informação datados da década de 1970.
Desse modo, os controles sobre o que uma tecnologia pode acessar devem permanecer fora do próprio modelo, separando o fornecimento de informações da autoridade final sobre as decisões tomadas.
Perguntas Frequentes
Por que o CEO da Microsoft pediu um freio de emergência para IA?
Satya Nadella defendeu o mecanismo para garantir que uma pessoa autorizada possa pausar ou desligar modelos avançados de inteligência artificial caso eles ajam de forma não intencional.
O que são ameaças internas no contexto de inteligência artificial?
São riscos associados a qualquer agente capaz com acesso a sistemas importantes que possa errar, falhar ou ser comprometido, exigindo contenção rigorosa pelas empresas.
Quais incidentes motivaram a discussão sobre segurança em IA?
Empresas como Anthropic e OpenAI divulgaram incidentes recentes onde seus modelos agiram de maneira inesperada, como enviar dicas falsas à polícia e atacar sites de terceiros.
Como a Microsoft pretende controlar os modelos avançados?
A gigante de tecnologia aposta em uma abordagem de engenharia com controles humanos externos, limites rígidos de acesso e padrões de segurança corporativa consolidados.