Autoridades britânicas estão alertando as organizações sobre a integração de chatbots baseados em inteligência artificial (IA) em seus negócios, dizendo que pesquisas têm mostrado cada vez mais que elas podem ser enganadas para que realizem tarefas prejudiciais.

Em duas publicações de blog nesta quarta-feira (30), o Centro Nacional de Segurança Cibernética do Reino Unido (NCSC) disse que os especialistas ainda não conseguiram lidar com os possíveis problemas de segurança vinculados a algoritmos que podem gerar interações que parecem humanas — apelidadas de modelos de linguagem grande ou LLMs.

As ferramentas alimentadas por IA estão sendo usadas precocemente como chatbots, que alguns imaginam substituindo não apenas as pesquisas na internet, mas também o trabalho de atendimento ao cliente e ligações de vendas.

O NCSC disse que isso poderia trazer riscos, especialmente se tais modelos fossem conectados a outros elementos dos processos de negócios da organização. Acadêmicos e pesquisadores encontraram repetidamente maneiras de subverter chatbots, alimentando-os com comandos desonestos ou enganando-os para que contornassem suas próprias barreiras de proteção integradas.

Por exemplo, um chatbot com tecnologia de IA implantado por um banco pode ser induzido a fazer uma transação não autorizada se um hacker estruturar sua consulta corretamente.

“As organizações que criam serviços que usam LLMs precisam ter cuidado, da mesma forma que teriam se estivessem usando um produto ou biblioteca de código que estivesse em fase beta”, disse o NCSC em uma postagem de seu blog, referindo-se a lançamentos de software experimental.

“Eles podem não permitir que esse produto seja envolvido na realização de transações em nome do cliente e, esperançosamente, não confiariam totalmente nele. Cuidado semelhante deve ser aplicado aos LLMs.”

Autoridades de todo o mundo estão tendo dificuldades com a ascensão de LLMs, como o ChatGPT, da OpenAI, que as empresas estão incorporando numa vasta gama de serviços, incluindo vendas e atendimento ao cliente. As implicações de segurança da IA ainda estão em foco, com as autoridades dos EUA e do Canadá dizendo que viram hackers adotarem a tecnologia.