Já notamos que 2025 é o ano (pelo menos do início) do trabalho com Agentes de Inteligência Artificial para soluções operacionais (obviamente, com controle computacional)..

Estamos observando novos modelos capazes de compreender e executar comandos em linguagem natural para realizar tarefas em interfaces gráficas, aproximando-se da forma como humanos operam dispositivos.

Vamos revisar aqui o artigo de Sager et al (2025), AI Agents for Computer Use: A Review of Instruction-based Computer Control, GUI Automation, and Operator Assistants.

O conceito principal é sobre os Agentes de Controle Computacional Baseados em Instruções (CCAs – Computer Control Agents).

Você pode acessar o paper original clicando aqui.

O Que São os Agentes de Controle Computacional?

Os CCAs são sistemas de IA projetados para receber comandos em linguagem natural e executar tarefas diretamente em interfaces gráficas de usuários (GUI), como faria um humano.

Eles utilizam uma combinação de visão computacional e modelos de linguagem para observar o ambiente (exemplo: capturando screenshots ou analisando elementos HTML) e interagir através de ações como cliques, digitação e execução de código.

Essa abordagem se diferencia da automação tradicional, que depende de scripts rígidos ou APIs específicas.

Em vez disso, os CCAs são treinados para compreender o contexto e adaptar suas ações a diferentes softwares e sistemas operacionais.

Vimos algo muito parecido com o anúncio do agente Operator da OpenAI.

Exemplo de Funcionamento dos Agentes de IA para controle de uma aplicação móvel

Para ilustrar o funcionamento dos Agentes de Controle Computacional (CCAs), a imagem acima apresenta um fluxo detalhado de como um agente recebe uma instrução em linguagem natural e executa uma sequência de ações para cumprir a tarefa.

No exemplo, o agente recebe um comando informando que foi discutida uma reunião com o Prof. Doe durante o horário de almoço, e que deve verificar datas disponíveis e propor horários via e-mail.

A partir disso, ele inicia um processo de interação com o dispositivo para cumprir a solicitação.

O primeiro passo é abrir o aplicativo de calendário para visualizar os eventos da semana e identificar períodos livres.

Após coletar essas informações, o agente precisa acessar o aplicativo de e-mail, onde inicia a redação de uma nova mensagem.

O conteúdo do e-mail é gerado com base nos horários disponíveis encontrados no calendário, garantindo que as sugestões estejam alinhadas com a solicitação inicial.

Após revisar os detalhes, o agente conclui a tarefa enviando a mensagem ao destinatário.

Na parte conceitual, a imagem também apresenta a estrutura que permite esse tipo de interação.

O ambiente representa os diferentes dispositivos e plataformas onde os agentes operam, como computadores, navegadores e sistemas operacionais móveis.

Para tomar decisões, os agentes coletam informações observando a interface de diversas formas, seja por imagens capturadas da tela, textos estruturados como HTML, combinações de diferentes tipos de dados ou mesmo registros indiretos da atividade do sistema.

Com essas informações, eles interagem com o ambiente por meio de diferentes tipos de ações, que podem incluir movimentação do mouse, interação direta com elementos da interface, execução de comandos adaptados à tarefa ou até mesmo a geração de código para automatizar processos.

O processamento dessas informações ocorre dentro do próprio agente, que utiliza memória para armazenar contexto, um modelo de decisão para definir a melhor ação a ser tomada e mecanismos de aprendizado contínuo para melhorar sua capacidade de resposta ao longo do tempo.

Esse fluxo demonstra o potencial dos agentes de IA para automatizar tarefas cotidianas e interagir de forma eficiente com dispositivos, sugerindo um futuro no qual sistemas cada vez mais sofisticados poderão operar de maneira autônoma em diferentes plataformas e aplicações.

A Taxonomia dos CCAs: Três Perspectivas Fundamentais

O estudo analisa os agentes sob três perspectivas principais:

Perspectiva do Ambiente: Examina os diferentes tipos de interfaces computacionais, como navegadores, sistemas operacionais móveis (Android, iOS) e desktops. Cada ambiente tem suas peculiaridades, como métodos distintos para representar e capturar informações.

Perspectiva da Interação: Define como os agentes percebem e interagem com o ambiente. Isso envolve a forma como as informações são coletadas (por meio de screenshots, HTML ou logs do sistema) e os tipos de ações disponíveis (como comandos de teclado, mouse ou geração de código executável).

Perspectiva do Agente: Foca no design dos CCAs, explorando como eles tomam decisões, aprendem com a experiência e melhoram sua performance ao longo do tempo. Aqui se distingue entre:

• Agentes Especializados, que são treinados para tarefas específicas utilizando aprendizado por reforço e imitação de usuários;
• Agentes Fundamentais, que aproveitam grandes modelos de linguagem (LLMs) e modelos multimodais (VLMs) para generalizar e executar uma ampla gama de tarefas sem necessidade de ajustes manuais extensivos.

Desafios na Implementação de CCAs

Apesar do avanço tecnológico, os CCAs ainda enfrentam diversos desafios para serem implementados de maneira robusta no mundo real:

Ambientes Dinâmicos: Interfaces gráficas frequentemente mudam com atualizações de software, exigindo que os agentes consigam se adaptar a novas configurações sem necessidade de re-treinamento constante.

Precisão e Confiabilidade: Decidir corretamente onde clicar ou o que digitar em diferentes contextos ainda é um desafio para muitos modelos.

Segurança e Privacidade: Como esses agentes acessam e operam diretamente em dispositivos dos usuários, há preocupações com segurança e uso indevido de dados sensíveis.

O Futuro dos Agentes de IA para Controle Computacional

O estudo revisou 86 agentes CCAs e 33 conjuntos de dados relevantes, identificando tendências promissoras para o futuro dessa tecnologia.

Um dos principais avanços é a fusão de técnicas de aprendizado profundo com grandes modelos de linguagem e visão computacional, permitindo que os agentes atuem de forma mais autônoma e eficiente.

Empresas como Google DeepMind, Anthropic e OpenAI já estão explorando soluções comerciais baseadas nesses conceitos, e a expectativa é que, neste e nos próximos anos, os CCAs se tornem assistentes pessoais altamente sofisticados, capazes de automatizar tarefas complexas com uma simples instrução em linguagem natural.

Gostou deste conteúdo?

Quer se aprofundar ainda mais no universo da Inteligência Artificial e suas aplicações no marketing e aquisição de clientes?

É só clicar em algum lugar aqui da tela, tem um botão do WhatsApp e eu falo com você.

Referência

SAGER, Pascal J. et al. AI Agents for Computer Use: A Review of Instruction-based Computer Control, GUI Automation, and Operator Assistants. arXiv:2501.16150v1 [cs.AI] 27 Jan 2025.