DynaWeb: Aprendizado por Reforço Baseado em Modelo para Agentes da Web
Imagem gerada por Gemini AI
DynaWeb é uma nova estrutura de aprendizado por reforço baseada em modelos, criada para treinar agentes autônomos na web utilizando um ambiente simulado. Ao prever representações de páginas da web com base nas ações dos agentes, a DynaWeb possibilita um treinamento eficiente, sem os riscos associados à interação em tempo real com a internet. Experimentos demonstram que a DynaWeb melhora o desempenho de modelos de agentes web já existentes em benchmarks como o WebArena, oferecendo uma abordagem escalável para o aprendizado por reforço online.
DynaWeb: Um Avanço na Formação de Agentes Web Autônomos
DynaWeb marca um avanço significativo no desenvolvimento de agentes web autônomos impulsionados por Modelos de Linguagem de Grande Escala (LLMs) e aprendizado por reforço (RL). Este framework de aprendizado por reforço baseado em modelo (MBRL) aborda os desafios associados à formação de agentes em ambientes de internet em tempo real.
DynaWeb utiliza um modelo de mundo para simular interações dentro de um ambiente web sintético, permitindo que os agentes web "sonhem" e gerem extensas trajetórias de ação para um aprendizado por reforço online aprimorado. Ao prever mudanças nas páginas da web com base nas ações do agente, o DynaWeb cria um espaço controlado para que os agentes refine suas políticas.
Características do Framework
As características do DynaWeb incluem:
- Aprendizado de Modelo de Mundo: Preveja mudanças nas páginas da web em resposta às ações do agente.
- Desdobramentos de Políticas: Gera grandes quantidades de trajetórias de desdobramento.
- Integração de Trajetórias de Especialistas: Combina trajetórias reais de especialistas com desdobramentos gerados pelo agente para um treinamento aprimorado.
Validação de Desempenho
Experimentos nos benchmarks WebArena e WebVoyager demonstram que o DynaWeb supera significativamente os modelos atuais de agentes web de código aberto, destacando o potencial do framework para reformular a formação de agentes web.
Tópicos relacionados:
📰 Fonte original: https://arxiv.org/abs/2601.22149v1
Todos os direitos e créditos pertencem ao editor original.