DynaWeb: Modellbasiertes Verstärkendes Lernen für Web-Agenten
Von Gemini AI generiertes Bild
DynaWeb ist ein neues modellbasiertes Framework für verstärkendes Lernen, das entwickelt wurde, um autonome Web-Agenten in einer simulierten Webumgebung zu trainieren. Durch die Vorhersage von Webseitenrepräsentationen basierend auf den Aktionen der Agenten ermöglicht es ein effizientes Training, ohne die Risiken einer Interaktion mit dem realen Internet einzugehen. Experimente zeigen, dass DynaWeb die Leistung bestehender Web-Agenten-Modelle auf Benchmarks wie WebArena verbessert und einen skalierbaren Ansatz für Online-Verstärkungslernen bietet.
DynaWeb: Ein Durchbruch im Training autonomer Web-Agenten
DynaWeb stellt einen bedeutenden Fortschritt in der Entwicklung autonomer Web-Agenten dar, die von großen Sprachmodellen (LLMs) und verstärkendem Lernen (RL) angetrieben werden. Dieses modellbasierte verstärkende Lernframework (MBRL) geht Herausforderungen beim Training von Agenten in Echtzeit-Internetumgebungen an.
DynaWeb nutzt ein Weltmodell, um Interaktionen innerhalb einer synthetischen Webumgebung zu simulieren, wodurch Web-Agenten "träumen" und umfangreiche Aktionsverläufe für verbessertes Online-Verstärkungslernen generieren können. Durch die Vorhersage von Änderungen an Webseiten basierend auf den Aktionen der Agenten schafft DynaWeb einen kontrollierten Raum, in dem Agenten ihre Strategien verfeinern können.
Merkmale des Frameworks
Die Merkmale von DynaWeb umfassen:
- Weltmodell-Lernen: Vorhersage von Änderungen an Webseiten als Reaktion auf die Aktionen der Agenten.
- Politik-Rollouts: Generierung großer Mengen von Rollout-Verläufen.
- Integration von Expertenverläufen: Kombination realer Expertenverläufe mit von Agenten generierten Rollouts für ein verbessertes Training.
Leistungsvalidierung
Experimente an den Benchmarks WebArena und WebVoyager zeigen, dass DynaWeb die aktuellen, führenden Open-Source-Web-Agenten-Modelle erheblich übertrifft und das Potenzial des Frameworks zur Neugestaltung des Trainings von Web-Agenten unterstreicht.
Verwandte Themen:
📰 Originalquelle: https://arxiv.org/abs/2601.22149v1
Alle Rechte und Urheberrechte liegen beim ursprünglichen Herausgeber.