CRoSS: Um Conjunto de Simulação Robótica Contínua para Aprendizado por Reforço Escalável com Alta Diversidade de Tarefas e Simulação Física Realista
Imagem gerada por Gemini AI
Pesquisadores desenvolveram o Continual Robotic Simulation Suite (CRoSS), uma referência para aprendizado por reforço contínuo (CRL) utilizando robôs simulados no Gazebo. O sistema inclui um robô de duas rodas e um braço robótico com sete articulações, permitindo a execução de diversas tarefas, como seguir linhas e alcançar metas. O CRoSS oferece variantes baseadas apenas em cinemática para um desempenho mais ágil e conta com uma configuração em contêineres que facilita o acesso e a reprodutibilidade, demonstrando algoritmos padrão de aprendizado por reforço. Essa suíte tem como objetivo aprimorar a pesquisa em CRL, proporcionando um ambiente de testes realista e extensível.
Nova Suíte de Benchmark CRoSS Melhora o Aprendizado por Reforço Contínuo para Robótica
Uma suíte de benchmark inovadora chamada Suíte de Simulação Robótica Contínua (CRoSS) foi introduzida para avançar o aprendizado por reforço contínuo (CRL) ao enfrentar o desafio de agentes que aprendem a partir de uma sequência de tarefas sem esquecer as políticas adquiridas anteriormente. Desenvolvida usando o simulador Gazebo, a CRoSS facilita a pesquisa em ambientes robóticos com alto realismo físico.
A CRoSS utiliza duas plataformas robóticas distintas: um robô de tração diferencial de duas rodas e um braço robótico de sete juntas. O robô de tração diferencial navega por vários cenários, incluindo tarefas de seguir linhas e empurrar objetos, utilizando sensores de lidar, câmera e para-choques. O braço robótico foca em tarefas de alcance de objetivos, oferecendo controle cartesiano de alto nível e controle de ângulo de junta de baixo nível. A CRoSS também introduz variantes apenas cinemáticas para o braço robótico, permitindo que as simulações sejam executadas de forma significativamente mais rápida quando leituras de sensores físicos não são necessárias.
Extensibilidade e Reprodutibilidade
A CRoSS foi projetada com a extensibilidade em mente, permitindo que pesquisadores incorporem uma ampla gama de sensores simulados em seus estudos. Para melhorar a reprodutibilidade, a suíte inclui uma configuração em contêiner usando Apptainer, garantindo que os usuários possam executar o benchmark sem configuração extensa.
O desempenho de algoritmos padrão de aprendizado por reforço, como Redes Q Profundas (DQN) e métodos de gradiente de política, foi relatado dentro da suíte, ilustrando sua eficácia como um benchmark escalável para pesquisas em CRL. A introdução da CRoSS marca um avanço significativo no desenvolvimento de sistemas de aprendizado robótico sofisticados.
Tópicos relacionados:
📰 Fonte original: https://arxiv.org/abs/2602.04868v1
Todos os direitos e créditos pertencem ao editor original.