Aplicação de aprendizado por reforço profundo em uma atividade de pick and place executada por um manipulador robótico de 6 graus de liberdade.

Abstract

Aplicações com robôs autônomos tem desempenhado um papel importante na indústria e na vida cotidiana. Dentre elas, as atividades de manipulação e deslocamento de objetos se destacam pela ampla variedade de possíveis aplicações. Essas atividades em ambientes estáticos conhecidos podem ser implementadas por meio de lógicas previstas pelo desenvolvedor, porém isso pode ser inviável em ambientes dinâmicos. Técnicas de Aprendizado de Máquinas têm procurado substituir a programação pré-definida pelo processo de ensinar o robô como agir, utilizando por exemplo algoritmos de Aprendizado por Reforço (AR). Esta dissertação apresenta a implementação de dois algoritmos de AR, Deep Deterministic Policy Gradient (DDPG) e Proximal Policy Optimization (PPO), para controle de orientação e posição de um manipulador robótico de 6 graus de liberdade (6-DoF). Os resultados foram analisados por meio de gráficos e simulações robóticas no software CoppeliaSim, e demonstram que o DDPG teve uma convergência mais rápida do aprendizado em atividades mais simples, porém se a complexidade do problema aumenta, ele pode não obter um comportamento satisfatório. Já o PPO consegue resolver problemas mais complexos, entretanto limita a taxa de convergência para o melhor resultado a fim de evitar instabilidade no aprendizado.