PPGCC - Programa de Pós-graduação em Ciência da Computação
URI permanente desta comunidadehttp://www.hml.repositorio.ufop.br/handle/123456789/596
Navegar
2 resultados
Resultados da Pesquisa
Item Desenvolvimento de uma abordagem para reconhecimento contínuo da Língua Brasileira de Sinais utilizando imagens dinâmicas e técnicas de aprendizagem profunda.(2020) Escobedo Cárdenas, Edwin Jonathan; Cámara Chávez, Guillermo; Cámara Chávez, Guillermo; Ferreira, Anderson Almeida; Gomes, David Menotti; Luz, Eduardo José da Silva; Schwartz, William RobsonDurante os últimos anos, têm sido desenvolvidas diversas abordagens para o reconhecimento contínuo de línguas de sinais para melhorar a qualidade de vida das pessoas surdas e diminuir a barreira de comunicação entre elas e a sociedade. Analogamente, a incorporação do dispositivo Microsoft Kinect gerou uma revolução na área de visão computacional, fornecendo novas informações multimodais (dados RGB-D e do esqueleto) que podem ser utilizadas para gerar ou aprender novos descritores robustos e melhorar as taxas de reconhecimento em diversos problemas. Assim, nessa pesquisa de doutorado, apresenta-se uma metodologia para o reconhecimento de sinais contínuos da Língua Brasileira de Sinais (LIBRAS) utilizando como dados de entrada de um sinal as informações fornecidas pelo dispositivo Kinect. Diferentemente dos outros trabalhos na literatura, que utilizam arquiteturas de redes mais complexas (como as 3DCNN e BLSTM), o método proposto utiliza janelas deslizantes para procurar segmentos candidatos de serem sinais dentro de um fluxo continuo de video. Do mesmo modo, propõe-se o uso de imagens dinâmicas para codificar as informações espaço-temporais fornecidas pelo Kinect. Assim, pode-se reduzir a complexidade da arquitetura CNN proposta para o reconhecimento dos sinais. Finalmente, baseado no conceito de pares mínimos, um novo banco de dados da Língua Brasileira de Sinais chamado LIBRAS-UFOP é proposto. A base LIBRAS-UFOP possui tanto sinais isolados (56 classes de sinais) como sinais contínuos (37 classes); nós avaliamos nosso método usando essa base e o comparamos com os métodos propostos na literatura. Os resultados experimentais nos datasets LIBRAS-UFOP e LSA64 demostraram a validade do método proposto baseado em imagens dinâmicas como uma alternativa para o reconhecimento de língua de sinais.Item Reconhecimento de sinais estáticos a partir de informação RGB-D usando um Descritor Kernel.(2014) Rodriguez, Karla Catherine Otiniano; Cámara Chávez, GuillermoDurante os últimos anos, têm sido desenvolvidas diversas abordagens para o reconhecimento de sinais. Muitas delas baseadas somente em informação de intensidade, o que tornava o pré-processamento mais complexo. Devido ao avanço da tecnologia, têm sido desenvolvidos novos dispositivos para a obtenção de informação mais complexa, além da informação de intensidade também é fornecida informação de profundidade e localização. O sensor Kinect é um deles e foi criado no ano de 2010. Com esse dispositivo, é possível obter dois tipos de informações: intensidade e profundidade. Isso significa uma vantagem quando se quer desenvolver um modelo para reconhecimento de sinais. Como já foi dito, usar somente informação de intensidade, que é o mais usual, implica ter processos mais complexos e algumas vezes imprecisos. Para solucionar isso, é possível usar informação de profundidade que, além de conter informação da mão, facilita o pré-processamento. Nesta dissertação apresentamos um modelo para o reconhecimento de sinais estáticos, usando informação de intensidade e profundidade (RGB-D) de cada sinal. As imagens de intensidade oferecem informação visual do sinal. Enquanto que as imagens de profundidade permitem obter informação da forma da mão com a qual é executado o sinal. Além disso, usando este último tipo de imagem, o processo de segmentação é facilitado. Uma avaliação entre o descritor local SIFT e o descritor kernel gradiente foi realizada na etapa de extração de características. A partir das características obtidas, foi extraída informação semântica usando a técnica BoW (Bag-of-Words), para então finalmente classificar os sinais usando SVM (Support Vector Machine). Os resultados reportados nesta dissertação se mostraram superiores a outros modelos da literatura. Foi alcançado um incremento na acurácia de 20%, sendo o melhor resultado de 95,63% de acurácia média, isso demonstra que o modelo proposto é promissor no reconhecimento de sinais.