Identificando Cédulas de Real para Portadores de Deficiência VisualDouglas Veronez Santana Filipe Coelho Rodolfo Araújo A partir disso será proposta a solução a ser utilizada neste trabalho. realizar o processo de identificação da cédula e então exibir sua identificação através de um arquivo de áudio. será desenvolvido o protótipo de uma aplicação para desktop que irá capturar a imagem da cédula através de uma webcam. Para isso.Objetivo O objetivo deste trabalho é demonstrar a utilização de técnicas de processamento de imagens e reconhecimento de padrões para reconhecer cédulas de Real. A aplicação deverá reconhecer notas de 2. A imagem da cédula deverá ser processada para realização de uma comparação com as notas conhecidas. 10. 50 e 100. 20. moeda corrente brasileira. . Abaixo é feita uma revisão bibliográfica que abrange técnicas e procedimentos que poderão ser utilizados para solucionar o problema proposto. 5. é empregado o algoritmo ORB para extração dos pontos de atributos e o algoritmo de força bruta para etapa de matching. Caso essa etapa seja concluída com sucesso. Figura 1 . Nesse trabalho. Esses descritores representam a frente e o verso da mesma. Este algoritmo é utilizado. Cada cédula a ser reconhecida pelo sistema possui dois descritores armazenados previamente em disco para posterior comparação. é executado um arquivo de áudio que informa valor da cédula reconhecida. um para execução em computador pessoal e outro para execução no sistema operacional Android.Referências Bibliográficas Artigo 1: Recognition of Brazilian Currency Notes via Feature Point Extraction Ideia Geral O artigo aborda o uso de algoritmos de pontos de atributo no desenvolvimento de um aplicativo que auxilia consumidores deficientes visuais a identificar cédulas de Real no momento da compra. . para categorizar as cédulas coletando características específicas de cada nota para que posteriormente estas características sejam comparadas com as características das cédulas que o usuário informar.Diagrama de execução do sistema proposto. Dessa forma. Para isso. foram desenvolvidos dois protótipos. Os descritores destes pontos de interesse são comparados com os modelo arquivados em disco que descreve cada cédula. Algoritmos Utilizados Algoritmo ORB É um algoritmo para extrair pontos de interesse. o sistema extrai os pontos de interesse nos frames capturados pela câmera ou webcam. em primeiro lugar. Cada ponto de interesse passa por um teste que verifica se ele satisfaz a seguinte equação: f(∆sx. ∆ sy) . y da imagem capturada pelo frame e delta consiste em um valor limite pré-determinado. Sistema de Captação A estratégia proposta consiste em captar o frame recebido pela câmera e extrair os pontos de interesse contidos nesse frame. é buscado um semelhante na imagem de arquivo.Algoritmo de Força Bruta É utilizado para obter correspondência entre os pontos de interesse encontrados no frame e os arquivados nos descritores das cédulas. é utilizado um algoritmo para calcular a correspondência entre dois descritores em questão. é calculado o valor de f( ∆sx. os descritores são vetores N dimensionais que descrevem um ponto. usando o algoritmo ORB. Assim. que é utilizado para representar as correspondências entre as imagens. . Algoritmo para determinar um bom ponto de interesse. o algoritmo executa uma busca na qual. yf) e um vetor que descreve a vizinhança deste ponto. Para cada ponto de interesse avaliado no frame . For If End if End for Resultados O algoritmo proposto neste trabalho foi testado em uma aplicação para desktop e em uma aplicação para o sistema operacional Android. ∆ sy) é o valor da distância dos pontos de interesse entre duas vizinhanças na posição x. Isso resultará em uma estrutura de dados que indicará a correspondência entre os pontos de interesse contidos no frame e no arquivo. para cada ponto de interesse da imagem no frame. Caso ele seja maior ou igual a um limite específico . caso contrário ele é descartado. O resultado é um vetor de instâncias. Após isso. Os pontos de interesse extraídos do frame são comparados com aqueles arquivados em disco para identificação de correspondência entre os descritores. Cada ponto de interesse consiste em uma posição central em coordenadas(xf. percorrendo-se todo o campo de possibilidades de correlação. De maneira geral. um ponto em comum entre a descrição da nota em arquivo e o frame é associado à região. e 100% avaliando o verso das cédulas. sendo elas de 2. . neste projeto não será implementada uma versão para o sistema operacional Android.3% de acerto médio avaliando a frente das cédulas. 10. já que é invariante à rotação.Em ambas as aplicações foram quinze testadas notas de cada valor. O algoritmo ORB mostra-se bem prático. têm o mesmo objetivo. para o teste realizado em sistema desktop. Dessa forma. Mesmo assim. Estes são os principais motivos para que este projeto utilize a técnica demonstrada no artigo 1.77% de acerto médio avaliando a frente das cédulas. Entretanto. obteve-se 97. As notas estavam sujeitas a rasuras. o artigo 1 demonstrou uma técnica eficiente para o reconhecimento das notas. amassados e outros tipos de imperfeições. 20.33% de acerto médio avaliando o verso das cédulas e obteve 85. 50 e 100 reais. o algoritmo obteve 93. Para o teste realizado no sistema para o sistema operacional Android. utilizado como referência. além disso. 5. Relacionamento com este projeto: Este projeto e o artigo 1. o algoritmo de força bruta também mostrou-se eficiente na busca por correspondência entre as imagens. gc é o valor de cinza do pixel central p e gi é o valor de cinza do i-ésimo pixel num raio de até oito pixels onde i = 0. é formada uma matriz na qual é realizada uma comparação do valor do pixel central com o valor dos pixels vizinhos. Assim. 1. Este procedimento é representado pela seguinte equação: (1) . Local Binary Pattern Nesse algoritmo os pixels da vizinhança são convertidos em código binário 0 ou 1 utilizando o valor de cinza do pixel central com threshold. resultando no valor do LBP. É um algoritmo muito utilizado para técnicas de análise de textura e para extração de atributos. uma ilustração detalhada do processo descrito pela equação (1) e (2): ... Após esta etapa realiza-se o somatório dos valores da nova matriz. nesse trabalho é utilizado o algoritmo LBP(Local Binary Pattern). fazendo com que seja formado um padrão ordenado de acordo com suas posições relativas ao pixel central. Onde S(x) é a função de threshold definida pela função abaixo: Abaixo. Ou seja. atribuindo 0 aos pixels vizinhos com valor inferior e 1 aos pixels vizinhos com valor superior. 7. .Artigo 2: Recognition of Indian Paper Currency based on LBP Ideia Geral O objetivo deste artigo é propor um algoritmo para reconhecer cédulas indianas utilizando processamento de imagens.. . Para fins de teste. 1000 rúpias). Figura 3 . São consideradas também quatro posições de análise das cédulas. Extração de atributo. 50. 100. Todas as imagens devidamente vetorizadas são salvas e serão utilizadas para posterior comparação. . 500. Ler a imagem de teste da cédula e extrair suas características como descrito anteriormente.Fig 2: Ilustração do algoritmo LBP Procedimentos do Algoritmo para Reconhecer as Notas O algoritmo estabelece quatro procedimentos para realizar o reconhecimento das cédulas: . 20. Antes de tudo são selecionadas as notas para o reconhecimento. foram considerados 6 tipos de cédulas(10.Quatro direções de inserção da cédula . Resultados Nesse trabalho foram testadas 504 cédulas indianas de valores variados. Para o caso das cédulas indianas.. Entretanto. para o procedimento proposto neste artigo. Para realizar o reconhecimento da cédula. foi utilizado o ruído sal e pimenta nas imagens. são consideradas as posições das cédulas. obteve-se 98% de acerto. Ainda sim. Para os casos em que as imagens estavam com boa qualidade. não sabemos se esse procedimentos seriam efetivos para as cédulas de real. . é utilizada a equação (3) acima. Além disso. Relacionamento com este projeto: Este artigo forneceu uma abordagem diferente para o reconhecimento de cédulas. obteve-se 100% de acerto. que calcula a distância euclidiana. A imagem de teste é classificada de acordo com o template que for mais similar. característica que não queremos abordar no nosso projeto. Para simular cédulas com imagem de baixa qualidade (já em circulação há muito tempo). Calcular a similaridade entre as imagem de teste a cada template das imagens salvas de acordo com a equação abaixo. o algoritmo LBP juntamente com a equação de cálculo de distância euclidiana foram eficientes para solucionar o problema. Extração de características.Classificação.587) * G + (0. Nesse sentido. Esse algoritmo procura detectar e descrever os pontos-chave da imagem para etapa de classificação. foi utilizada a linguagem Java e a biblioteca OpenCV para realização do préprocessamento e extração de características. green e blue do pixel no espaço sRGB. G .Artigo 3: Método para auxiliar o reconhecimento de cédulas monetárias pelos deficientes visuais Ideia Geral O objetivo geral deste artigo foi identificar qual o melhor algoritmo de processamento de imagem para reconhecimento de cédulas.Pré-processamento. Na etapa de classificação foi utilizada a platafroma WEKA (Waikato Environment for Knowledge Analysis). . Etapas do Algoritmo .299) * R + (0. . Para isso foi utilizada a equação abaixo: Y = (0. Fig: Diagrama do funcionamento simplificado do algoritmo Algoritmo de Pré-processamento A etapa de pré-processamento consistiu na conversão da imagem contendo a nota do espaço de cores sRGB para escalas de cinza. Extração de Características utilizando o algoritmo SURF É um descritor invariante à rotação e aos efeitos de escala. B são os receptivos valores dos canais red.114) * B Onde R. . Dessa forma. Relacionamento com o projeto Esta solução.Classificação SVM O classificador Support Vector Machines-Sequential Minimal Optimization é utilizado para a classificação de características calculadas por algoritmos como SURF e SIFT(Scale-invariant feature transform). Esse método utiliza 90% dos dados para treinamento e o restante. vertical em relação à camera. para o nosso projeto. Nesse banco foram utilizadas para testes 30 imagens de cada cédula(2. esta técnica está além do que podemos implementar. 50. . frente e verso da nota. 10% dos dados para etapa de teste. Neste trabalho foi testado o conjunto de dados dos keypoints e descriptors de uma dada imagem. utilizando o conjunto de dados dos descriptors para classificação na SVM obteve-se 99% de êxito na identificação das cédulas. Nessa etapa. Resultados Para a realização de testes foi utilizado um banco de dados com 1440 imagens digitais. A especificidade representa a frequência com que o resultado negativo está correto. Para avaliar o desempenho do método proposto foram calculados os seguintes parâmetros: sensibilidade e especificidade. 20. buscando sempre a maior minimização de erros possível. tendo como objetivo a separação ótima de dados entre classes distintas. o método de rotação (n-fold cross validation) foi aplicado com o valor n = 10. num teste com sensibilidade de 90% dará um resultado positivo em 90 das 100 amostras que efetivamente apresentam o que está sendo investigado. horizontal. Infelizmente. 100). 5. A sensibilidade representa a frequência com que o teste detectará o que está sendo testado. utiliza a técnica de aprendizado de máquina. O SVM é uma técnica de aprendizado de máquina e se baseia na teoria de aprendizagem estatística. variando posição. sendo que cada nota possui 8 imagens. ou seja. sendo 240 para cada cédula brasileira. apesar de ter se mostrado eficiente também. o programa executará um arquivo de áudio correspondente à cédula identificada. Essa é a etapa final do nosso protótipo. já implementado em um biblioteca da linguagem opencv. Este algoritmo irá extrair as características da cédula a ser comparada para posterior comparação com as características das cédulas já cadastradas em um arquivo ou banco de dados. o algoritmo ORB para extração dos pontos de interesse. como estamos propondo um protótipo para um desktop. apresentamos nossa proposta de solução para o problema abordado com base no levantamento bibliográfico realizado anteriormente. Quando isso acontecer. será emitida uma imagem de erro e o programa retornará à etapa de captura de frames. O procedimento utilizado no nosso projeto será baseado nos seguintes passos: . Caso a cédula não seja reconhecida. . será utilizado um algoritmo de força bruta para comparar os descritores das cédulas. .Proposta de Solução Abaixo. . o melhor dispositivo de captura para esse caso é uma webcam. detalhado abaixo. Caso a cédula seja reconhecida. Entretanto. será executada a próxima etapa do programa. dessa forma seria possível utilizar a câmera do dispositivo. Extrair Pontos de Interesse Nessa etapa utilizaremos. apenas para testar os procedimentos de reconhecimento de cédulas. Executar Áudio Esta etapa só é ativada caso haja sucesso no reconhecimento de uma cédula. . Comparar Descritores Após extrair os descritores da cédula a ser reconhecida. O ideal seria uma aplicação para um dispositivo móvel. Capturar o Frame Utilizaremos uma webcam para obter uma imagem da cédula a ser reconhecida.