UNIVERSIDADE ESTADUAL DE MARINGÁSISTEMAS INTELIGENTES: REDES NEURAIS E REDES BAYESIANAS 3º TRABALHO Responsáveis: DANIEL MARQUES CALEGARI IGOR L. G. SHORT LUCAS ALMEIDA FAUSTINI RA: 57517 RA: 57586 RA: 57604 Maringá 07/12/2012 1 CONCLUSÃO REDES BAYESIANAS 5. CONCEITO REDES BAYESIANAS 3. APLICAÇÕES E FERRAMENTAS 4. BIBLIOGRAFIA 17 2 . APLICAÇÕES E FERRAMENTAS 8.TRABALHO DE SISTEMAS INTELIGENTES INDICE 1. CONCLUSÃO REDES NEURAIS 3 4 6 8 9 10 12 15 9. COMPARATIVOS ENTRE REDES NEURAIS X REDES BAYESIANAS 16 10. INTRODUÇÃO REDES NEURAIS 6. INTRODUÇÃO REDES BAYESIANAS 2. CONCEITO REDES NEURAIS 7. Em geral redes bayesianas utiliza dados probabilísticos para tomar decisões baseado em incertezas. medicina. e desde sempre o homem busca métodos. que tem esse nome por ter origem no teorema de Bayers. para problemas com conhecimento probabilístico. para estruturar essas incertezas futuras. em função de sua forma gráfica. e assim tomar suas decisões. e vem sendo aplicada em diversas áreas. Rede bayesiana vem sendo muito utilizada na atualidade.1. No inicio dos anos 1980. foi desenvolvido as redes bayesianas. para facilitar um sistema de incerteza em sistemas de inteligência artificial. 3 . como por exemplo. criando um modelo matemático que possa representar uma relação de causa e efeito. Introdução Redes Bayesianas A incerteza sempre esteve presente na humanidade. Essas redes tem como função mostrar as dependências causais entre as variáveis da maneira mais clara. financeira e etc. onde nós representam variáveis e arcos representam conexões entre eles. onde os nós representam variáveis aleatórias e os arcos direcionados ilustram as relações de causa e efeito. Podemos dizer então que X exerce uma influência sobre Y. somadas com P(X) compões o conjunto de parâmetros de quantificação da rede bayesiana. e as probabilidades de acontecer. Calcula as probabilidades para as possíveis ações. Essas probabilidades. } Os cálculos de probabilidade podem ser probabilidade incondicional. tabela de conjunção de probabilidades. exemplo de algoritmo: Função RP-Agente(percepção) retorna ação { Estático: conjunto de sentenças probabilísticas a respeito do problema.2. redes bayesianas alem de um documento gráfico sobre causalidades. se existe uma relação entre um acidente com um produto domestico e este produto não atende bem às necessidades Y. dado a descrição das ações e as probabilidades atuais. Exemplificando. a Figura 1 ilustra a situação. Conceito Uma rede bayesiana é um grafo acíclico direcionado. retornando uma ação. Calcula novas probabilidades para o estado atual baseado na evidência disponível incluindo a percepção atual e a ação anterior. tem se uma rede bayesiana. uma incerteza de causa. Retorna ação. como também uma eficiente analisadora de dados representando distribuição de probabilidades condicionais. Em um algoritmo. condicional. a rede bayesiana funcionaria assim. e que as probabilidades condicionais P(Y|X) e P(Y|Xc) (não ter sofrido acidente com um produto domestico) mostram a causalidade entre X e Y. Portanto. Seleciona a ação com a maior expectativa. 4 . a tabela n x m representada pela probabilidade de cada configuração (Ai. 5 . representa todo o domínio.1] Tabela de conjunção de probabilidades: P(A|B) = P(A.Bi). B) /P(B). a probabilidade do evento a é x" Probabilidade Incondicional: A probabilidade de P(a) de um evento a é um número dentro de um internado [0.Probabilidade condicional: P(a|b) = P(a|b)P(b)/P(a). com P(a|b) = x pode ser interpretada como "dado o evento b. antecipando os objetivos e necessidades dos usuários.Sistema de exploração e aquisição de conhecimento espacial. da Norsys (www. AutoClass. O robô deve ponderar entre seguir um caminho conhecido até seu objetivo e a tentativa de se descobrir um novo caminho. Após. Microsoft Research. procurando aprender os caminhos percorridos e. segue abaixo alguns projetos que utilizam a aplicação de redes bayesianas. 1998 . 1998 – O projeto pretende criar um sistema que possa automaticamente e inteligentemente interagir com outros sistemas. 6 .com). Uma aplicação no Brasil ocorre na prevenção de gestação de alto risco. NETICA.norsys. 2000). O sistema trata mais de 60 enfermidades sob as probabilidades de mais de 100 causas (sintomas e resultados de testes médicos). Nesse projeto foi usada a ferramenta. Na primeira. Um robô deve percorrer um “labirinto”. Heckerman 1990. Lumiere. Ken Basye 1990. Pathfinder. Aplicações e Ferramentas Redes Bayesianas vem sendo usadas em diversas áreas. Stanford – Sistema para diagnósticos de problemas nas glândulas linfáticas. ao mesmo tempo.3. os valores de probabilidade condicional e a priori são inseridos na rede. a modelagem da rede bayesiana é realizada em duas etapas distintas. Brown University – Este projeto combina problemas de diagnostico e teoria de decisão. que no pais mata a cada hora duas mulheres no Brasil por patologias relacionadas à gestação (Ministério da Saúde. as variáveis essenciais ao processo de tomada de decisão para identificar uma gestante com probabilidade de desenvolver parto prematuro ou dar a luz à recém nascido de baixo peso são utilizadas para criar a rede semântica. mais principalmente na área de diagnostico médico. Map Learning. NASA´s Ames Research Center. Este projeto está desenvolvendo uma rede bayesiana que permita a interpolação automática de dados espaciais oriundos de diferentes observatórios e planetários espalhados pelo mundo. explorar caminhos desconhecidos. As variáveis analisadas são: idade. classe social. O fluxo funciona assim: Os Resultados desse projeto são o grau de assertividade do sistema criado e o grau de efetividade na redução da prematuridade e de recém nascidos de baixo peso. 7 . faz uma seleção com base em dados recebidos de especialistas e analisa se a paciente tem alto risco. dentre outros. O algoritmo a partir dessas variáveis. GeNIe. A estas variáveis se estabeleceram atributos e valores de probabilidades individuais através de análises de literatura e extensa pesquisa com profissionais especialistas em Gestação de Alto Risco. Outras ferramentas usadas em Redes Bayesianas são: Hugin. histórico pessoal e familiar. formação. dados clínicos e de exames complementares do pré-natal. 8 . Conclusão Através do trabalho. pode se concluir que redes Bayesianas constituem uma boa alternativa para construção de mostrar de forma natural a representação de informações condicionalmente independentes. através de sua matemática probabilística rigorosa e eficiente. com uma distinção correta de dados consegue uma boa resposta.4. Suas Vantagens são de poder ser executadas em tempo linear. a utilização de redes bayesianas se torna cada vez maior para dar suporte para políticas de desenvolvimento ou de melhoria de problemas. Diante de mundo de incertezas. softwares desenvolvidos para auxiliar na sua utilização. Trabalhando bem com incerteza. trazendo soluções onde conclusões não podem ser obtidas apenas com o domínio do problema. e finalmente eles possuem uma saída binária para apresentar a resposta SIM ou Não. eles também possuem um corpo de processadores responsável por um sistema de feedback que modifica sua própria programação dependendo dos dados de entrada e saída. responsáveis por perceberem um determinado tipo de sinal. redes neurais são capazes de aprendizado.5. Introdução Redes Neurais O cérebro humano é considerado o mais fascinante e brilhante processador baseado em carbono existente. Cada neurônio artificial é capaz de um único processamento. Cada neurônio tem dois ou mais receptores de entrada. através de tentativas e processos sem erro. 9 . sendo composto por aproximadamente 10 bilhões neurônios. dependendo do processamento. Todo o funcionamento do corpo é relacionado ao funcionamento destas células. São com base nessa biológica humana que foi criada as redes neurais artificial. Como ela possui um sistema de opinião que modifica sua programação. que tentam imitar o funcionamento do cérebro humano. Os modelos geralmente apresentam um conjunto de células de entrada. Camadas Intermediárias ou Escondidas.6. onde os pesos de suas conexões são ajustados de acordo com os padrões paresentados. A grande vantagem disso é que para executar tarefas uma rede neural não precisa guardar instruções de comando e executá-las de forma lógica. Porém. É feita a soma ponderada dos sinais que produz um nível de atividade. Usualmente as camadas são classificadas em três grupos. o treinamento. cada uma com um peso associado. Cada neurônio artificial é capaz de um único processamento. Por isso redes neurais caracterizam por ter um grande número de elementos de processamento bem simples. ligar vários neurônio similares em rede. que indica sua influência na saída da unidade. dotadas de capacidade de processamento. sinais são apresentados à entrada. Conceito Redes Neurais As redes neurais tem um funcionamento de uma implementação de um algoritmo muito simples. que apresentam os sinais de saída da rede e um conjunto de célular intermediárias. As célular são ligadas por conexões. Camada de Entrada. Pesos positivos correspondem a fatores de reforço do sinal de entrada e pesos negativos correspondem a fatores de inibição. As redes neurais possuem processos de aprendizagem. um conjunto de célular de saída. 10 . Suas entradas possuem um relacionamento direto com as saídas desejadas. Como um neurônio pode receber opções variadas de entradas. o aprendizado ocorre quando a rede neural chega a uma solução geral para uma classe de problemas. Ao invés disso a rede aprende o que precisa ser feito e executa a função. por onde são passadas informações para a rede. como num computador tradicional. então ele pode perceber diferentes sinais. Basicamente um modelo neural consiste em uma rede de celular relativamente autônomas. cada sinal é multiplicado por um número. ou peso. por isso cada entrada recebe somente um tipo de sinal ou informação. que são baseados no processo iterativo de ajustes aplicado os seus pesos. Camada de Saída. A maioria dos modelos de redes neurais possui alguma regra de treinamento. Se este nível de atividade exceder certo limite (threshold) a unidade produz uma determinada resposta de saída. Em outras palavras elas aprendem através de exemplo. que corresponde á influência da célular no processamento do sinal de saída. faz com que o sistema consiga processar mais informações e oferecer mais resultados. elas caracterizam se por uma seqüência de fatos. Na aprendizagem não supervisionada. ou aprendizado auto-supervisionado. somente os padrões de entrada estão disponíveis para a rede neural.As vantagens de redes neurais são. No aprendizado supervisionado. uma queda de desempenho gradual na eventualidade de mal funcionamento ou até mesmo inutilizarão de parte da rede. 11 . controle altamente paralelo e distribuído. é necessário ter um conhecimento prévio do comportamento que se deseja ou se espera da rede. A resposta fornecida pela rede neural é comparada à resposta esperada. detectando suas regularidades. isto é. Este tipo de aprendizado só é possível quando existe redundância nos dados de entrada. Neste tipo de aprendizagem. capacidade de aprendizado através da observação de um conjunto de exemplos sendo estes com ou sem informação de respostas desejadas a cada estimulo. Existem duas formas básicas de aprendizado de redes neurais: aprendizado supervisionado e aprendizado não supervisionado. o professor indica explicitamente se a resposta calculada é boa ou ruim. Manutenção do desempenho na presença de ruído e capacidade de lidar com dados completos. tenta progressivamente estabelecer representações internas para codificar características e classificá-las automaticamente. A rede processa as entradas e. robustez. Portanto. não existe um agente externo para acompanhar o processo de aprendizado. O erro verificado é informado à rede para que sejam feitos ajustes a fim de melhorar suas futuras respostas. um agente externo (professor) apresenta à rede neural alguns conjuntos de padrões de entrada e seus correspondentes padrões de saída. para que se consiga encontrar padrões em tais dados. Para cada entrada. Março. todos os dados de uma transação são préprocessados. detecção de fraudes. abaixo alguns projetos onde foram aplicados: Aplicações de softwares na analise de credito. a rede foi inicializada com pesos aleatório no intervalo [-0. Um sistema inteligente para tomada de decisão sobre autorização de compra com cartão de crédito utilizada pela American Express resultou em uma economia de 20% no temo médio gasto em cada transação e a qualidade das decisões tomadas por este sistema foram em média 50% melhores que decisões tomadas pelo pessoal de autorização de crédito. Mastercard e Visa estão investindo em projetos para construção de sistemas semelhantes. 1995) Neste caso a aplicação começa com a coleta de dados.5. com taxa de aprendizado n:0. para avaliação de propostas de novos clientes.025. Após um determinado ciclo de treinamento. foi de ciclos de 300 treinamentos. utilizando RNA. Os resultados desta aplicação foi 38-20-8-2. um préprocessamento dos dados. A segunda parte é a separação dos conjuntos de dados.0. Neste caso. começam aparecer efeitos do parâmetro de aprendizado.025 e termo momentum u:0. A metodologia utilizada foi feita com banco de casos que foi coletado das Planilhas de Investigação de Casos da Divisão de Vigilância Epidemiológica.7. da Prefeitura Municipal da cidade de Teresópolis (RJ 12 . Card Neus. o treinamento foi realizado durante 1000 ciclos e utilizou o algoritmo de aprendizado backpropagation com termo momentum. entre os adimplentes e os inadimplentes. 20.5]. e avaliação para autorização de compra ("Visa using neural networks to identify cardholder fraud". Aplicação e Ferramentas Redes neurais são aplicadas em diversas áreas. Redes neurais e sua aplicação em sistemas de recuperação de informação (Edberto Ferneda Professor doutor do curso de ciências da informação e Documentação da Faculdade de Filosofia Ciências e Letras de Ribeirão Preto – USP ) Este projeto apresenta as principais iniciativas de se aplicarem conceitos de redes neurais aos sistemas de recuperação de informação e avalia sua aplicabilidade em grandes bases documentais. como é o caso da web. e o critério segue exatamente o padrão da RNA com a alimentação de informações pesos em cada etapa da avaliação. A configuração da rede conta com 34 neurônios na camada de entrada. camada de entrada é formada somente pelos dados clínicos. dados laboratoriais e dados clínicos. 1992. California Scientific Software. 16 neurônios na camada de saída. os neurônios de saída competem entre si. 65 foram reservados para treinamento e 35 para os testes finais. Cada neurônio se especializa numa área diferente do espaço de entradas e suas saídas podem ser usadas para representar a estrutura do espaço de entradas. foi a Rede de KOHONEN que tem aprendizado não-supervisionado. Neste caso. Dos 163 casos encontrados nas planilhas de investigação de casos. uma camada escondida. isto é. Os resultados obtidos deram que no aprendizado não supervisionado. tuberculósica. como a relevância das variáveis para contexto (diagnóstico) pode ser desconhecida. Destes 100 casos. a de KOHONEN. Aplicaram-se dois tipos de RNA. os resultados foram satisfatório e de 13 . As entradas foram classificadas em: sinais físicos. que irão gerar uma lista de hipóteses intermediárias. foi necessário elaborar um conjunto de saída esperado composto por 8 neurônios. O segundo modelo. pneumococo. Foram detectados 8 tipos de classes diagnósticas. A rede de KOHONEN [2] foi escolhida. sendo que o vencedor deve estar ativo como resposta a uma entrada determinada. As hipóteses intermediárias associadas aos resultados laboratoriais formarão a camada intermediária que servirão de input para a camada de saída. Esta rede tem como característica captar similaridades e correlações nas entradas fornecidas. meningococcemia. separadas de acordo com as manifestações apresentadas: hemófilo. precisava-se de uma técnica capaz de agrupar as informações de forma a representar esses contextos. Assim.51. uma camada de saída com 8 neurônios. quando é utilizado um agente externo que indica à rede a resposta desejada em relação ao padrão de entrada fornecido. vírus. Sendo assim. formando um total de 34 variáveis (neurônios) no conjunto de entrada. Estas variáveis foram discretizadas (zero: ausente e um: presente) de forma a atenderem as exigências do problema.Brasil) compreendendo os anos de 1992 a 1997. sendo assim. apenas 100 foram representativos. a situação de diagnóstico pode ser descrita onde não se possui de antemão valores para todas as variáveis do problema e tampouco todas as variáveis são necessárias para se determinar o diagnóstico correto para todas as situações. o primeiro modelo. pois. meningocócica. meningite meningocócica associada à meningococcemia e meningite não específica. a rede conta com 34 neurônios na camada de entrada. a Rede de GALLANT tem aprendizado supervisionado. referentes às 8 classes diagnósticas Para esta rede o simulador utilizado foi o Brain Maker Simulated Biological Intelligence V2. 14 . os dados coletados são separados em duas categorias: dados de treinamento. uma ferramenta da Universidade Federal do Rio Grande. que serão utilizados para o treinamento da rede e dados de teste. através de normalizações.criando um conjunto de validação.maneira uniforme.Depois de determinados estes conjuntos. Já na segunda tentativa com a simulação de rede GALLANT. Além dessa divisão. utilizado para verificar a eficiência da rede quanto a sua capacidade de generalização durante o treinamento. Uma ferramenta utilizada é o backpropagation onde o aprendizado baseia-se na propagação retrógrada do erro para os níveis anteriores da rede.Normalmente. Outras ferramentas em redes neurais são DATA MINING. Uma aplicação e desenvolvimento de rede neural geral é seguida pelo seguintes passos. pode-se usar também uma subdivisão do conjunto de treinamento. escalonamentos e conversões de formato para torná-los mais apropriados à sua utilização na rede. Além disso. que serão utilizados para verificar sua performance sob condições reais de utilização. pode ser necessário préprocessar estes dados. eles são geralmente colocados em ordem aleatória para prevenção de tendências associadas à ordem de apresentação dos dados. com margem de acerto nos diagnotiscos de 83%. primeiramente é feita a coleta de dados relativos ao problema e sua separação em um conjunto de treinamento e um conjunto de testes. não foi obtido resultado satisfatório. de acordo com o grau de participação que cada neurônio teve no nível posterior. e podendo ser empregado como critério de parada do treinamento. NEUROFURG. a rede não foi capaz de representar esse domínio. nem de generalizar e aprender com o ambiente diante de informação incompleta. isto é. Conclusão Redes Neurais Uma das melhores. É importante e relevante destacar que esta rede possui uma interessante habilidade de aprender em seu ambiente e uma aprendizagem continua que melhora significativamente seu desempenho. classificar com sucesso modelos que não foram anteriormente apresentados. a partir do momento que esta apresentada à rede uma gama larga de modelos no treinamento. Pode se concluir também que as Redes Neurais Artificiais estão cada vez mais presentes no dia a dia para solucionar problemas diários. qualquer novo modelo com entradas similares a um dos modelos treinados será bem classificada. se não a melhor característica das redes neurais é sua habilidade de generalizar. 15 .8. redes neuronais artificiais. pode tratar qualquer subconjunto das variáveis como entrada. ou. temos que redes bayesianas utilizam representações locais. Em uma comparação de características entre elas.daí o termo rede neuronal. já redes neurais tem. são sistemas computacionais estruturados numa aproximação à computação baseada em ligações. na aprendizagem. e sua técnica se baseia. Ela analisa dados probabilísticos e resolve uma ação baseado nesses dados. 16 . as variáveis possuem dois níveis de ativação. Já redes Bayesianas é uma estrutura de dados para representar as dependências entre variáveis e fornecer uma especificação consta de qualquer distribuição de probabilidade conjunta total. variáveis discretas ou continuas. entras e saídas fixas. Nós simples (ou neurões. mais propriamente. neurônios. é propicio para problemas de incerteza.9. não implementável em hardware. processadores ou unidades) são interligados para formar uma rede de nós . e sua melhor aplicabilidade para cada tipo de problemas. A inspiração original para essa técnica advém do exame das estruturas do cérebro. Conclui-se que cada uma das redes tem seus pró e seus contras. representação global distribuída. em particular do exame de neurônios. implementável em hardware. difícil inserção de conhecimento a priori. Comparação entre Redes Bayesianas e Redes Neurais Redes neuronais (redes neurais no Brasil). Braga. Ludermir.scribd. T. Fundamentos de Redes Neurais Artificiais. Machine Learning. 2003 e V Escola Regional da Sociedade Brasileira de Computação (SBC) .lx. Probabilidade: Aplicações à Estatística.br/ia/neurais/ http://www.10. 2002. B.wikipedia.uem.net/cardoso083/aplicaes-de-redes-neurais2010#btnNext http://pt. NASSAR.PDF http://www. 17 .slideshare. Mitchell. P.. Renato C. Consultura Profa.it. McGraw-Hill. Alexandre.ccuec.infowester.ufrj.din.html http://www. Redes Bayesianas e Produção de Conhecimento: uma abordagem de data-mining em dados de um concurso vestibular. Sandra A Sandri. Ed.sbis. 1998.org/wiki/Rede_bayesiana P. Inteligência Artificial: ferramentas e teorias.php http://www. Guilherme. Florianópolis: Editora da UFSC.htm http://pt.cos. Dra.org.pdf http://www.pt/~afred/docencia/Percepcao_2006/acetatos/rb. L.tecmundo. F. de Carvalho. Rio de Janeiro: LTC. Florianópolis-SC.br/cbis9/arquivos/461.unicamp.Centro-Oeste.br/revista/infotec/artigos/claudia. 1997.br/~ines/courses/cos740/leila/cos740/aprBayesianas .pdf http://pt. Paul L. 1975. T.wikipedia. Brasil. MEYER.org/wiki/Rede_neural http://www. M. In: 35º Reunião Regional da ABE/SOBRAPO. B ITTENCOURT. 1999 UNESP/FE/DEE BARRETO. Silvia M. Rio de Janeiro. Referencias Bibliográficas http://www.com.com/doc/30239982/Redes-Neurais-Artificiais http://www. 2001. A. Artigo "Projeto e Análise de uma Rede Neural para resolver problemas de Programação Dinâmica". VIEIRA.com/redesneurais.br/programacao/2754-o-que-sao-redesneurais-.