avaliação

A avaliação da aprendizagem escolar adquire seu sentido na medida em que se articula com um projeto pedagógico e com seu conseqüenteprojeto de ensino. A avaliação, tanto no geral quanto no caso específico da aprendizagem, não possui uma finalidade em si; ela subsidia um curso de ação que visa construir um resultado previamente definido. No caso que nos interessa, a avaliação subsidia decisões a respeito da aprendizagem dos educandos, tendo em vista garantir a qualidade do resultado que estamos construindo. Por isso, não pode ser estudada, definida e delineada sem um projeto que a articule. Para os desvendamentos e proposições sobre a avaliação da aprendizagem, que serão expostos neste texto, teremos sempre presente este fato, assumindo que estamos trabalhando no contexto do projeto educativo, que prioriza o desenvolvimento dos educandos - crianças, jovens e adultos - a partir de um processo de assimilação ativa do legado cultural já produzido pela sociedade: a filosofia, a ciência, a arte, a literatura, os modos de ser e de viver. Deste modo, os encaminhamentos que estaremos fazendo para a prática da avaliação da aprendizagem destinam-se a servir de base para tomadas de decisões no sentido de construir com e nos educandos conhecimentos, habilidades e hábitos que possibilitem o seu efetivo desenvolvimento, através da assimilação ativa do legado cultural da sociedade. Tendo por base a compreensão exposta neste texto, abordaremos a prática da aferição do aproveitamento escolar, tendo como matriz de abordagem os conceitos de verificação e avaliação, na perspectiva de, ao final, retirar proveitos para a prática docente. * Professor de Filosofia da Educação, com mestrado em Educação pela universidade Federal da Bahia. 71 Importa enfatizar que estaremos trabalhando com os conceitos de verificação e avaliação, e não com os termos verificação e avaliação. Isso significa que iremos trabalhar com esses conceitos a partir de suas "determinações" no movimento real da prática escolar com a qual convivemos. O conceito é uma formulação abstrata que configura, no pensamento, as determinações de um objeto ou fenômeno. No contexto do pensamento marxista, o conceito equivale a uma categoria explicativa, que ordena, compreende e expressa uma realidade empírica concreta, como um "concreto pensado", "síntese de múltiplas determinações'". O nosso esforço, ao longo deste texto, é expor os elementos do movimento real na prática escolar, relativos ao tratamento dos resultados da aprendizagem dos alunos, tentando responder à seguinte pergunta: a configuração formada pelos dados da prática escolar, referentes aos resultados da aprendizagem dos educandos, define-se como verificação ou como avaliação? Da resposta que pudermos dar a esta questão, estaremos retirando conseqüências para a prática docente, acreditando que o esforço científico visa fundamentar a ação humana de forma adequada. A ciência constitui um instrumento com o qual se trabalha no desvendamento dos objetos e, por isso, ela nos permite, com alguma segurança, escolher um caminho de ação. No caso deste texto, no limite do possível, a análise crítica que pretendemos proceder da prática avaliativa, identificando-a com o conceito de verificação ou de avaliação, deixa-nos aberta a possibilidade de encaminhamentos, que cremos serem coerentes e consistentes. Fenomenologia da Aferição dos Resultados da Aprendizagem Escolar Na prática da aferição do aproveitamento escolar, os professores realizam, basicamente, três procedimentos sucessivos: • medida do aproveitamento escolar; • transformação da medida em nota ou conceito; • utilização dos resultados identificados. Iniciaremos nossa análise pela descrição fenomenológica dessas três condutas dos professores. Tal descrição delimita um quadro empírico, que nos permitirá, posteriormente, abstrair características que nos indicarão se os atos de aferição do aproveitamento escolar, praticados pelos professores, são de verificação ou de avaliação. OBTENÇÃO DA MEDIDA DOS RESULTADOS DA APRENDIZAGEM Em nossa prática escolar, os resultados da aprendizagem são obtidos, de início, pela medida, variando a especificidade e a qualidade dos mecanismos e dos instrumentos utilizados para obtê-la. Medida é uma forma de comparar grandezas, tomando uma como padrão e outra como objeto a ser medido, tendo como resultado a quantidade de vezes que a medida padrão cabe dentro do objeto medido. Sobre a questão do que é um "conceito", ver Karl MARX, "Método da Economia Política in: Contribuição ã Critica da Economia Política São Paulo, Livraria Martins Fontes. 72O mais simples exemplo de medida dá-se com a utilização do metro (grandeza padrão) como marcador de extensão linear (grandeza a ser medida). A extensão do metro é comparada à do objeto a ser medido, possibilitando saber quantas vezes cabe a extensão do metro dentro da extensão do objeto. Por exemplo, depois de medida, pode-se dizer que a extensão linear de uma determinada rua da cidade é de 245 metros. No caso dos resultados da aprendizagem, os professores utilizam como padrão de medida o "acerto:' de questão. E a medida dá-se com a contagem dos acertos do educando sobre um conteúdo, dentro de um certo limite de é transformado ou em nota. A medida da aprendizagem do educando corresponde à contagem das respostas corretas emitidas sobre um determinado conteúdo de aprendizagem que se esteja trabalhando. até completar os cem pontos. um aluno que acertou oito questões obtém nota oito. os cem pontos são distribuídos desigualmente pelas questões e. em decorrência de ênfases neste ou naquele aspecto. se o processo de medir. assim. Para proceder a essa transformação tem-se estabelecido variadas tabelas de conversão. Bom. um aluno pode chegar ao limite máximo dos dez ou a quantidades menores. mas isto não vem ao caso aqui. dez questões de um teste podem ser transformadas em cem pontos. objetivo . em sala de aula. equivalente à quantidade de questões que possui o teste. a medida. porque é a partir dela. previamente definida. utilizarn-se de instrumentos que variam desde a simples e ingênua observação até sofisticados testes. previamente estabelecido. MS (médio superior) = sete ou oito acertos. no movimento real da operação com resultados da aprendizagem. a quarta cinco. prova ou trabalho dissertativo. é claro. MS = médio superior. e assim. na aferição da aprendizagem. Péssimo. desde que os acertos adquiram a forma de pontos. então. passa a ser os pontos. SS (superior) = nove ou dez acertos. TRANSFORMAÇÃO DA MEDIDA EM NOTA OU CONCEITO A segunda conduta do professor no processo de aferição do aproveitamento escolar tem sido a conversão da medida em nota ou conceito. Regular. sucessivamente. e a extensão máxima possível de acertos é dez. ou em conceito. A transformação dos resultados medidos em nota ou conceito-dá-se através do estabelecimento de uma equivalência simples entre os acertos ou pontos obtidos pelo educando e uma escala. IN = inferior. mas sem nenhuma grande dificuldade. provas ou outros meios de coleta dos resultados da aprendizagem são transformados em "pontos". Muito Bom. tais como SS = superior. Em dez acertos possíveis. Por exemplo. Um exemplo é suficiente para compreender como se dá esse processo. MI = médio inferior. . em função do instrumento de coleta de dados que constrói ou utiliza. indistintamente. os acertos equivalem a quantidades variadas de pontos.por suposto. Pode-se questionar. a terceira cinco. e seus correspondentes acertos. a medida é um ato necessário e assim tem sido praticada na escola. os professores. ME (médio) = cinco ou seis acertos. produzidos segundo normas e critérios técnicos de elaboração e padronização. o padrão de medida é o acerto. SR = sem rendimento. A transformação de acertos em conceitos poderia ser feita por uma escala como a que segue: SR (sem rendimento) = nenhum acerto. a dez pontos. 73 Com o processo de medida. Inferior. utilizado pelos professores em sala de aula. o resultado é expresso ou por símbolos alfabéticos. Se não há uma tabela oficial na escola. o professor obtém o resultado . A atribuição de pontos às questões. ME = médio. ela continua sendo medida. MI (médio inferior) = três ou quatro acertos.possibilidades. e necessita ser. Para um teste de dez questões. ganhando conotação verbal. de notas ou conceitos. Para coletar os dados e proceder à medida da aprendizagem do educando. IN (inferior) = um ou dois acertos. não muda a qualidade da prática. Precária ou não.da aprendizagem do educando que. ou por palavras denotativas de qualidade. que pode ser igual ou diferenciado para cada acerto.Usualmente. adquirindo conotação numérica. Assim. Na forma diferenciada. o que não modifica o caráter de medida. Na forma equalizada. por exemplo. que seria dez. Num teste com dez questões. Importa-nos ter clareza que. os acertos nos testes. na prática escolar. por sua vez. então. a primeira questão pode valer dez pontos. Neste último caso. tais como Excelente. a segunda vinte. o primeiro ato do professor tem sido. tem as qualidades de uma verdadeira medida. importa compreender que. as correspondências entre acertos e notas são simples: cada questão equivale a um décimo da nota máxima. que se pode dar os passos seguintes da aferição da aprendizagem. como ponto de partida. A cada acerto corresponderá um número de pontos. O padrão de medida. As escalas de conversão poderão ser mais complexas que estas. cada acerto equivale. cada professor cria a sua. do ponto de vista educativo. se configura como verificação ou avaliação. a média é obtida após a conversão dos conceitos em números. pois exige que estejamos. descrita no item anterior. por isso. não é para que o educando estude a fim de aprender melhor. • oferecer ao educando. a efetiva aprendizagem seria o centro de todas as atividades do educador. basta fazer uma média simples ou ponderada. No caso das notas. esta não tem sido a nossa conduta habitual de educadores escolares. as observações até aqui desenvolvidas demonstram que a aferição da aprendizagem escolar é utilizada. usualmente tem-se utilizado a primeira e. A partir daí. o conceito verificação emerge das determinações da conduta de.. aprendam aquilo que deveriam aprender. inteligível.verum facere . usualmente. de fato. expressam a qualidade que se atribui à aprendizagem do educando. a média é facilitada pelo fato de se estar operando com números. para. por isso. "investigar a verdade de . permitindo que ele faça uma nova aferição. pedindo-lhe que estude para fazer uma segunda aferição. a segunda opção.e significa "fazer verdadeiro". no máximo. multiplique as situações e os momentos de aferição do aproveitamento escolar. tendo em vista a melhoria da nota e. no geral. ainda que impropriamente. é um desvio. conforme a decisão. em si. na quase totalidade das vezes.Notas e conceitos. no Diário de Classe ou Caderneta de Alunos. UTILIZAÇÃO DOS RESULTADOS Com esse resultado em mãos. medida sob a forma de acertos ou pontos. segundo nossa concepção. no máximo. contudo. intencionalmente. simplesmente. nesta circunstância. no mínimo registram-se os dados em cadernetas e. identificarmos se a fenomenologia da aferição do aproveitamento escolar. A Escola Opera Com Verificação e Não Com Avaliação da Aprendizagem Iniciemos pelos conceitos de verificação e avaliação. mas para que estude "tendo em vista a melhoria da nota". poder-se-á argüir: estudar para melhorar a nota não possibilita uma aprendizagem efetiva? É possível que sim. no caso dos conceitos. entre MS e a nota oito. buscar "ver se algo é isso mesmo. 74 Se os dados obtidos revelarem que o educando se encontra numa situação negativa de aprendizagem e. pode-se estabelecer a equivalência entre S e a nota dez. que de símbolos qualitativos se transformam indevidamente em quantitativos. A partir dessa observação. consistente. não é para proceder a uma aprendizagem ainda não realizada ou ao aprofundamento de determinada aprendizagem. para classificar os alunos em aprovados ou reprovados. estamos preocupados com a aprovação ou reprovação do educando. por decisão pessoal ou por norma escolar. E isso. mas sim para "melhorar" a nota do educando e. mas sim a nota. obtendo-se o que seria a média da aprendizagem do educando no bimestre ou no semestre letivo. aprová-lo'. e isso depende mais de uma nota que de uma aprendizagem ativa. O termo verificar provém etimologicamente do latim .:". e assim sucessivamente. obter uma média de conceitos qualitativos. possui uma nota ou um conceito de reprovação. Caso o professor. caso ele tenha obtido uma nota ou conceito inferior. em princípio. o professor tem diversas possibilidades de utilizá-lo. chama-se a atenção do aluno. construam efetivamente os resultados necessários da aprendizagem. tais como: • registrá-lo. ele se utiliza da média de notas ou conceitos. Aqui também ocorre a transposição indevida de qualidade para quantidade. Por exemplo. E nas ocasiões onde se possibilita uma revisão dos conteúdos. A terceira opção possível de utilização dos resultados da aprendizagem é a mais rara na escola. Contudo. de tal forma que se torna possível. • atentar para as dificuldades e desvios da aprendizagem dos educandos e decidir trabalhar com eles para que. deve-se observar que a orientação. importa observar que o que está motivando e polarizando a ação não é a aprendizagem necessária. neste caso. para obter o resultado final de um bimestre ou ano letivo. Contudo. a seguir. em nossa ação docente. Em síntese. polarizados pela aprendizagem e desenvolvimento do educando. uma "oportunidade" de melhorar a nota ou conceito. o posicionamento a favor ou contra o objeto. no pensamento abstrato. isto é. que quer dizer"dar valor a. na quase totalidade das vezes. disciplina ou atividade da qual estão participando. a partir do valor ou qualidade atribuídos. A avaliação. A avaliação é. E.:". Em síntese. Em "Avaliação Educacional Escolar. Para Além do Autoritarismo". Isto quer dizer que o ato de avaliar não se encerra na configuração do valor ou qualidade atribuídos ao objeto em questão. O uso dos resultados encerra-se na obtenção e registro da configuração da aprendizagem do educando. 61. acrescido de uma atribuição de valor ou qualidade. ainda impõe aos educandos conseqüências negativas. sob a forma de verificação. ato ou curso de ação.alguma coisa. isto é. Ao contrário. tem sido incapaz de retirar do processo de aferição as conseqüências mais significativas para a melhoria da qualidade e do nível de aprendizagem dos educandos. fazendo da aferição da aprendizagem um efetivo ato de avaliação. exigindo decisão do que fazer ante ou com ele.:". o atual processo de aferir a aprendizagem escolar. A dinâmica do ato de verificar encerra-se com a obtenção do dado ou informação que se busca. ato ou curso de ação avaliado. no geral. que valeria a pena ser retomada para compreender o seu cunho classificatório. através da constante "ameaça" da reprovação. Este fato fica patente ao observarmos que os resultados da aprendizagem usualmente têm a função de estabelecer uma classificação do educando. análise e síntese dos dados ou informações que delimitam o objeto ou ato com o qual se está trabalhando. a uma ação nova: manter o objeto como está ou atuar sobre ele. tem-se utilizado o processo de aferição da aprendizagem de uma forma negativa. ato ou curso de ação. O ato de avaliar importa coleta. a avaliação. ABT/Rio de Janeiro. Porém. com uma conseqüente decisão de ação. Por isso.. desenvolvi uma análise crítica da prática da avaliação escolar. podemos dizer que a prática educacional brasileira opera. Raramente. As entrelinhas do processo descrito no tópico anterior demonstram que. expressa em sua aprovação ou reprovação. revista Tecnologia Educacional. como . implica um posicionamento positivo ou negativo em relação ao objeto. obtenção.". O processo de verificar configura-se pela observação. envolve um ato que ultrapassa a obtenção de configuração do objeto.. diferentemente da verificação. análise e síntese dos dados que configuram o objeto da avaliação. a aferição da aprendizagem manifesta-se como um processo de compreensão dos avanços. a escola brasileira opera com a verificação e não com a avaliação da aprendizagem. O valor ou qualidade atribuídos ao objeto conduzem a uma tomada de posição a seu favor ou contra ele. 75 O termo avaliar também tem sua origem no latim. . pronto! Por si. por si. limites e dificuldades que os educandos estão encontrando para atingir os objetivos do curso. que. conduz a uma decisão nova. sinteticamente. . encontramos professores que fogem a esse padrão usual. Para estes raros professores. direciona o objeto numa trilha dinâmica de ação. a verificação não implica que o sujeito retire dela conseqüências novas e significativas. o conceito "avaliação" é formulado a partir das determinações da conduta de "atribuir um valor ou qualidade a alguma coisa. sob a forma de verificação. exigindo uma tomada de posição favorável ou desfavorável ao objeto de avaliação. "vê-se" ou "não se vê" alguma coisa. por sua vez. A verificação encerra-se no momento em que o objeto ou ato de investigação chega a ser configurado. neste contexto. como verificação. A partir dessas observações. além de não obter as mais significativas conseqüências para a melhoria do ensino e da aprendizagem. só em situações reduzidas e específicas.. nada decorrendo daí. que se processa a partir da comparação da configuração do objeto avaliado com um determinado padrão de qualidade previamente estabelecido para aquele tipo de objeto. à medida que tem servido para desenvolver o ciclo do medo nas crianças e jovens. A verificação é uma ação que "congela" o objeto. no momento em que se chega à conclusão que tal objeto ou ato possui determinada configuração.. um excelente mecanismo subsidiário da condução da ação. E. provindo da composição a-valere. n. Neste sentido. como sabemos. O modo de trabalhar com os resultados da aprendizagem escolar . o desenvolvimento do educando. nota 10. a verificação transforma o processo dinâmico da aprendizagem em passos estáticos e definitivos. A média mínima de notas é enganosa do ponto de vista de ter ciência daquilo que o educando adquiriu. propomos que a avaliação do aproveitamento escolar seja praticada como uma atribuição de qualidade aos resultados da aprendizagem dos educandos. • atribuir uma qualidade a essa configuração da aprendizagem. fugiremos ao aspecto classificatório que. tendo por base seus aspectos essenciais e. importa estabelecer um padrão mínimo de conhecimentos*. sob a forma de verificação. habilidades e hábitos que o educando deverá adquirir. psicomotoras . propomos. o professor deverá: • coletar. um padrão mínimo de conhecimentos. A avaliação. por exemplo. com pequena quantidade de elementos -dois. que no primeiro bimestre letivo obtenha nota 10 em Matemática. e a média. Com isso. conseqüentemente. nos deparamos com a prática escolar da verificação e não da avaliação. 77 PADRÃO MÍNIMO DE CONDUTA Para que se utilize corretamente a avaliação no processo ensino-aprendizagem. algumas indicações que poderão ser estudadas e discutidas na perspectiva de gerar encaminhamentos para a melhor forma de condução possível do ensino escolar.dos educandos. da forma mais objetiva possível. pode desejar para si ou para outrem. seja efetivamente essencial para a formação do educando. uma forte distorção na expressão da realidade. dos resultados que se deseja. tem atravessado a aferição do aproveitamento escolar. no movimento real da aferição da aprendizagem escolar. . no conteúdo de . a partir de um padrão (nível de expectativa) preestabelecido e admitido como válido pela comunidade dos educadores e especialistas dos conteúdos que estejam sendo trabalhados. possibilitando conseqüências na direção da construção. que esteja sendo ensinado e aprendido. ao contrário. ao avaliar.sob a modalidade da verificação.o encaminhamento dos educandos para passos subseqüentes da aprendizagem. no contexto escolar. fazendo dela uma "coisa" e não um processo. produzindo uma configuração do efetivamente aprendido. como objetivo final. habilidade ou hábito. USO DA AVALIAÇÃO Em primeiro lugar. através da ameaça de reprovação . como ocorre hoje na prática escolar. uma tomada de decisão que direcione o aprendizado e. manifesta-se como um ato dinâmico que qualifica e subsidia o reencaminhamento da ação. em sã consciência. mas um momento de parar para observar se a caminhada está ocorrendo com a qualidade que deveria ter. analisar e sintetizar. qualitativamente. o objetivo primeiro da aferição do aproveitamento escolar não será a aprovação ou reprovação do educando.reifica a aprendizagem. em número reduzido de casos. habilidades e hábitos e não uma média mínima de notas.situação que nenhum de nós. as manifestações das condutas cognitivas. no segundo bimestre. Encaminhamentos Diante do fato de que. neste segmento do texto. três ou quatro resultados. tomar uma decisão sobre as condutas docentes e discentes a serem seguidas.a de viver sob a égide do medo. afetivas. Ela opera no que diz respeito ao aproveitamento escolar. atingiram um nível da satisfatoriedade no que estava sendo trabalhado. O momento 76 de aferição do aproveitamento escolar não é ponto definitivo de chegada. Nesse sentido. mas o direcionamento da aprendizagem e seu conseqüente desenvolvimento. Um aluno. tendo em vista: . cria. • a partir dessa qualificação. no conteúdo de adição. caso se considere que.a reorientação imediata da aprendizagem. e tendo ciência de que o exercício efetivo da avaliação seria mais significativo para a construção dos resultados da aprendizagem do educando. caso sua qualidade se mostre insatisfatória e o conteúdo. Assim. ultrapassarão. A média seria 8. chegando ao máximo de 10.5. cujo mínimo era 5. Pode levar a crer que o educando chegou a um limiar de aprendizagem mínimo necessário nas quatro operações matemáticas com números inteiros. n. A nota 6 engana quem a lê. Neste caso. eliminar as notas e conceitos da vida escolar. Observar que essa média seria feita com resultados sempre superiores ao mínimo necessário. o ideal seria a inexistência do sistema de notas. é possível pedagogicamente (não administrativamente) sanar essa dificuldade pelo estabelecimento de conhecimentos. acrescentaremos uma observação: definir o mínimo necessário . A nota assim obtida. que poderia ser expressa pela nota 7. Esse seria um caminho para garantir a socialização do saber. terá como média nota 6. • o educando que obtivesse rendimento acima desse nível mínimo necessário receberia notas superiores a 7. 7 em cada um dos conteúdos. "Como Eu Avalio a Aprendizagem dos Meus Alunos". De fato. Para que esta média possa ocorrer. porém. nulo. ao menos nas condições mínimas de aprendizagem dos conteúdos escolares. Em função disso. supondo. outros. Todavia. 78 Neste contexto. revista Tecnologia Educacional. seria mais verdadeira do ponto de vista da aprendizagem.subtração. seria um mecanismo subsidiário pelo qual o professor iria detectando os níveis de aprendizagem atingidos pelos alunos e trabalhando para que atingissem a qualidade ideal mínima necessária. para isso. deveria obter no mínimo 7. facilmente ou com certa dose de trabalho. desde que não distorcesse tanto o resultado final da aprendizagem do aluno. retomemos o caso anteriormente citado do aluno de Matemática. com o conseqüente desenvolvimento de habilidades. diante da intensa utilização de notas e conceitos na prática escolar e da própria legislação educacional que determina o uso de uma forma de registro dos resultados da aprendizagem. o resultado da média estaria sempre acima do mínimo necessário de conteúdos a serem aprendidos. pelo menos chegarão ao mínimo. A aprovação ou reprovação do educando deveria dar-se pela efetiva aprendizagem dos conhecimentos mínimos necessários. em todos os conteúdos. no entanto. Esse aluno estaria carente de conhecimentos relativos à multiplicação e à divisão. e no quarto. quando os alunos tivessem atingido esse patamar mínimo. no conteúdo de divisão. ou seja. sem o que seria impossível fazer a atribuição. ver. em multiplicação foi sofrível e em divisão. Para exemplificar. o professor terá de planejar o que é o mínimo necessário e trabalhar com seus alunos para que todos atinjam esse mínimo. o mínimo necessário. • a aprendizagem abaixo desse nível seria considerada insatisfatória. ainda que também tenha seu lado enganoso. Alguns alunos. 10 e 9. nota 4. Ainda que pareça estar suficientemente claro o que estamos propondo ao falar em mínimo necessário. ABT/Rio de Janeiro. na verdade. agora. Adinoel MOTTA. habilidades e hábitos mínimos a serem adquiridos pelos educandos e pelo encaminhamento do ensino a partir dessa definição. devido às diferenças individuais. * Sobre padrão mínimo de conhecimento. desde que expressasse que o aluno aprendeu o mínimo necessário em cada conteúdo. poder-se-ia utilizar a média. ter-se-ia de estabelecer uma definição no planejamento de quais conteúdos e aprendizagens seriam necessários para se obter a menção 7. zero. A avaliação. de imediato. no terceiro. Nessa perspectiva: • todo educando. Teríamos de trabalhar com o mínimo necessário de aprendizagem e a esse mínimo atribuiríamos uma qualidade "minimamente satisfatória". no caso. Só passaria para um conteúdo novo. o educando deveria ser reorientado. por isso. por dar-se sobre pequena quantidade de casos. Entretanto. Isso garantiria uma equalização entre os alunos. pois todos adquiririam o mínimo necessário. pela média. no contexto da escola. e a avaliação estaria a serviço desse significativo processo social e político. até atingir o mínimo necessário. seria aprovado como se não tivesse essa carência. culturais e sociais. 8. hábitos e convicções. ele só obteve aproveitamento satisfatório em adição e subtração. que obteve as seguintes notas: 7. 57. por exemplo. não há como. no conteúdo de multiplicação. com a qual trabalham. ele representa o limite mais baixo a ser admitido numa aprendizagem essencial. . hoje. ?". fala de testes referenciados a critério. Livraria Pioneira). não poderíamos deixar de menciona-la. vale lembrar o baixo investimento pedagógico. RIGOR CIENTÍFICO E METODOLÓGICO Para que a avaliação se tome um instrumento subsidiário significativo da prática educativa. Em termos de avaliação da aprendizagem. Caso contrário. Não caberia tratar desta questão neste texto. O mínimo necessário deverá ser ensinado e aprendido por todos. se ele não tiver sido satisfatório. Nós.* * Escrevi um texto para o V Encontro Nacional de Didática e Prática de Ensino. tanto do ponto de vista financeiro quanto do pedagógico. estamos pouco atentos ao seu efetivo desenvolvimento. A primeira é dinâmica. que iriam para além dos mínimos necessários. habilidades e hábitos que delineiem as possibilidades do seu desenvolvimento. a avaliação não terá espaço. todavia. se ensinamos. porém. A ciência pedagógica. os alunos não aprenderam e estamos interessados que aprendam. a verificação. é importante que tanto a prática educativa como a avaliação sejam conduzidas com um determinado rigor científico e técnico. está suficientemente amadurecida para oferecer subsídios à condução de uma prática educativa capaz de levar ã construção de resultados significativos da aprendizagem. A avaliação implica a retomada do curso de ação. professores. cairemos num arbitrarismo sem tamanho. só será possível na medida em que se estiver efetivamente interessado na aprendizagem do educando. a segunda. estamos interessados na aprovação ou reprovação dos educandos nas séries escolares. assim como normalmente os alunos e seus pais. ou a sua reorientação. que ficarão carentes de conteúdos. Todavia. desde que ela só dimensione o fenômeno sem encaminhar decisões. A nossa prática educativa expressa-se mais ou menos da seguinte forma: "Ensinamos. hábitos e convicções. pois sem ela a avaliação não alcançará seu papel significativo na produção de um ensino-aprendizagem satisfatório*. A avaliação é um diagnóstico da qualidade dos resultados intermediários ou finais. Os dados estatísticos educacionais estão aí para demonstrar o pequeno investimento. realizado em Belo Horizonte. na medida em que podemos pensar que quem está trabalhando nó ensino está interessado em que os educandos aprendam. não é o que ocorre O sistema social não demonstra estar tão interessado em que o educando aprenda. a verificação é uma configuração dos resultados parciais ou finais. em . Norman GRONLUND. A avaliação só pode funcionar efetivamente num trabalho educativo com estas características. Este mínimo é estabelecido pelo coletivo dos educadores que trabalham em um determinado programa escolar. em articulação com o desenvolvimento da ciência.não significa ater-se a ele. na efetiva aprendizagem do educando. estática. e testes referenciados a norma. que trabalhariam a partir dos conteúdos de "desenvolvimento". no contexto da sociedade contemporânea em que vivemos. porém não há razão para não ir além dele. que se manifestem em prol do desenvolvimento do educando. Sem esta perspectiva dinâmica de aprendizagem para o desenvolvimento. habilidades. a partir do momento que investe pouco na Educação. caso esteja se desviando. que trabalhariam a partir dos mínimos necessários. há que se investir na construção dos resultados desejados. 79 ESTAR INTERESSADO EM QUE O EDUCANDO APRENDA E SE DESENVOLVA* A prática da avaliação da aprendizagem. No caso da avaliação da aprendizagem. o que é que vamos fazer. Importa ainda observar que o mínimo necessário não é e nem pode ser definido pelos professores individualmente. ou seja. há que se ensinar até que aprendam. mas os alunos não aprenderam. há que se estar interessado em que o educando aprenda aquilo que está sendo ensinado. com conseqüências negativas para os educandos. em seu livro Elaboração de Testes de Aproveitamento Escolar (São Paulo. Parece um contra-senso essa afirmação. De fato. em seu sentido pleno. terá espaço. sim. O que não podemos admitir é que muitos educandos fiquem aquém do mínimo necessário de conhecimentos. * Sobre princípios da ciência pedagógica e da prática docente. . DANILOV & M. Havana. Didática de la Escuela Média. SKATKIN. Editorial Pueblo y Educación. onde trato mais largamente deste princípio. ver o texto mencionado na nota anterior ("Por uma Prática Docente Crítica e Construtiva'). assim como o livro de M. que se intitula "Por uma Prática Docente Crítica e Construtiva". N. A.outubro de 1988. f¾½¾¾ ½n¾j½¾¾f½°¯f¾nf ¯½f¾¾fsµ¾ ¾¯¯°¾fsjf½f¯°¾nf ½ff ¾f°f ¯ ¯¾f° ¾ff¯xf°f¾n°n¾ -nf¾f¾°f¾ f¯xfxfnff½f¾¾f½f°n¯°¯¾ ¾¯ ¾ff¾¾f°¾¯f¯°f¯°¯f°f¾ °nf¾ ¾n°n¾ f¯xfx ff½¾fn°¾j¾n°n¾¯°¯¾ 9 ¯½ ½ ¾¾f nffy°nf°f°f °.f°f f¾¾¯¾n¾¾f¯° ½ff f¾ff¯f¯xf¾¯½¾ ½°ff n°¯fn¾j ° ¾¾ff¯xfff½°f¯ nf°° ¯¾°¾¯¾ f¯ x¯nff°¾½¾sj °fff½fff°f f¯f¾°f½¾¾ f°f ¯½½f¯° ¯f¯xfn°n¾ff¾ D@D@ . ¯¾¾¾f¯¯j¾ ½¾¾¯¾f¾½¾¾ f¾h f¾n¯ %¾h ¾¯½¾¯° °h. f¾¾. f°f°¾ %nfnf° nf¾°f ¯f°fn°n° ¯f ½°f ¯ff°fn°n ½¯°fsf¯f°f fsj %f°f½fff¾nf¾¾¾ff½°f¯¾nf°¾n f ffn¯¾½ff f f½°f¯ff¯f½° n°¾f¯f¯°¾¾f¾°n¾¾h¾ff½°f¯ ¾f¾ ¾f¯nf°¾°n°f°¯f¾fsj°ff f½°f¯ ½¾¾ ½¾¾¯f°f¯n°n½fsj ¾f¯° ¯ ¾ff½¯f °¯h¯ f¾°f½sj °¾nf¾ °¯°¯ ¾f¯ ¾¾f¾¯nf°f¾ °¯h¯ nf¯f ¾ff°sjf° ½° ¾½fff¯f¾°ffsj °¯¾ff¯f f°f °¾fnn°¾i°nf ¾ ¾ff°fsj °f °jx½ff nf°¾f¯f½°¯ ¯f¾½ff¾ °¯ ¾ff¯ff°f ½f¾¾f ¾fsj ½ ¾ hf ¾f½ff¯ff°f°j ½¾¾ f¯ff½°f¯f"½¾¾¾¯ n° ¯½f ¾f ¾h¯f°½ff°ffsj°jxff½°f¯°n¾¾hf ¯f¾ ¾¯f°f ¾¾ ½°¾fnf x¯¾ ¾°°¾¾f n°n½sj nf½sj½¾¾fsj¾¾f¾ff½°f¯xf¯f¾ff °f¾nf ½¾¾©f¯¾ ¯°¾¾ffsjn° ½ff¾½f f½°f¯¾°¯°nf° fff½°f¯¾fn° f¾f¾ff¾nf . ° ¾f°j¯¾f°¾¾fn°f f fnf¾¾nf¾ ¾f¯° ¾f¯¾½n½f¾n¯ff½fsj ½fsjnf° ¾¾½°¯f¾¯f°f¯f f½°f¯ff ° n°¾¾° ¯¾°¾ f¾ ¾fsµ¾fxf¾°f¾¯°¾f¯ffsjf f½°f¯¾nfxff °ff¾fff¾¾ ½ffnf¾¾nf¾ f°¾¯f½f¾½f¾ °f¾nf¾µ¾°¾½¾¾ f¯f¾j ¾n°¾ ¯¾ °jx½ff½nf¯ff½°f¯f°f°jfff ff½°f¯°¯°fff½°f¯ ¯f¾¾¯½ff ¯f f°f nf° ½¾¾ f½h ¾nf½f. ¯Infsj-j. ¯ffsjf½°f¯ °n¯¾½¾n°n¾nfsjfffsj ½ff f¾ °nf¯¾¾f °¯°fffsjf½f¯°¾nf ¾nf°¯f° ¾ n°fn¯nfsjfffsj ¯nf½x¯¯nf¯°f¯ ¯fn ¾°nf f f . ° n°nnfsj¯f¾¯°fsµ¾fn°f °°n°f¯° ¾nf ¾fx¾¾¯¾¯ °¾fff . f¯fn¾f ½n¾¾nfn°f ¾½f ¾fsj °sj f°h¾¾°¾¾f¾°¯fsµ¾¯f¯ ©fn¯f ¾¾hf ff° nfsj°nf ¾°¯¯°¯ ©f °¾fsjnff¾n°f ¾°nf¯° °½°¾f¯°f ¾f ¾x °¯¯°¯¾nfgn°n¾jf ©f½¾¾¯°ff n°fsj °i¯nffnf°nf ¾n¯f °sjf°¯fsj ¾ ¾nf ¾x y ¾ °j¾y f¯fn¾f ½°"9¾ fnfsj °j¯½nf¾©fn°¾y°nf¾°f¾¾°nff¾ ¯ ffsjnfn°f¾nf 9ffx¯f¾¯ ¾f@n°fnfn°f ° @$ f° ¾°¯ff°h¾nnff½hnfffffsj¾nf fff½°f¾¯ff ½ff n¯½°¾n°nf¾¾nf ¯ffff¯ x¯¯¾f¯°f¯ ½°fn¯½¾sjf f fff 9x¯ n°n fffsj x¯ff½ff¾ ¯°fsµ¾fn°f f ¯fffff¯fn¾f f n¾fsj ½¾ ¯½nf¯½¾n°f¯°½¾°f¯ fsjf © fn¾fsjfff ¾ffff °j¾°nf°fn°fsjffff ¾f ©¯¾j °¯f¯ff½¾sjfh¾fhf ©fffsj n¯ ¯fn°¾°n¾jfsj ffff¯½fnf f°h¾¾°¾¾f¾n°f¯ © ffffsj fn¾n¯ff sjfff ¾½n¾¾ff ½ffn¯½ffsjfn°fsj ©fffn¯¯¯°f½fj ff½f¯°¾f n½fff½ © f fff ¾f ©n°¯f¯f¯ff½¾sjf¾f n°f ½¾n°f¯°ffn°f © fn¾fsj f ½fffff ¾ n°f¯fn¾j°f f¯ffsj°f ¯f° ©n¯¾hff¾ fffsj °¯°fnfsj °¯ff½f¾¾ff °sj n°fsj © °n¾jff°n¯ nfsjx¯ffsj n°f © ffffsj ½¾f n°f ©°¯ff°i¯nffsj ¾°°f¾½n¾¾¾n°½nf°¯°¾f¯ °f f ¾nf f¾f½fn¯fnfsj°jn¯ffffsjff½°f¯ ¾fnf½f°f ¾f¯¾¾¾f¾ff½°f¯¾f¯° y¯f°sj¾f n¯fnf¾¾nfsjnf° ½¾¾f¯¾f f½fsj½fsj ¾¾¾f¾°nf ¾°f °sj¾f n°fsjff½°f¯nf° °ffn°f ff¯° ¾¯¾fsµ¾f¾¾½nnf¾ °n°f¯¾½¾¾¾ ¯f¾¾½fj¾f f°ffsjff½°f¯¯f fffsj 9ff¾¾f¾½¾¾¾ ffsjff½°f¯¯f°¾f ¾n¯ ¯½n¾¾n¯½°¾j¾ff°s¾ ¯¾nf¾¾nf°¾ ¾j°n°f°½fff°¾ ©¾n¾ ¾n½°fffff ¾j½fn½f° fffsjx °¾n° ¯n°¯nf°¾¯¾ ¾h fn°sjffsj ½f¾¾f¾ ¾fsµ¾ ½¯¾f½hnfnfn°f f¾f½f °ff¾fff¾¾ n¯nfsj 9¾¾ ¯¾°nf½ff ½n¾¾fsjf¾n°¾y°nf¾¯f¾¾°nff¾½fff¯ff ff°f½°f¯¾nf°¾ n°h ¾ f¯f nfsj ¯ ¾f½n¾¾fsjff½°f¯¯f¯f °ff g¯f¯¾½ff¾°nn¯°f¾nf°sf¾ ©°¾ ffx¾fn°¾f° f¯fsf f½fsj ¯¾°¾ ff½n¾¾fff½°f¯¾nf ¾ f¯f nfsj fx¯°j f¾¯f¾¾°nff¾n°¾y°nf¾½fff¯f °¾°ff½°f¯ f°f¯½µf¾nf°¾n°¾y°nf¾°ff¾ n¯ . f¾ fx¯ ffx¾ff¯fsf½fsj ¾fsj °°¯°¾ ¯¾jn°¾ny°nf ½¾©f½ff¾½ff¯ ¯f ffn¯¾¾f¾ff½°f¯¾nf ¾ f¯fff nfsj nfff½°f¯ f°f¯f n¾f °j¯½n¾¾ ¯¯° fsjf½f¯°¾nf°jx½°°nff ¯f¾¯ ¯¯°½ff½ff ¾f¾fnf¯°ff¾hn°n¯fff f -¾¾° fnfsjf°¾¯f½n¾¾°i¯nf f½°f¯¯½f¾¾¾¾hn¾°¾ fffsj fn°h ¯f°¾f ¾n¯¯f°i¯nfnf¾ ¾f°nf¯°f¯°f fsj ½¾¾ f°n°¾y°nf¾°fsjfn°¾sj ¾¾f¾¾ ¾©f °nf¯°f¯°¾ f°f °¯¯°fffsjff½°f¯¾nf °¾ ½ff¯¾n¯f½hnf¾nffnfsj°jffffsj °ny°nf nnffffsj¾f¯f¾¾°nf½fffn°¾sj¾ ¾f¾ff½°f¯nf° ½½¯¾ °¾¾¯° f¯f¾°nfsµ¾½j¾¾ff¾¾nf¾°f½¾½nff °nf¯°f¯°¾½fff¯¯fn°sj½¾¾°¾°¾nf DI ¯½¯f ½½¯¾ffffsjf½f¯°¾nf¾©f ½fnffn¯¯ff sjfff¾¾f¾ff½°f¯¾ nf°¾ °½ f¾¾¾f¾½n¾¾¾°nf¾ n¯ ©°f ¯f ¯ffn¾jn°f½°f n°¾°¯° ¾°¯°nf° . -.¯¾¾ ¯¾ff¾½nnf¾¾nf ¾ f¯fnfsj ¯ ff¾¾fffsjf½f¯°¾nf -¾¾¾° ffff ½¾¾h %nf f°f¾f¾°f f¯f¯f¾ ©f½¾¾ f¾¯f°¾fsµ¾f¾ n°f¾n°f¾ ff¾ ½¾n¯f¾ ¾nf°¾ ½°¯f n°fsjf¯°f½° %f ¯ffff¾¾fn°fsjff½°f¯ f½f¯ ½fj%°½nff%½¾f nf¯n¯h½fn¯°f ¾nf¾¾½nf¾f¾¾n°¾¾©f¯¾°f ff¾ %f½f¾¾ffnfsj ¯f¯fn¾j¾ f¾n°f¾n°¾ ¾n°¾f¾¯¾f¾ °¯¾f f°fsj¯ffff½°f¯ nf¾¾fff¾¯¾ °¾f¾ffn° f fh ¾©f¾°°¾°f f½° ¾©ff¯°¾¾°nf½fff¯fsjnf° °nf¯°f¯°¾nf°¾½ff½f¾¾¾¾ ¾°¾ff½°f¯ nf¾ ¾n°¾ fff¯° f°f¯¯°f¾f¾ff° ¾ff¾°f ff ¾¾¯ ©½¯ffsjf½f¯°¾nf°j¾hff½fsj ½fsjnf° ¯f¾n°f¯°ff½°f¯¾ n°¾°¾°¯° 9.. -D@ 9ff¾nf¯°ffffsj°½n¾¾°¾° f½°f¯ ° n°¾nf ¯½f¾f n¯½fj¯°¯n°n¯°¾& f f¾h ¾nf°hf ¯½fj¯°¯ n°n¯°¾ f f¾h ¾°j¯f¯xf¯°¯f°f¾ n¯n ©°f½hnf¾nf ¯xf¯°¯f°f¾x°f°¾f½°¾fny°nff nf°f f½f°¾½ff½f¯°¾nf n¯ ½°ff°f¯°¾ ¾ y¾f¾f¾ f¯xf ¯ °¯nf¾¾ nf n¯¾f ¯¾ ¯f¾sj°f½¾¾jf ff D¯f° ½¯½ °½¯ ¯¾ °f°f¯ .f¯hnf °n°fsj °¾° ¯¾ °f °n° . @@ .¾ fsj °n °f °n°¯½nfsj °f ° n°¾j hn¯¯xf°f °f°f°f¯fy 9ffnnf°nf¯¯f f½°f¯¯°¯°n¾¾h°f¾f½fsµ¾¯f¯hnf¾n¯°¯¾ °¾ n©¯°¯f @ff °ff ¾ f½f¯° ¾f¾f¯fsj¾ fsj ¯¯½nfsj¾¯¾j ° ¾¾f°¾ffnf°n°n¯°¾f¾g¯½nfsjg¾j ° °f° ½f¯xf ¾ff½fn¯¾°j¾¾¾¾fnfy°nf f f¾ff°¾y°nf¾¾¯f°f¾ f½fsj½fsj nf°ff ¾½fff½°f¯¾n°n¯°¾¯°¯¾ °n¾¾h¾ n¯n°¾°¾°¯°f f¾ h ¾n°nsµ¾ °f° f°f°°¾ffsj°f¾n°n¾°f½hnf¾nff ½½f¾fsjnfn°f¯°f¾¯f¯f¾¾ ¾f¾ff½°f¯ °jhn¯ ¯f ¯°ff¾°f¾n°n¾ ff¾nf ¯°sj¾¾ x½¾¾½fnf¯°%°jf¯°¾ff¯°%¾f°f¾¾f nf½¾f n¯°n°n¯°¾ f f¾h ¾¯°¯¾f¾¯ f¾½¾nf°¾½°nf¯°f¯°°¾°f½f¾¾f°sj @f¯¾f ffn¯¯°¯°n¾¾hf½°f¯f¾¾¯°¯ f f¯¾¯fff ¯°¯f¯°¾f¾ff ½f¾½¾¾f ½f°f ½¯½ -¾¾f½¾½nf %nf° ¯¾¾n°¾ f °¯°¯ ½ff¾¾ ¾ f¾f n¯f°sj°½f°©f¯°f¾n°¾ f½°f°¾¾f¯°n¾¾h¾½ff¾ f¯°sj ¾¯¾f ¯½¾¾fff sj %ff½°f¯f f¾¾°¾fn°¾ff°¾f¾ff ½¾¾ nf°f¾°f fxf°¯°¯°n¾¾h %nf° ¾¾°¯°fn¯f¾¾°¯°¯°n¾¾h n f°f¾¾½¾f nf°f¯h¯ & ½fj ¯°¯ n°n¯° ° . ¾°¾ ¾f@n°fnfn°f ° @$f° -¾n° ½ ¾ fff¯xf ¾°j¾n¾¾f° ¾f°fff½°f¯f° -¾nf¾ ¾ff¯xf¾ff ¾¯½fn¯f¯°¯°n¾¾hn°¾f¾¯f½°¾ 9ff¯½nf ¯¯¾nf¾f°¯°nff°.f¯hnf ¾½° ff f¾¾°¾°f¾ ¯xf¾f ¾f¾¾f¯xf¾ffn¯¾f¾¾¯½¾½¾f¯°¯ °n¾¾h ¾©f ¯nff¯¾n°¾ °ff¾¾¯ f f°f f¯ x¯°f¾f°f°¾ ½f ¾¾ ½°ff°fnf¾¾ ¾f¯f¾ff½°¾fff½°f¯ ¾½¾¾f¾¾ f°f½°¯°¯°n¾¾h¯nffn° 9ff¾f¯xf½¾¾fn ½¾¾h½f°©fx¯°¯ °n¾¾hf ffn¯¾¾f°¾½ff¾f°©f¯¾¾¯°¯ fffsj °nf¾ ¾f¯¯nf°¾¯¾ ¾h½f½¾¾f nf°¾°¾f½°f¯f°¾½¾f°¾f ff°½ff f°¾¾¯ffff¯°¯f°n¾¾hf ½f¾¾ff½ff¯n°° f°¾f°¾¾¾¯f°¾¾½ff¯f¯°¯ °¾f°¾ g¾°sf¾°f¾ nf¾¾nf¾ f½f¾¾fj fn¯°n¯nf¾f f ¯°¯°n¾¾h ¾ ½x¯ ½ ¯°¾nfjf¯°¯ ¾¾ff°f¯fffsj°¾f°¾ f ¯°¾°f¾n°sµ¾¯°¯f¾f½°f¯¾n°¾¾nf¾ ¾¾¾f¯nf¯°½ffff°f¾nffsj¾f °n°f¾nf ½¾¾ff¯¯°¯°n¾¾h ffffsj¾fff¾s¾¾ ¾°nf½n¾¾¾nf½n °f½fsf¾f¾n°¯°nf¾f¯¾½½°fff¯ ¯°¯°n¾¾h fn¾n°f¯¾¯f ¾fsj °¯°¯°n¾¾h .¯ff½°f¯ ¾ . °j¾°nff ¾f ¯°¯°n¾¾hh¾°¾°ff½°½ ¾ ½x¯°jhfj½ff°jfx¯ ½¾°f¯¯f¾ ff ¾f¯°¯ff½°f¯¾¾°nf °j½¯¾f¯x¯¾ nf°¾¯fx¯¯°¯°n¾¾hn°n¯°¾ f f¾ h ¾°¯f¾½¾¾ f¾¾¾°¯° ¯½ff°f ¾f¯°¯°n¾¾h°jx°¯½¾°½¾ ½¾¾¾°f¯° ¾¯°¯x¾f n½n¾nf¾ f ff¯¯¯¯°f½f¯f¾nf ¯fnfsjn¯ ¾°¯°fny°nf n¯fff ff¯ °n°f¾nf n°¯½i°f¯¯¾ . .DD.f¾n°h nf¯¾°¯f f¾¯¾¯ f¯f° n¯n°¾y°nf¾°ff¾½ff¾nf°¾ nfjnf°¾ n°¾ f f¾ h ¾n°nsµ¾ ¯¯¾fffsjff½°f¯ -¯f°-D- ¯¾ f fsj@¾¾½f¯°¾nf%j9f ff9°f% ff ¾¾°nf¾fnx f fff¯f½f¾¯°¯¾°n¾¾h¾ ¾¾°nf¾f°¯f f fff¯f½f¾n°¾ ¾°¯° f¯½fffx¯¾¯°¯¾°n¾¾h¾ @-@. -9--II& ½hnfffffsjff½°f¯ ¯¾¾°½° ¾¾h½¾¾°f¯f ¯¾¾f¯°°¾¾f°ff½°f¯nf° ¾©f h ¾¾f°¾¾f¯nf°f½°ff¾h¾°°¾°f 9fn¯n°f ¾°¾¾¾ff¯fsj °f¯f¯½¯¾½°¾f¯ ¾hf ff°°°¾°¾h°¾¾f¯¾nf°¾f½°f¯ @ff °jxn ¾¾¯f¾nf°j¯°¾f¾fj°¾¾f¯nf°f½°f f ½f¯¯°°¾½n°fnfsj ¾f¾¾f¾n¾ nfn°f¾¾jf½ff¯°¾f½°°¾¯° f°½° ¾f°f°nf°½fn °fff½°f¯nf° -nf¾ffffsjff½°f¯ f¯ f f°¾¯°½fn -¾ ½¾¾¾ f¾¾¯n¯°¯f¯°¾f°¾¾¾½f¾ ¾f¯¾ °¾¾f¾°ff½fsj½fsj¾nf°¾°f¾¾x¾¾nf¾ ½x¯ ¾f¯¾½nf°¾f¾¾°¯° °¾¾f½hnfnff ½¾¾f ¾¯f¾¯°¾f¾°¯f °¾°f¯¾ ¯f¾¾f°¾°j f½°f¯ xf¯¾f " f ¾°¾°f¯¾ ¾f°¾°jf½°f¯¾f¯¾°¾¾f¾ f½°f¯ h¾°¾°ffxf½°f¯ h¾°¾°fn°¾sj¾ ¾f¾¾©f¾ fffsj¾½°n°ff¯°°¯f fnfn¯¾f¾ nffn¾nf¾ ¯¾f½¾½nf°i¯nff½°f¯½ff¾°¯° f fffsj°jh¾½fs h¾½fs ¾¯ fnfsj ¾f¾¯°¾° °´¯°¾¯°nf¯°fn¾µ¾ fffsj¯½nff¯ffn¾fsj ¾ °j¾¾f¾f f¾f°fsj nf¾¾©f¾¾f° fffsjx¯f°¾nfff¾¾f¾°¯h¾°f¾ f nfsjx¯fn°fsj¾¾f¾½fnf¾°f¾ ½¯fx °i¯nf f¾°f ¾hnf . -@. .@. 9ffffffsj¾¯¯°¾¯°¾ ¾h¾°nff½hnf nff x¯½f°f°f½hnfnffn¯ffffsj¾©f¯ n°f¾n¯¯¯°fn°nxn°n ny°nf½fnf © ¾h¾n°¯°f¯fnf½ffn¾ ¾¾gn°sj¯f½hnf nffnf½ffjn°¾sj¾f¾¾°nf¾ff½°f¯ ¾¯f°¾¯¯½¾°¯°nf° -jnf fff¾f¾j°¾ ff °j½f¯¾f ¯°n°f f ½¾¾¯fffffsj°jfnf°sfh¾½f½¾°nf°f ½sj¯°¾° f½°f¯¾f¾f& & & ¾n ¯ ½ff I °n° -fn°f hnf 9hnf °¾° ff ¯ ° ¯ . ¾ °f 9 ¯f 9hnf n° . nf . °¾f ° f ¯f¾ ff¯°¾ ½°n½ & ½°n½¾fny°nf½fnff½hnfn° ¯°n°f°f°ff° % 9¯f 9hnfn°. nf. °¾f % f¾¾¯n¯.@. -I . .hnf f ¾nf.xf f9 nfn° ff°f .

Comments

Description