Por ARLEY RAMOS MORENO*
A produção intelectual e científica realizadas em nossa Universidade pública
Eis uma pergunta e uma afirmação, colocadas como título, que podem ser aplicadas à produção intelectual e científica realizadas em nossa Universidade pública. O tema é atual e, por isso mesmo, suscita controvérsias que apenas a discussão e o aprofundamento serão capazes de esclarecer e, quiçá, acalmar.
Como toda pergunta, esta que nos colocamos parte também de uma dúvida: será que é preciso, de fato, avaliar a produção acadêmica? Parece-me que a avaliação é, neste caso, muito importante. Por diversas razões. Gostaria de sublinhar apenas duas delas, dentre as outras possíveis.
A primeira diz respeito à importância social que têm os resultados da pesquisa acadêmica: a qualidade dos produtos criados na Universidade terá impacto direto na qualidade de vida da sociedade – quando forem, é claro, distribuídos e adequadamente implantados esses resultados pelo poder público e pelos mecanismos diversos que se ocupam de sua transmissão. Trata-se de cumprir um dever ético, com a sociedade que mantém a Universidade pública, realizar avaliações periódicas e sistemáticas dos resultados da pesquisa. Dever ético, não apenas o de avaliar, mas, principalmente, o de procurar aprimorar a qualidade dos produtos da pesquisa: a avaliação dever ser um instrumento para o aprimoramento da pesquisa e não uma finalidade em si-mesma.
Deste ponto de vista, a importância da avaliação está ligada à natureza pública da instituição universitária, a qual não pode deixar de cumprir com esta maneira de prestar contas a quem nela deposita sua confiança, sob a forma de tributos públicos.
Ora, esta avaliação é bastante diferente de outra, também muito importante, que se dirige exclusivamente ao desenvolvimento interno da própria pesquisa nas diversas áreas do conhecimento. Neste segundo caso, a avaliação tomará formas diversas, relativas às áreas e às variadas atividades que integram Universidade. Trata-se, então, de manter presente, para os próprios membros da comunidade acadêmica, o estado da pesquisa em suas áreas específicas. As formas de avaliação interna a cada área são consensuais e, normalmente, não levam a maiores controvérsias além das que opõem os diferentes modelos explicativos do ponto de vista teórico; neste caso, os conflitos fazem parte da própria evolução das áreas de conhecimento.
Controvérsias e disputas proliferam, contudo, quando, ao se avaliar a produção acadêmica com a finalidade de prestar contas à sociedade, as instituições universitárias entram em competição para obter verbas das agências de financiamento à pesquisa. É que ao mostrar seu mérito e excelência acadêmicos, as instituições se tornam, aos olhos das agências, mais ou menos merecedoras de novas verbas para desenvolver as pesquisas. O conflito surge, neste momento, porque o método de avaliação deve ser padronizado – para ser aplicado indistintamente, com suposta objetividade, a todas as áreas de pesquisa – apesar, contudo, da grande diversidade que há entre elas. E chegamos, aqui, à segunda questão que colocamos no título sob a forma de uma afirmação: é preciso medir.
Não há dúvida de que a atividade de medir é indispensável para a organização que impomos à nossa experiência do mundo, em geral. Tornamo-nos capazes de comparar entre si objetos e eventos os mais diversos, estabelecendo padrões e normas através de teorias e de técnicas que são, ao mesmo tempo, convencionais e consensuais. Com isto, criamos unidades temporais, espaciais, gravitacionais, energéticas e criamos, também, unidades de outros tipos, como amostras de cores, de formas, de sons, ou, ainda, amostras de objetos, de ações, de situações e, até mesmo, de estados psicológicos e de sensações – p.ex., através de comportamentos instituídos como amostras.
São mais variadas as técnicas para criar padrões de medida, umas permitindo realizar comparações precisas através da quantificação numérica e, outras, permitindo realizar comparações analógicas. Todavia, não há diferença de natureza entre os diversos tipos de técnicas de comparação, mas, apenas, diferenças nos graus de precisão com que suas unidades medem. São, todas, técnicas para medir e, com isto, comparar objetos e eventos – nenhuma delas autorizando o julgamento sobre o valor dos objetos medidos. Abordamos, aqui, o ponto polêmico do processo de avaliação da produção acadêmica.
As técnicas de mensuração numérica são bastante adequadas à organização de objetos e eventos que sejam passíveis de segmentação em unidades discretas e permitam, assim, que lhes sejam atribuídos números. Apesar de seu caráter tautológico, esta afirmação nem sempre parece ser bem compreendida quando, p.ex., o tipo de mensuração numérica é generalizado indiscriminadamente a outros objetos e eventos que não compartilham dessa mesma característica. É como se as técnicas de numeração pudessem captar propriedades qualitativas dos próprios objetos, além de apenas permitir medidas e comparações através das associações arbitrárias entre unidades convencionais e números – um pouco como, séculos atrás, pensavam os membros da seita pitagórica; estes, todavia, com mais fineza e profundidade.
A polêmica em torno da avaliação acadêmica consiste em afirmar que, contrariando a generalização indicada acima, quantidades numéricas não expressam “qualidades” dos objetos e eventos medidos – em nosso caso, que a quantificação da produção acadêmica não pode expressar a sua qualidade. Quantidades numéricas podem expressar, apenas, as próprias técnicas de construção das unidades-padrão, jamais qualidades dos objetos e dos eventos produzidos na academia – que são os produtos culturais da pesquisa, do ensino e da extensão. Ora, o que a medida pretende, neste caso, é avaliar a produção acadêmica através da quantificação enumerada de unidades-padrão estabelecidas de maneira muito pouco consensual – o que, além de polêmico, é um engano teórico grave.
De fato, tanto as unidades-padrão poderiam ser muito diferentes do que as que estão sendo propostas, como a redução da qualidade a unidades quantitativas é uma ilusão filosófica que, em pleno século XXI, ecoa suas origens pré-socráticas.
Conhecemos bem, todos os que convivem na academia, as várias tentativas de reduzir a qualidade da produção acadêmica a unidades quantitativas. Tomaremos apenas um exemplo, dentre os mais espetaculares, colhido da nova disciplina especialmente voltada para a contagem da qualidade da produção científica, a cientometria. Trata-se do conceito de impacto. Como avaliar a repercussão cultural de um trabalho acadêmico, sua inserção e influência teórica na comunidade científica? Para isto, procurou-se criar unidades de medida pela indicação do número de citações dos trabalhos publicados. O pressuposto que orienta a criação deste padrão de medida é que quanto maior for esse número maior terá sido a influência do trabalho na comunidade, maior o seu impacto, e, portanto, melhor será a sua qualidade.
Como se vê, o engano consiste na suposição de que unidades numeráveis tenham a capacidade de expressar qualidades, pelo simples fato de serem numeráveis – tendo, como corolário, a idéia de que números maiores expressam qualidades maiores, sendo maior sinônimo de melhor. Até Heráclito teria sua tumba estremecida por tal contradição…
De fato, a quantidade de citações de um trabalho publicado – em periódico internacional, em língua inglesa, Qualis A – expressa apenas o número de vezes que o artigo foi citado por outros autores em outros artigos publicados em revistas internacionais com igual inserção acadêmica, mas não expressa, nem o poderia, a sua qualidade. O conceito de impacto sequer assegura que o trabalho tenha sido efetivamente lido por aqueles que o citam, nem, muito menos, indica que tenha havido assimilação adequada de seu conteúdo por parte de quem o leu. O número de citações de um trabalho expressa, muito mais, as circunstâncias sociológicas das áreas acadêmicas envolvidas, do que a qualidade do trabalho. Informação importante para o sociólogo das ciências, sem dúvida, mas de nenhuma serventia para o legislador que pretende imprimir normas de conduta a respeito da qualidade. A não ser, está claro, que o legislador tenha em vista a influência política que poderá exercer para a conquista do poder acadêmico.
Note-se, de fato, o uso político que é feito de qualquer instrumento de medida ao pretender-se deliberar de maneira supostamente objetiva a respeito da qualidade do trabalho social e acadêmico dos indivíduos concernidos – deliberar e impor normas como critérios para a sua sobrevivência. Aqui, todavia, entramos em outro domínio que não iremos, agora, explorar.
Parece natural, pois, e mesmo saudável que haja muita polêmica em torno da questão da avaliação da produção acadêmica, porque se medir é preciso para melhor conhecermos o mundo que nos rodeia, podemos perguntar, todavia, se as técnicas de medida por quantificação são realmente adequadas para expressar a qualidade do trabalho acadêmico. E, igualmente, ao levarmos em conta a grande diversidade das áreas do conhecimento que constituem a Universidade, podemos também perguntar se os critérios normativos que estão sendo apresentados são adequados a essa diversidade.
Se, por um lado, é preciso uniformizar os padrões de comparação para podermos prestar contas à sociedade sobre o valor da produção acadêmica, por outro lado, parece ser um obstáculo ainda não transposto a questão do julgamento desse valor através da aplicação das técnicas atuais. Técnicas que se adaptam bem a objetos e eventos da natureza física, mas muito pouco a objetos e eventos culturais ou simbólicos, como os produtos da atividade acadêmica. Caso não reconheçamos esta dificuldade, a nova ciência métrica deverá ter seu nome mudado para cientologia…
Para finalizar, retomemos os dois pontos iniciais, colocados como título a este texto, sob a forma de duas questões: avaliar e medir.
Sim, é preciso avaliar a produção acadêmica da Universidade pública, tanto por razões éticas e sociais, quanto por razões teóricas, internas a cada área do conhecimento. Mas, daí surge a primeira dificuldade: se, no segundo caso, os critérios podem ser razoavelmente consensuais, no primeiro caso, pelo contrário, a uniformização dos padrões de avaliação apresenta uma dificuldade que, até o momento, está longe de ser suplantada. E assim o permanecerá, caso os padrões adotados para a uniformização sejam apenas e exclusivamente os adotados para quantificar processos naturais – como o fazem os cientistas naturais da matéria física, química, dos processos biológicos, etc.
Por outro lado, se a atividade de medir é indispensável para que possamos conhecer o mundo natural que nos rodeia – tal como fazem os cientistas naturais apoiados pelos matemáticos e pelos lógicos – ainda será preciso que desenvolvamos técnicas para julgar a qualidade dos produtos culturais e simbólicos que constituem a atividade acadêmica. Estamos longe disto.
Finalmente, o terceiro aspecto para o qual apenas apontamos é o uso político, social e acadêmico, que pode ser feito de técnicas de medida-padrão. Em nosso caso, são técnicas que apresentam normas para determinar a qualidade da produção acadêmica – normas que são, por sua vez, apresentadas como condição para a sobrevivência e o desenvolvimento dos indivíduos e das instituições que compõem a Universidade. Este aspecto será uma dificuldade para áreas ou grupos acadêmicos, assim como será uma arma de poder para outros – como em toda contenda política em que não esteja em jogo a colaboração, mas, apenas, a competição entre os pares. Daí a importância de expandirmos e de aprofundarmos a discussão em torno de mais esta polêmica questão.[1]
*Arley Ramos Moreno (1943-2018) foi professor titular de filosofia na Unicamp. Autor, entre outros livros, de Introdução a uma pragmática filosófica (Editora da Unicamp).
Nota
[1] Permito-me enviar o leitor a um artigo em que desenvolvo algumas das ideias aqui apresentadas de maneira sumária. Trata-se de “A área das humanidades na era da universidade tecnológica”, publicado no livro Formação humana e gestão da educação: a arte de pensar ameaçada (Cortez, 2008).
