Como costumava dizer um colega professor da Unicamp — que, infelizmente, já nos deixou —, na academia, não é só o conhecimento que é especializado, a ignorância também. Ele usava essa frase quando queria enfatizar algo importante que deixávamos passar despercebido.
A verdade é que somos particularmente ignorantes sobre os impactos que a ciência brasileira tem produzido, aqui e no mundo.
Publicações científicas brasileiras são mencionadas em documentos escritos por 1.028 organizações que se dedicam a formular e influenciar políticas públicas. Entidades oficiais de governo, Grupos de Reflexão (Think Tanks), Organizações Não Governamentais (ONGs) e Organizações Intergovernamentais (IGOs) de 127 países publicam suas pesquisas sobre tópicos de interesse nacional e global fazendo referência a cerca de 50 mil artigos científicos que contam com a participação de pelo menos um/a autor/a brasileiro/a (mapeados pela base Overton no período que compreende de 1945 a 2023).
Estamos falando de organizações como o Instituto de Pesquisa Econômica Aplicada (IPEA), o Banco Mundial, a Organização das Nações Unidas para a Educação, a Ciência e a Cultura (UNESCO), o Painel Intergovernamental sobre Mudanças Climáticas (IPCC), dentre outras.
Dos artigos mencionados em documentos de política, destacam-se pesquisadores(as) da Universidade de São Paulo (USP), Universidade Estadual de Campinas (Unicamp), Universidade Federal do Rio Grande do Sul (UFRGS), Universidade Federal do Rio de Janeiro (UFRJ), Fundação Oswaldo Cruz (Fiocruz), Universidade Federal de São Paulo (UNIFESP), Universidade Federal de Minas Gerais (UFMG), dentre várias outras instituições.
Compreender a interseção entre política e ciência nunca foi tão importante quanto nos dias de hoje. O desafio torna-se mais complexo se colocarmos em perspectiva os problemas e transformações sociais ocorridos em diversas escalas, tais como as mudanças climáticas, a pobreza, as desigualdades e as mudanças tecnológicas e seus impactos. É fato que a política influencia a ciência e que a ciência influencia a política. O problema — que mobiliza sobremaneira agências de fomento, instituições de ciência e tecnologia e formuladores de políticas — está em como medir e reportar os resultados dessa interação.
Como produzir avaliações, indicadores e informações que capturem os impactos da pesquisa para além de seus espaços de produção?
A altmetria tem oferecido alguns caminhos como resposta para essa pergunta. Um campo de estudo emergente, as métricas alternativas (altmetrics) mensuram como os diversos resultados derivados de pesquisa científica circulam e são utilizados no meio online (como em redes sociais) e no espaço político, conformando agendas e orientando decisões.
Tais métricas também permitem identificar qual parcela de artigos decorrentes de projetos financiados com recursos públicos foi mencionada em documentos de política. Vejamos um exemplo.
Nos últimos dez anos, foram concluídos 106 projetos no âmbito do Programa de Pesquisa sobre Mudanças Climáticas Globais, modalidade de financiamento da Fundação de Amparo à Pesquisa do Estado de São Paulo (FAPESP), cujo escopo prevê a promoção de pesquisas sobre as interfaces entre ciência e políticas climáticas. Esse conjunto de projetos resultou na publicação de 1.044 artigos, dos quais 11% foram referenciados em transcrições parlamentares, documentos e relatórios de ONGs, trabalhos de think tanks e outros tipos de literaturas de política. Essa porcentagem representa mais do que o dobro da média global de citações, que é de 5%, calculada por estudos conduzidos pela base Overton (ver abaixo).
Proxies dessa relação são possíveis atualmente graças a provedores que disponibilizam dados para que instituições, editores, pesquisadores, financiadores e outras organizações relacionem pesquisa acadêmica às esferas política, tecnológica e social. Especificamente sobre a relação entre ciência e políticas públicas, destacam-se as plataformas Altmetric.com, PlumX Metrics, Dimensions e Overton.
A Altmetric.com, do grupo Digital Science, foi implementada em 2012 e, desde então, tem monitorado uma série de métricas alternativas, com mais de 35 milhões de resultados de pesquisa (incluindo artigos de periódicos, conjuntos de dados, imagens, white papers, relatórios) e 191 milhões de menções no Twitter, no Facebook, em patentes, sites de notícias, blogs, na Wikipedia e em documentos de política.
Fundada em 2012, a PlumX reúne métricas de citações, uso, downloads, menções e mídia social e inclui o recurso de citações de políticas em artigos. Em 2017, a Plum Analytics ingressou na Elsevier.
A base Dimensions, criada em 2018 e também parte do grupo Digital Science, compõe, junto com Scopus e Web of Science, as principais bases de dados de produção acadêmica, científica e tecnológica do mundo. A Dimensions é constituída por dados e ferramentas de análise fundamentadas em tecnologias de inteligência artificial, possibilitando ampla cobertura das produções acadêmicas. É composta por dados sobre publicações, citações, financiamento à pesquisa, altmetria, ensaios clínicos, patentes e documentos de política, formando uma estrutura abrangente do ciclo de vida da pesquisa [1].
A base Overton foi fundada em 2019 por Euan Adie, o mesmo fundador da Altmetric.com. Atualmente, com a missão de “ajudar os usuários a encontrar, entender e medir sua influência nas políticas governamentais”, é considerada a maior coleção do mundo de documentos políticos provenientes de diferentes fontes [2].
Quais as potencialidades e limitações da Overton?
Com mais de 1.500 fontes [3], a Overton registra “cobertura política” superior a outras bases [4] e contempla diversas áreas do conhecimento [5]. Seus recursos possibilitam mapear as influências mútuas entre produção científica e políticas públicas, ou seja, as citações de publicações acadêmicas em documentos de políticas e citações de políticas em políticas, podendo trazer uma visão mais abrangente da avaliação de impactos da pesquisa e oferecer evidências para o ciclo de políticas públicas [6]. Isso pode ser feito por meio de análises quantitativas convencionais — comparando variáveis como campo do conhecimento, ano de publicação, financiamentos, número de autores e entidades envolvidas [6] — e por meio de estudos de natureza qualitativa, centrados no mapeamento de tópicos e temas [7].
A pandemia de covid-19, por exemplo, levantou diversos debates sobre a difusão, visibilidade e transparência da produção científica. A utilização da Overton poderia lançar luz em diversos aspectos relacionados ao uso (ou ao não uso) de produtos de pesquisa na formulação de políticas de saúde pública. De fato, vários estudos que utilizaram informações e indicadores da base evidenciam seu potencial em mensurar o alcance das publicações e os seus efeitos observados nas dimensões acadêmica, social e política.
Yin et al. [8] mostraram que muitos documentos de políticas utilizados durante a pandemia para responder à urgência/emergência na área da saúde se referem substancialmente à ciência recente, revisada por pares e de alto impacto. Bornmann et al. [9] concluem que evidências científicas foram incorporadas em documentos de política relacionados a decisões importantes na diplomacia climática internacional. Embora recentes, esses estudos buscam mensurar o engajamento acadêmico-político, explorando quais fontes de políticas citam determinado conjunto de pesquisa, onde (geograficamente) a pesquisa é mais comumente citada e quais financiadores estão associados a pesquisas mencionadas em documentos de política.
Apesar das potencialidades da Overton, há vieses na cobertura e na amostra de dados [8]. Os dados de citações, por exemplo, podem conter “falsos positivos” — quando um artigo é disponibilizado em outras páginas, ou portais institucionais, e a citação não remete à fonte original [10]. Além disso, a plataforma não elimina ambiguidades relacionadas aos nomes dos autores e mapeia somente publicações com identificadores digitais. Também entram em jogo outras preocupações mais gerais, relacionadas às métricas alternativas: conceito (altmetrics) ainda em construção, dificuldade em comparar os resultados entre os diferentes provedores, predomínio de ferramentas comerciais estrangeiras, vieses a favor de áreas do conhecimento e regiões. São limitações que requerem cautela e senso crítico.
Ferramentas como esta permitem reduzir nossa ignorância sobre os impactos que a ciência brasileira produz e ampliar o entendimento sobre o uso do conhecimento científico na sociedade, abrindo um horizonte de possibilidades para estudos centrados em “research on research” ou “science of science policy“. Isso pode ser particularmente relevante para agências de fomento, organizações de pesquisa e ensino superior e órgãos governamentais, pois a produção de evidências deve orientar a tomada de decisão, sobretudo em relação ao planejamento de políticas públicas e estratégicas de fomento a atividades de Pesquisa, Desenvolvimento e Inovação.
Espera-se, ainda, longos debates na comunidade científica — e na própria sociedade — sobre a influência da pesquisa nas políticas públicas e a relevância das ferramentas digitais e metodologias de medição nesse contexto. Aos poucos, vamos construindo caminhos para responder ao desafio de produzir avaliações, indicadores e informações que capturem os impactos da pesquisa para além de seus espaços de produção.
Autores:
Ana Carolina Spatti é doutora em Política Científica e Tecnológica e pesquisadora do Laboratório de Estudos sobre a Organização da Pesquisa e da Inovação da Unicamp (Lab-GEOPI).
Evandro Coggo é pesquisador do Departamento de Política Científica e Tecnológica (DPCT) da Unicamp.
Muhsen Hammoud é doutor em Ciência da Computação da UFABC, cientista de dados no projeto “Pesquisa da pesquisa e da inovação: indicadores, métodos e evidências de impactos”, financiado pela Fundação de Amparo à Pesquisa do Estado de São Paulo (Fapesp Processo 2021/15.091-8), pesquisador em Bioinformática e líder técnico.
Napoliana Souza é bolsista TT-V FAPESP, no Laboratório de Estudos sobre a Organização da Pesquisa e da Inovação (Lab-GEOPI) da Unicamp.
Sergio Salles-Filho é professor titular do Departamento de Política Científica e Tecnológica do Instituto de Geociências da Unicamp e coordenador geral do projeto “Pesquisa da pesquisa e da inovação: indicadores, métodos e evidências de impactos”, financiado pela Fundação de Amparo à Pesquisa do Estado de São Paulo (Fapesp Processo 2021/15.091-8).
Referências
[1] Singh, V. K.; Singh, P.; Karmakar, M.; Leta, J.; Mayr, P. The journal coverage of Web of Science, Scopus and Dimensions: A comparative analysis. Scientometrics, 126, 6, p. 5113-5142. 2021.
[2] About Overton. Acesso em: 16 mar. 2023.
[3] What is Overton’s coverage and how does it compare to other systems?. Disponível em: https://help.overton.io/article/what-is-overtons-coverage-and-how-does-it-compare-to-other-systems/. Acesso em: 21 mar. 2023.
[4] Maleki, A.; Holmberg, K. Comparing coverage of policy citations to scientific publications in Overton and Altmetric.com: Case study of Finnish research organizations in Social Science. Informaatiotutkimus, 41(2–3), pp 92–96. 2022.
[5] Szomszor, M. Policy citation databases offer new ways to understand the impact of social sciences research. LSE Blog. 2022.
[6] Szomszor, M.; Adie, E. Overton: A bibliometric database of policy document citations. Quantitative Science Studies, 3(3), pp 624–650. 2022.
[7] Filippo, D. D.; Sastrón‑Toledo, P. Influence of research on open science in the public policy sphere. Scientometrics, 128, pp 1995–2017. 2023.
[8] Yin, Y.; Gao, J.; Jones, B. F.; Wang, D. Coevolution of policy and science during the pandemic. Science, 371, 6525, pp 128-130. 2021.
[9] Bornmann, L.; Haunschild, R.; Boyack, K.; Marx, W.; Minx, J. C. How relevant is climate change research for climate change policy? An empirical analysis based on Overton data. 2022. arXiv preprint arXiv:2203.05358.
[10] Pinheiro, H.; Vignola-Gagné, E.; Campbell, D. A large-scale validation of the relationship between cross-disciplinary research and its uptake in policy-related documents, using the novel Overton altmetrics database. Quantitative Science Studies, 2, 2, pp 616–642. 2021.