Análise inicial dos resultados #1

[ogecece]

DESCRIÇÃO: Análise dos resultados obtidos em #18. As buscas têm como base os termos discutidos em #13 , e será realizada para as 27 cidades disponíveis no Querido Diário até a primeira quinzena de maio, no período de jan/20 a abr/22.

OBJETIVO: Analisar a base de dados em relação ao escopo, volume e qualidade dos resultados das buscas apresentados.

DEFINIÇÃO DE PRONTO Ao menos uma amostra dos resultados analisada, identificando se atendem ao escopo previsto para o primeiro relatório (#4 ), potenciais casos de interesse para desdobramento nos relatórios, além de ocorrências de problemas e indicações de melhorias para refinamento de buscas futuras, caso haja.

[adanibello]

Base disponibilizada em #18 . Iniciando a análise .

[adanibello]

Para registro:

Na análise inicial realizada, foram identificadas as seguintes características:

• Cerca de 7 mil resultados para as 27 cidades. Maior parte deles concentrada nas cidades do Rio de Janeiro (~2400) e Curitiba (~1500). Demais variam entre ~10 a ~400 entradas.
• Quase a totalidade dos resultados (~6200) ficou enquadrada no subtema de "Formação e Aprendizagem", seguida por "Conectividade (~500) -- o que é um bom indicador, já que este é um tópico de interesse para os estudos de caso (análises temáticas).
• Já os termos relacionados à "Acessibilidade" quase não retornaram resultados (apenas 10).
• Percentual de resultados dentro do escopo (isto é, dentro do tema de implantação de tecnologias na educação municipal) ainda é baixo: nos primeiros municípios analisados, o melhor resultado foi de Araguaína, que apresentou 56% das entradas dentro do escopo. Demais ficaram na média de 20-30%.

A partir disso, identificamos também algumas questões de ajuste:

• A maioria dos falsos positivos nos resultados é de atos gerais relacionados à educação ou a contratações gerais devido à presença do termo "sistema" em "sistema de ensino" ou "sistema municipal de educação/ensino" (usado por várias cidades no lugar de "rede de ensino" ou "rede municipal de educação/ensino") e em "sistema de registro de preços".
• Boa parte também inclui autorizações de funcionamento de novas unidades (também puxado por "sistema de ensino") e reuniões dos Conselhos Municipais de Educação, que passaram a ser virtuais (termos como "plataforma", "meet" e "remoto" combinados aos demais, puxam esses resultados).
• Alguns resultados não ficaram enquadrados no subtema correto, sobretudo aqueles que deveriam estar em "Gestão" (maioria ficou em "Formação e Aprendizagem" na classificação automática).
• Salvo alguns casos específicos em que os termos de busca não ficaram claramente identificados nos excertos da base (o que identifica por que aquela entrada foi considerada relevante na raspagem), os parâmetros de busca parecem estar funcionando muito bem. O que precisará ser ajustado é a relação de termos de busca e suas combinações.

Por fim, também identificamos a necessidade de ampliar os itens da categorização de resultados. Isso porque a busca agora é mais abrangente do que aquela feita durante a fase piloto, que se deteve a tecnologias voltadas ao ensino remoto. Além da inclusão de novos itens -- como "abrangência", e detalhamentos sobre o "objeto" e a modalidade ou hipótese de contratação --, também estão sendo incluídas novas classificações em cada item.