Testar modelos few-shot

[Leanddro13]

Descrição

Após estudar os modelos de few-shot, implementar eles.

Tarefas

• [x] Testar capacidade de generalização dos modelos
• [ ] Verificar acurácia dos modelos

Critérios de Aceitação

• [x] Branch com as alterações pedidas aprovada pelo grupo ou registro na issue com as atividades realizadas.

[LexTOliver]

Alguns estudos separados para leitura e compreensão do tema "Few-Shot Text Classification" e formas de implementação:

• Few-Shot Text Classification with Pre-Trained Word Embeddings and a Human in the Loop (2018)
• Induction Networks for Few-Shot Text Classification (2019)
• Few-shot Text Classification with Distributional Signatures (2020)
• Exploiting Cloze Questions for Few Shot Text Classification and Natural Language Inference (2020)
• Using Triplet Loss and Siamese Neural Networks to Train Catalog Item Embeddings (2021)
• Few-Shot Learning with Siamese Networks and Label Tuning (2022)

[LexTOliver]

Alguns algoritmos para testar:

Dos artigos acima:

• Induction Networks
• Distributional Signatures
• Pattern-Exploiting Training (PET)

Dos artigos da issue passada:

• Few Shot Text Classification - Cloudera
• Text classification from few training examples
• SetFit

[LexTOliver]

A maioria dos modelos encontrados ainda estavam em estágio de pesquisa e exploração da task few-shot. Nominalmente, existem poucos modelos marcantes conhecidos que podem ser reproduzidos. Dentre eles: redes prototípicas, redes siamesas, SetFit e pequenas variantes das mesmas com otimizações. Todos baseando-se nos conceitos de codificação do texto em embeddings e classificação através da similaridade por cosseno.

[LexTOliver]

Dentre os modelos mais conhecidos, ainda existem pouca documentação e implementação disponível para reproducibilidade, o que necessitou uma estudo mais aprofundado dos seus conceitos e técnicas e atrasou um pouco o cronograma de entrega das issues.

[LexTOliver]

O melhor modelo que foi selecionado para foco e teste foi o SetFit, disponível em versão early no Pypi com uma documentação satisfatória e vídeos tutoriais explicando sua implementação e uso.

[LexTOliver]

Os testes do SetFit se encontram no Colab. O uso do Colab tornou-se necessário para treinamento do modelo em GPU, otimização o tempo gasto.

[LexTOliver]

Não foi necessário a criação de uma branch e o código do algoritmo testado está registrado na issue.