ML. Поиск модели машинного обучения

TO-BE:

Необходимо найти обученную бесплатную модель машинного обучения которая умеет на вход принять текст (это будет описание статьи) и набор категорий (список слов) а на выходе выдаст процент уверенности для каждой категории на сколько к ней относится изначальный текст. Например: вход в модель: текст-"blablabla", категории ["it", "devops", "ml"] выход модели: ["it":0.8; "ml":0.23]. (Именно вид выхода не так важен, его можно распарсить на Java)
Результат задачи - python-файл (лучше с расширением .ipynb созданный в Jupyter Notebook - https://jupyter.org/) в директории src/main/resources/ml/...
В readme необходимо добавить описание как работать с этим файлом: что локально установить, как открыть, как запустить

Тут прикладываю mvp (без ONNX):

from transformers import AutoTokenizer, AutoModelForSequenceClassification
from transformers import pipeline
import pandas as pd

# Загрузка предобученной модели и токенизатора
model_name = "cross-encoder/nli-roberta-base"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForSequenceClassification.from_pretrained(model_name)

# Создание пайплайна для классификации текстов
classifier = pipeline('zero-shot-classification', model=model, tokenizer=tokenizer)

# Пример текста для классификации
text = "Как настроить CI/CD для проекта на GitLab?"

# Возможные категории
candidate_labels = ["DevOps", "IT", "Frontend", "Backend", "Data Science", "Machine Learning", "Cybersecurity", "Cloud Computing", "Mobile Development", "Game Development", "Database Administration"]

# Классификация текста
result = classifier(text, candidate_labels)

# Форматирование результата в человекочитаемый вид
df = pd.DataFrame({
    'Category': result['labels'],
    'Score': result['scores']
})

print(f"Predicted Category: {predicted_category}\n")
print("Detailed Scores:")
print(df)

Так как я тут скидываю прям готовое решение, то ожидаю от тебя:

разобраться во всем что тут написано
посмотреть может есть какие-то другие аналоги, которые лучше/удобнее
сделать сохранение обученной модели (сериализацию) в onnx-формат - на самом деле на это идет какая-то следующая отдельная задачка

Dild114 / ProjectMIPTBOT

ML. Поиск модели машинного обучения #15