Open pasukka opened 5 months ago
The latest results are:
currently the prompt looks like this:
|[INPUT PROMPT]: [INST] Твоя задача состоит в определении отношений между терминами, если таковые есть.
Для ответа на этот вопрос тебе помогут следующие вопросы:
Примеры наличия и отсутствия отношения между терминами:
Текст: «Сбер» представил mGPT — версию нейросети GPT-3, способную генерировать тексты на 61 языке.
Термины Model: mGPT, GPT-3
Есть ли подходящее отношение между этими терминами в этом тексте? да
mGPT isModificationOf GPT-3
Объяснение: <объяснение>.
Текст: Не заблокированы: Sber AI — на GitHub; ruDALL-E — на GitHub.
Термины Model: Sber AI, ruDALL-E
Есть ли подходящее отношение между этими терминами в этом тексте? нет
Объяснение: Sber AI и ruDALL-E разные несвязанные модели.
Текст: Новая нейросеть лучше HFM.
Термины Model: нейросеть, HFM
Есть ли подходящее отношение между этими терминами в этом тексте? нет
Объяснение: нейросеть это контекстуальный синоним для HFM.
Текст: Релиз BERT стал переломной точкой в развитии NLP-моделей.
Термины Model: NLP-моделей, BERT
Есть ли подходящее отношение между этими терминами в этом тексте? да
NLP-моделей includes BERT
Объяснение: <объяснение>.
Текст: Мы рассматривали модели: sbert_large_nlu_ru, sbert_large_mt_nlu_ru, и ruRoberta-large .
Термины Model: sbert_large_nlu_ru, ruRoberta-large
Есть ли подходящее отношение между этими терминами в этом тексте? нет
Объяснение: sbert_large_nlu_ru и ruRoberta являются разными несвязанными моделями.
Текст: Новая нейросеть лучше HFM.
Термины Model: нейросеть, HFM
Есть ли подходящее отношение между этими терминами в этом тексте? нет
Объяснение: нейросеть это контекстуальный синоним для HFM.
Текст: Новая версия GPT-3, InstructGPT, лучше выполняет инструкции.
Термины Model: InstructGPT, GPT-3
Есть ли подходящее отношение между этими терминами в этом тексте? нет
Объяснение: InstructGPT является версией модели GPT-3.
Важно: давай ответ только в контексте указанного текста. Не используй дополнительные знания, чтобы воссоздать связи, которых нет. [/INST]
[INST] Входные данные будут переданы в следующем формате:
Текст: <текст>
Термины Model: <термины>
Если нашлось отношение из списка ['isModificationOf', 'includes'], которое подходит для этих двух терминов, ответь "Да" и укажи его название:
Есть ли подходящее отношение между этими терминами в этом тексте? да
<термин-1> <отношение> <термин-2>
Объяснение: <объяснение>..
Значение <отношение> может быть только из списка ['isModificationOf', 'includes'].
Если ни одно отношение не подходит для этих двух терминов, то ответь "Нет":
Есть ли подходящее отношение между этими терминами в этом тексте? нет.
[/INST]
[INST] Используй отношение, только если оно полностью подходит по смыслу именно к указанным двум терминам. Всегда отвечай "Нет" в тех случаях, когда не находится подходящего по смыслу отношения для этих терминов.
Теперь скажи, есть ли отношение между этими двумя терминами, следуя этому формату. Если отношение есть, укажи термины в правильном порядке, согласно смыслу отношения.
Укажи только один ответ для этого примера: [/INST] Текст: Дополнительно, DeBERTa будет включена в следующую версию модели Microsoft Turing (Turing NLRv4) от Microsoft. Термины Model: DeBERTa, Microsoft Turing Есть ли подходящее отношение между этими терминами в этом тексте?
The relation extraction has some difficulties
(BLOOM) includes (LLM)
instead of (LLM) includes (BLOOM)
modification
instead of includes
Seems like the model better understands relations like isPartOf
rather than includes
.
Precision is a way higher:
Relation Model_includes_Model is the most problematic relation. It's clear that we need to improve prompt for better relation extraction