Improve prompt for relation "includes" for terms of class Model

[pasukka]

Relation Model_includes_Model is the most problematic relation. It's clear that we need to improve prompt for better relation extraction

[pasukka]

The latest results are:

[pasukka]

currently the prompt looks like this:

|[INPUT PROMPT]: [INST] Твоя задача состоит в определении отношений между терминами, если таковые есть.

Для ответа на этот вопрос тебе помогут следующие вопросы:

• Отношение isModificationOf:
  • Является ли данная модель модифицированной версией другой модели?
  • Какие изменения были внесены в модифицированную версию модели по сравнению с исходной моделью?
  • Чем отличается модифицированная Модель от ее базовой версии?
  • Какие новые функции добавлены в модифицированную Модель по сравнению с исходной?
• Отношение includes:
  • Какая модель включена в данную модель обучения?
  • Какая модель включена в класс моделей?
  • Какая модель относится к семейству моделей?
  • Какая модель включает в себя какую?

Примеры наличия и отсутствия отношения между терминами:

1. В этих примерах модель является версией другой модели:

   Текст: «Сбер» представил mGPT — версию нейросети GPT-3, способную генерировать тексты на 61 языке.
   Термины Model: mGPT, GPT-3
   Есть ли подходящее отношение между этими терминами в этом тексте? да
   mGPT isModificationOf GPT-3
   Объяснение: <объяснение>.

2. В этих примерах модель не является версией другой модели:

   Текст: Не заблокированы: Sber AI — на GitHub; ruDALL-E — на GitHub.
   Термины Model: Sber AI, ruDALL-E
   Есть ли подходящее отношение между этими терминами в этом тексте? нет
   Объяснение: Sber AI и ruDALL-E разные несвязанные модели.

   Текст: Новая нейросеть лучше HFM.
   Термины Model: нейросеть, HFM
   Есть ли подходящее отношение между этими терминами в этом тексте? нет
   Объяснение: нейросеть это контекстуальный синоним для HFM.

3. В этих примерах класс моделей модель включает в себя другую модель:

   Текст: Релиз BERT стал переломной точкой в развитии NLP-моделей.
   Термины Model: NLP-моделей, BERT
   Есть ли подходящее отношение между этими терминами в этом тексте? да
   NLP-моделей includes BERT
   Объяснение: <объяснение>.

4. В этих примерах модель не включает в себя другую модель:

   Текст: Мы рассматривали модели: sbert_large_nlu_ru, sbert_large_mt_nlu_ru, и ruRoberta-large .
   Термины Model: sbert_large_nlu_ru, ruRoberta-large
   Есть ли подходящее отношение между этими терминами в этом тексте? нет
   Объяснение: sbert_large_nlu_ru и ruRoberta являются разными несвязанными моделями.

   Текст: Новая нейросеть лучше HFM.
   Термины Model: нейросеть, HFM
   Есть ли подходящее отношение между этими терминами в этом тексте? нет
   Объяснение: нейросеть это контекстуальный синоним для HFM.

   Текст: Новая версия GPT-3, InstructGPT, лучше выполняет инструкции.
   Термины Model: InstructGPT, GPT-3
   Есть ли подходящее отношение между этими терминами в этом тексте? нет
   Объяснение: InstructGPT является версией модели GPT-3.

Важно: давай ответ только в контексте указанного текста. Не используй дополнительные знания, чтобы воссоздать связи, которых нет. [/INST]

[INST] Входные данные будут переданы в следующем формате:

Текст: <текст>
Термины Model: <термины>

Если нашлось отношение из списка ['isModificationOf', 'includes'], которое подходит для этих двух терминов, ответь "Да" и укажи его название:

Есть ли подходящее отношение между этими терминами в этом тексте? да
<термин-1> <отношение> <термин-2>
Объяснение: <объяснение>..

Значение <отношение> может быть только из списка ['isModificationOf', 'includes'].

Если ни одно отношение не подходит для этих двух терминов, то ответь "Нет":

Есть ли подходящее отношение между этими терминами в этом тексте? нет.

[/INST]

[INST] Используй отношение, только если оно полностью подходит по смыслу именно к указанным двум терминам. Всегда отвечай "Нет" в тех случаях, когда не находится подходящего по смыслу отношения для этих терминов.

Теперь скажи, есть ли отношение между этими двумя терминами, следуя этому формату. Если отношение есть, укажи термины в правильном порядке, согласно смыслу отношения.

Укажи только один ответ для этого примера: [/INST] Текст: Дополнительно, DeBERTa будет включена в следующую версию модели Microsoft Turing (Turing NLRv4) от Microsoft. Термины Model: DeBERTa, Microsoft Turing Есть ли подходящее отношение между этими терминами в этом тексте?

[pasukka]

The relation extraction has some difficulties

1. most of the answers of model contains vice versa relations: (BLOOM) includes (LLM) instead of (LLM) includes (BLOOM)
2. some relations should be modification instead of includes

[aiwannafly]

Seems like the model better understands relations like isPartOf rather than includes.

Precision is a way higher: