sbintuitions / JMTEB

The evaluation scripts of JMTEB (Japanese Massive Text Embedding Benchmark)
Creative Commons Attribution Share Alike 4.0 International
33 stars 11 forks source link

[Fix] 予測値をjsonlに保存 #52

Closed lsz05 closed 3 months ago

lsz05 commented 3 months ago

関連する Issue / PR

43 #42

PR をマージした後の挙動の変化

予測値をjsonlに保存する

挙動の変更を達成するために行ったこと

動作確認

lsz05 commented 3 months ago

予測結果のイメージ

predictions_jagovfaqs_22k.jsonl ```jsonl {"query": "第一種市街地再開発事業に係る権利変換により取得した「施設建築物の一部を取得する権利」等をその事業の施行者に譲渡した場合に、その譲渡は、租税特別措置法第31条の2第2項第4号の譲渡に該当するものとして軽減税率の特例を適用することができますか。", "relevant_docs": [{"id": 14419, "text": "租税特別措置法第31条の2第2項第4号の規定は、ビル需要の高い過密地域において、土地の高度利用に資する宅地の供給の促進を図るとともに、公共空地の創出等による都市環境の整備に資するために設けられたものであり、いわば事業の施行の前段階である事業用地の確保に資する譲渡 >について適用されるものです。したがって、租税特別措置法第33条の3第3項の規定により、第一種市街地再開発事業に係る権利変換により取得した施設 > 建築物の一部を取得する権利を譲渡することにより譲渡があったものとみなされる旧資産たる土地等は、その譲渡の時点においては、既に当該事業の用>に供された土地等であって、その権利の譲渡先が当該事業の施行者であったとしても、第一種市街地再開発事業のための土地等の譲渡には該当しません>。ただし、当該事業の施行者が地方公共団体である場合には、「地方公共団体に対する土地等の譲渡(1号該当)」として軽減税率の適用対象となります。 \n【関係法令通達】 租税特別措置法第31条の2第2項第1号・第4号、第4項、第33条の3第3項"}], "predicted_relevant_docs": [{"id": 4, "text": "会>計検査院の検査対象は、検査院の検査を受けなければならないとされているもの(会計検査院の検査を必要とする必要的検査対象)と検査院が必要と認>めたときに検査をすることができるもの(選択的検査対象)の二つに分かれます。\n 独立行政法人等のうち、その資本金の二分の一以上を国が出資し>ている場合は必要的検査対象となり、資本金の二分の一未満を国が出資している場合、資本金の全部又は一部を国の出資法人が出資している場合や補助>金、助成金などを受けている場合は選択的検査対象となります。\n このように、法人の性格とは別に、検査院の検査対象は、国からのお金の流れ方に > よって決まることになっています。"}, {"id": 3, "text": "技術系の職員も採用していますが、工事の検査には、技術系以外の職員も多く従事しています。\n 会計検査院安中研修所には、擁壁、橋梁など種々の公共工事で建設される構造物の実寸大のモデルを整備しています。この中には、鉄筋やコン > クリートなどの設計・施工が不良であるモデルもあり、正しい設計・施工のモデルと対比できるようになっています。\n こうした施設を使いながら、 > 設計図書と構造物の照合、検査機器の使用方法、構造物の表面の現象から施工不良の事態を発見する方法、破壊検査が必要な場合の判断と方法などにつ>いて、習得し、習熟を図るようにしています。\n こうした方策をとっていますので、技術系以外の職員も工事検査に従事し、多くの不適切な事態の指 > 摘を行っています。"}, {"id": 2, "text": "公共工事は、計画、設計、予定価格の積算、契約、施工、しゅん工・引渡し、成果物の利用という一連の段階を経て実施されます。\n 会計検査院はそのいずれの段階にも着眼して検査します。そのため、会計検査の結果指摘するのも、計画不適切、設計不適>切などと多岐にわたっています。いわゆる手抜き工事は、施工不良として指摘しており、そのような事態がないかは工事検査の主要な着眼点となってい>ます。"}, {"id": 1, "text": "検査に当たっては、国が行う工事や地方公共団体が国の補助金で行う工事などについて、工事に関する会計経理面だけではなく、工事の設計、積算、施工について実地に赴いて検査をし、不適切な事態の是正を図っています。\n 会計検査院では、実地に赴いて設計や工事>費の積算について、基礎資料を見ながら担当者の説明を聞いたり、完成した施設等について、コンクリートの強度を測定する機器や、超音波や電磁波を>用いた探傷器、鉄筋探知器などの非破壊検査装置などを使って、コンクリートの強度や鉄筋の位置、太さ、数などを確認したりしています。\n また、>工事箇所になんらかの異常が認められたり、設計と相違している点が認められた場合は、その箇所を破壊して内部を確認する破壊検査を行う場合もあり>ます。"}, {"id": 7, "text": "財務上の是正改善効果と直近の検査報告の指摘金額・背景金額とは異なる概念であり、直接連動するものでもありません 。検査報告の指摘金額・背景金額は、不適切、不合理な会計経理の規模あるい(注)はこれらに関連する支出等の規模を表しているものといえます。一方>、財務上の是正改善効果は、検査報告掲記事項等のうち、国等の検査対象機関に一定の期間中に財政、財務面でプラスの便益をもたらした是正改善につ > いて、計数確認について検査対象機関の協力も得つつ、その規模、程度を金額で表示しているもので、会計検査活動がもたらした効果の一つを表すもの>といえます。また、財務上の是正改善効果と直近の検査報告の指摘金額・背景金額とが直接連動しないのは、検査報告掲記事項によっては、改善方策の>検討や法律の改正が必要となり、是正改善効果を生じるまでに数年間の時間を要したり、再発防止策が機能し効果が継続するなどして、是正改善効果が>複数年にわたって生じたりすることによるものです。\n(注) 指摘金額・背景金額 指摘金額は、租税や社会保険料等の徴収不足額、工事や物品調達等に>係る過大な支出額、補助金等の過大交付額、管理が適切に行われていない債権等の額、有効に活用されていない資産等の額、計算書や財務諸表等に適切>に表示されていなかった資産等の額等であり、背景金額は、検査の結果法令、制度又は行政に関し改善を必要とする事項があると認める場合や、政策上>の問題等から事業が進捗せず投資効果が発現していない事態について問題を提起する場合等において、指摘金額を算出することができないときに、その > 事態に関する支出額や投資額等の全体の額を示すものです。"}]} {"query": "講師が受講すべき研修はありますか。", "relevant_docs": [{"id": 4010, "text": "告示「登録講習機関の教育の内容の基準等を定める告 > 示」を確認ください。"}], "predicted_relevant_docs": [{"id": 22123, "text": "「研修」には、ご指摘の通信講座やe-learning 等の方法も含み得るものと考えます。"}, {"id": 4048, "text": "講師及び修了審査員は 3 年に 1 回研修を受講する必要があります。"}, {"id": 6256, "text": "直接、>最後に受講した講習機関にお問い合せください。"}, {"id": 4046, "text": "学科の講習は登録講習機関の責任で実施いただくものです。\nそのため、 > 講習の講師(監修する者)は登録講習機関に属していることが必要になります。\nたとえば、外部のオンライン研修コンテンツを利用したい場合には、 > 登録講習機関に所属する講師が監修する者として、当該研修コンテンツを監修し直して受講者に提供いただければ問題ありません。"}, {"id": 21728, "text": "研修を行うに当たっては、受講する従業者が従事する事務の特性、役割等に応じた研修内容にすること、研修の未受講者に対して再受講の機会>を付与することなどが考えられます。(平成29年7月追加)"}]} {"query": "3クラス同日同時刻に、討議方式の租税教室をクラス別に開催できますか?", "relevant_docs": [{"id": 13390, "text": "原則として可能です。講師を必要な人数派遣します。\n ただし、講師等の都合によりご希望の日程で開催できない場合があります。"}], "predicted_relevant_docs": [{"id": 13383, "text": "講師を交えて、具体的な日程調整をします。\n その後、租税教室の内容、段取りなどについて、講師と打合せします。"}, {"id": 13387, "text": "可能です。税の作文前に租税教室を開催すると、作文作成のために自学自習する際にとても役立ちます。"}, {"id": 5696, "text": "講座のある週は、講座の時間4時間に加え、課題実施の1時間がかかると想定しています。"}, {"id": 13395, "text": "基本となる形式はありますが、学校のニーズにお応えするオーダーメイドの租税教室も可能です。"}, {"id": 11316, "text": "「日本語教育の参照枠」の考え方をもとに、標準的なカリキュラム案を改定したものが「生活Can do」です。「生活Can do」は、日本語教育の実施や人材の養成・研修、また日本語教育のカリ キュラム、教 材作成など幅広く活用が可能です。本事業で日本語教育のカリキュラムについて検討する際には、日本語教育の専門性を持つ方と一緒に会議で分析する > など、活用に努めてくださ\nい。"}]} ```
predictions_amazon_counterfactual_classification.jsonl ```jsonl {"text": "ウォーキング用に買ったが未だ寒いので暖かくなったら使いたいと思う。", "label": 0, "prediction": 0} {"text": "値段も安いし、買わない理由がないでしょう。", "label": 0, "prediction": 0} {"text": "欲をお言えばもう少し外側に収納が色々あると良かったと思います。", "label": 1, "prediction": 1} {"text": "追記 2012 12 08・つかっているうちさらに判明したことをかいてみます。", "label": 0, "prediction": 0} {"text": "私はこのバッグにACアダプタなどを入れてひとまとめにして、手提げバッグに入れて持ち運ぶという使い方をしていますが、バッグの中で・>必要なものが散らからない、万一バッグを落としても緩衝材として期待できる、素材も丈夫で簡単には破れたりしないので安心して利用できます。", "label": 0, "prediction": 0} ```