tosiyuki
commented
8 months ago ご指摘とご対応方法を教えていただきありがとうございます。 ただ、私の環境ではremove_unused_columnsの設定はTrueの場合でも正常に動作するようで入力データの形式の違いによることが原因なのかと推測しています。 入力データには以下のような形式を使用しているのですが、@chun1182 さんはどのような形式のデータを使用していますか？
[
{
"id": "000000014925",
"image": "COCO_train2014_000000014925.jpg",
"conversations": [
{
"from": "ユーザー",
"value": "ホームで電車を待っている人はいますか？\n<image>"
},
{
"from": "システム",
"value": "そう、駅のホームで電車が到着するのを待っている女性グループと他の数人がいる。"
},
{
"from": "ユーザー",
"value": "駅の混雑はどのように描写されているのだろうか？"
},
{
"from": "システム",
"value": "駅の人混みは比較的大きく、賑やかで、多くの人が列車の到着を待って列を作っていた、と描写されている。"
},
{
"from": "ユーザー",
"value": "線路は歩道の隣にあるのか？"
},
{
"from": "システム",
"value": "そう、線路は2本の歩道に隣接しており、その歩道は人でいっぱいなのだ。"
},
{
"from": "ユーザー",
"value": "画像に写っている列車の現在の状況は？"
},
{
"from": "システム",
"value": "列車は混雑した駅に到着する途中か、混雑した駅を通過している。"
},
{
"from": "ユーザー",
"value": "電車を待つ人々は整然と立っているだろうか？"
},
{
"from": "システム",
"value": "そう、電車を待つ人たちは整然と並んでいる。"
}
]
},
{
"id": "000000413799",
"image": "COCO_train2014_000000413799.jpg",
"conversations": [
{
"from": "ユーザー",
"value": "このリビングルームのどのような点が居心地がよく、くつろぐのに適しているのだろうか？\n<image>"
},
{
"from": "システム",
"value": "このリビングルームは、心地よいグレーと赤のソファ、座り心地のよい椅子、ふかふかのクッション、ランプによる温かみのある照明で、居心地のよいリラックスした雰囲気を作り出している。テーブルや棚に置かれた本が親密な雰囲気をさらに高め、ここが読書や穏やかな瞑想に浸れる空間であることを示唆している。さらに、花瓶や鉢、大きな鏡などの装飾品が、この部屋の美的魅力と個性を高めている。リビングルームの木製の環境は、暖かく家庭的で親密な雰囲気を醸し出し、長い一日の疲れを簡単に癒すことができる。"
}
]
}
---------------------------中略-------------------------------
]
chun1182
Lora学習時、step開始時にエラーが発生しました。 TrainingArgumentsに以下の設定を追加したら私の環境ではエラー発生せずに学習したので、追加必要かなと思いました。 remove_unused_columns: bool = field(default=False)