finetune时报错 argument after ** must be a mapping, not NoneType

[yhygta]

🐛 bug 说明

您好，照着官网的教程，使用了自己的数据集，finetune时报错 argument after ** must be a mapping, not NoneType 感谢大佬们看看，前一个issue不小心关闭了 代码如下：

import pandas as pd from uniem.finetuner import FineTuner df3_raw = """{"sentence1":"金霉素", "sentence2":"红霉素", "label":"0.0"} {"sentence1":"金霉素", "sentence2":"妥布霉素", "label":"0.0"} {"sentence1":"金霉素", "sentence2":"硫酸新霉素", "label":"0.0"} {"sentence1":"金霉素", "sentence2":"灰黄霉素", "label":"0.0"} {"sentence1":"金霉素", "sentence2":"曲霉素", "label":"0.0"} {"sentence1":"金霉素", "sentence2":"复方新霉素", "label":"0.0"} {"sentence1":"金霉素", "sentence2":"庆大霉素", "label":"0.0"} {"sentence1":"金霉素", "sentence2":"克林霉素", "label":"0.0"} {"sentence1":"金霉素", "sentence2":"黄曲霉素", "label":"0.0"} {"sentence1":"金霉素", "sentence2":"青霉素", "label":"0.0"} {"sentence1":"金霉素", "sentence2":"土霉素", "label":"0.0"} {"sentence1":"金霉素", "sentence2":"阿奇霉素", "label":"0.0"} {"sentence1":"金霉素", "sentence2":"林可霉素", "label":"0.0"} {"sentence1":"金霉素", "sentence2":"氯霉素", "label":"0.0"} {"sentence1":"金霉素", "sentence2":"螺旋霉素", "label":"0.0"}""" df3 = pd.read_json(df3_raw, lines=True) finetuner = FineTuner('moka-ai3/m3e-base/', dataset=df3.to_dict('records')) finetuner.run(epochs=1)

Python Version

3.10

[wangyuxinwhy]

finetuner.run(epochs=1, batch_size=6)

这是由于一个边界条件导致的 bug，因为你的微调数据集太小了，组不成一个 batch ，结果 drop_last 把这个 batch 直接 drop 掉了，手动调小 batch_size 可以解决这个问题，就像上面的代码一样。之后的版本我会增加更易懂的错误信息。

[yhygta]

好的，感谢大佬，上面的这样可以用了

[yhygta]

from datasets import load_dataset from uniem.finetuner import FineTuner dataset = load_dataset('/opt/dl/llm/langchain-ChatGLM/m3ef/ft4/',encoding="GBK") finetuner = FineTuner('/media/root/_data01/ai/embeddings/m3e-base/', dataset=dataset) finetuner.run(epochs=1, output_dir='finetuned-model-riddle', batch_size=5)

[yhygta]

ft4.csv放在ft4文件夹下，内容如下：

[yhygta]

sentence1,sentence2,label 金霉素怎么用,红霉素的使用方法,0 金霉素怎么用,妥布霉素的使用方法0 金霉素怎么用,硫酸新霉素的使用方法,0 金霉素怎么用,灰黄霉素的使用方法,0 金霉素怎么用,曲霉素的使用方法,0 金霉素怎么用,复方新霉素的使用方法,0 金霉素怎么用,庆大霉素的使用方法,0 金霉素怎么用,克林霉素的使用方法,0 金霉素怎么用,黄曲霉素的使用方法,0 金霉素怎么用,青霉素的使用方法,0 金霉素怎么用,土霉素的使用方法,0 金霉素怎么用,阿奇霉素的使用方法,0 金霉素怎么用,林可霉素的使用方法,0

[yhygta]

但是我把上面那个csv文件存下来，以这个代码（https://github.com/wangyuxinwhy/uniem/issues/34#issuecomment-1623492087）来做，会报错TypeError: must be real number, not NoneType

[wangyuxinwhy]

能把报错的信息贴一下吗？现在这个报错看不出来啥。

另外，微调是基于对比学习的，但你的 label 都为 0 ，是没有办法进行对比的。需要添加一些正例

[yhygta]

好的，感谢提醒哈，我是发现X霉素在LLM会混在一起，是希望在embedding里面能分开，所以写了0，这种情况下我想增大区分度，请问该怎么处理呢？

[yhygta]

报错信息如下： 0it [7:30:19, ?it/s] ╭───────────────────── Traceback (most recent call last) ──────────────────────╮ │ /home/epetai01/anaconda3/envs/cg2_310/lib/python3.10/code.py:90 in runcode │ │ │ │ 87 │ │ │ │ 88 │ │ """ │ │ 89 │ │ try: │ │ ❱ 90 │ │ │ exec(code, self.locals) │ │ 91 │ │ except SystemExit: │ │ 92 │ │ │ raise │ │ 93 │ │ except: │ │ :1 in │ │ │ │ /home/epetai01/anaconda3/envs/cg2_310/lib/python3.10/site-packages/uniem/fin │ │ etuner.py:220 in run │ │ │ │ 217 │ │ │ save_on_epoch_end=save_on_epoch_end, │ │ 218 │ │ ) │ │ 219 │ │ accelerator.print(f'Start training for {epochs} epochs') │ │ ❱ 220 │ │ trainer.train() │ │ 221 │ │ │ │ 222 │ │ accelerator.wait_for_everyone() │ │ 223 │ │ accelerator.print('Training finished') │ │ │ │ /home/epetai01/anaconda3/envs/cg2_310/lib/python3.10/site-packages/uniem/tra │ │ iner.py:49 in train │ │ │ │ 46 │ │ │ self.model.train() │ │ 47 │ │ │ self.progress_bar.on_epoch_start() │ │ 48 │ │ │ │ │ ❱ 49 │ │ │ for batch_index, batch in enumerate(self.train_dataloader) │ │ 50 │ │ │ │ with self.accelerator.accumulate(self.model): │ │ 51 │ │ │ │ │ self.optimizer.zero_grad() │ │ 52 │ │ │ │ │ batch_output = self.model(**batch) │ │ │ │ /home/epetai01/anaconda3/envs/cg2_310/lib/python3.10/site-packages/accelerat │ │ e/data_loader.py:378 in iter │ │ │ │ 375 │ │ dataloader_iter = super().iter() │ │ 376 │ │ # We iterate one batch ahead to check when we are at the end │ │ 377 │ │ try: │ │ ❱ 378 │ │ │ current_batch = next(dataloader_iter) │ │ 379 │ │ except StopIteration: │ │ 380 │ │ │ yield │ │ 381 │ │ │ │ /home/epetai01/anaconda3/envs/cg2_310/lib/python3.10/site-packages/torch/uti │ │ ls/data/dataloader.py:633 in next │ │ │ │ 630 │ │ │ if self._sampler_iter is None: │ │ 631 │ │ │ │ # TODO(https://github.com/pytorch/pytorch/issues/7675 │ │ 632 │ │ │ │ self._reset() # type: ignore[call-arg] │ │ ❱ 633 │ │ │ data = self._next_data() │ │ 634 │ │ │ self._num_yielded += 1 │ │ 635 │ │ │ if self._dataset_kind == _DatasetKind.Iterable and \ │ │ 636 │ │ │ │ │ self._IterableDataset_len_called is not None and │ │ │ │ /home/epetai01/anaconda3/envs/cg2_310/lib/python3.10/site-packages/torch/uti │ │ ls/data/dataloader.py:677 in _next_data │ │ │ │ 674 │ │ │ 675 │ def _next_data(self): │ │ 676 │ │ index = self._next_index() # may raise StopIteration │ │ ❱ 677 │ │ data = self._dataset_fetcher.fetch(index) # may raise StopIt │ │ 678 │ │ if self._pin_memory: │ │ 679 │ │ │ data = _utils.pin_memory.pin_memory(data, self._pin_memor │ │ 680 │ │ return data │ │ │ │ /home/epetai01/anaconda3/envs/cg2_310/lib/python3.10/site-packages/torch/uti │ │ ls/data/_utils/fetch.py:54 in fetch │ │ │ │ 51 │ │ │ │ data = [self.dataset[idx] for idx in possibly_batched_i │ │ 52 │ │ else: │ │ 53 │ │ │ data = self.dataset[possibly_batched_index] │ │ ❱ 54 │ │ return self.collate_fn(data) │ │ 55 │ │ │ │ /home/epetai01/anaconda3/envs/cg2_310/lib/python3.10/site-packages/uniem/dat │ │ a.py:106 in call │ │ │ │ 103 │ │ texts = [record.sentence1 for record in records] │ │ 104 │ │ texts_pair = [record.sentence2 for record in records] │ │ 105 │ │ labels = [record.label for record in records] │ │ ❱ 106 │ │ labels = torch.tensor(labels, dtype=torch.float32) │ │ 107 │ │ │ │ 108 │ │ text_ids = self.tokenizer( │ │ 109 │ │ │ texts, │ ╰──────────────────────────────────────────────────────────────────────────────╯ TypeError: must be real number, not NoneType

[wangyuxinwhy]

看起来是有一个样本的标签是 None ，你可以打印 dataset 中的全部样本，检查一下是不是有样本的标签是 None。

[yhygta]

确实是有None，感谢大佬解答