Closed newbieonCV closed 1 year ago
自己使用文本作完处理后,进行预训练,在tokenized_dataset = dataset_with_sketch['train'].select(random.sample(range(5000),k=N)).map(preprocess_function, batched=True, remove_columns=dataset_with_sketch['train'].column_names, batch_size=10000,num_proc=25),这一块出现问题,显示没有train这一列,是我的数据集问题还是代码问题
自己使用文本作完处理后,进行预训练,在tokenized_dataset = dataset_with_sketch['train'].select(random.sample(range(5000),k=N)).map(preprocess_function, batched=True, remove_columns=dataset_with_sketch['train'].column_names, batch_size=10000,num_proc=25),这一块出现问题,显示没有train这一列,是我的数据集问题还是代码问题