ghmagazine / llm-book

「大規模言語モデル入門」(2023)と「大規模言語モデル入門Ⅱ〜生成型LLMの実装と評価」(2024)のGitHubリポジトリ
Apache License 2.0
312 stars 48 forks source link

第7章 llm-book/livedoor-news-corpus がダウンロードできない #28

Closed Buchi0223 closed 9 months ago

Buchi0223 commented 10 months ago

from datasets import load_dataset

データセットを読み込む

dataset = load_dataset("llm-book/livedoor-news-corpus")

を実行しデータセットをHugging faceからダウンロードしようとしましたが、以下のようなエラーが発生しました。 Kaggle Notebookを利用しています。

File /opt/conda/lib/python3.10/site-packages/datasets/builder.py:480, in DatasetBuilder._info(self)
    470 @abc.abstractmethod
    471 def _info(self) -> DatasetInfo:
    472     """Construct the DatasetInfo object. See `DatasetInfo` for details.
    473 
    474     Warning: This function is only called once and the result is cached for all
   (...)
    478         info: (DatasetInfo) The dataset information
    479     """
--> 480     raise NotImplementedError

NotImplementedError: 
Kosuke-Yamada commented 9 months ago

ご指摘ありがとうございます。 Kaggle Notebookにおけるテストをしておらず、お手数かけてしまい申し訳ありません。 Import方法を修正し、エラーを解消しました。 ご確認よろしくお願いします。

Buchi0223 commented 9 months ago

コード修正いただき大変ありがとうございます。返信が遅くなりすみませんでした。