kojimano / Megatron-DeepSpeed-ABCI

Other
5 stars 2 forks source link

data_news_articles #3

Closed kojimano closed 1 year ago

kojimano commented 1 year ago
keisks commented 1 year ago

報知新聞社よりコーパスの商用利用となった際の 対応について確認したところ

「商用利用を前提とした場合、 学術研究用に公開する事自体が不可である」

とのことでした。

ということで、報知新聞に関しては自前でクロール(あるいはCommonCwarlからURLを取ってくる)感じになると思います。

keisks commented 1 year ago

朝日新聞社の方と打ち合わせ。

やはり商用利用となると厳しそう。

大規模言語モデルという、コーパスの新しい使い方なので、会社の方もどのように対応すべきか悩んでいるらしい。

基本的には自分たちでクロールしていくのが、良さそうです。