search

jp-textbook / jp-textbook.github.io

Japanese Textbook Linked Open Data (LOD)
https://w3id.org/jp-textbook/
16 stars 1 forks source link

重複レコードの例外処理を追加 #35

Closed masao closed 7 years ago

masao commented 7 years ago

6 と #11 に関連。処理において、例外をどのように扱うか、要検討。

yegusa commented 7 years ago

Todo

masao commented 7 years ago

例外の方針1

yegusa commented 7 years ago

例外の方針2

こちらをどうするか？

EB10015324 a04 要例外処理：改訂版があっても検定するわけでないので EB10015334 a04 要例外処理：改訂版があっても検定するわけでないので

EB10015363 a27,a31 要例外処理：改訂版があっても検定するわけでないので EB16208676 a27,a31 要例外処理：改訂版があっても検定するわけでないので こちら、大阪書籍→日文のパターン

yegusa commented 7 years ago

基本方針、検定年、教科書番号、教科書記号が同じものは、同じリソースとして扱う。

は複数書いておく（あとでたどれるように）。

使用年は、継続しているはずなので、継続しているように処理をかける。

書誌事項は古い方を優先 注記に新しい情報などは書いておく。

という方針で、例外の処理をかける。

yegusa commented 7 years ago

この処理がおわれば、リリースできるはず。

masao commented 7 years ago

2017-04-27時点のデータにおける重複レコード群：

WARN: https://w3id.org/jp-textbook/小学校/2001/理科/303 duplicates! [EB10009970/EB10009972] (2002-2004 vs 2002-2004)
WARN: https://w3id.org/jp-textbook/中学校/2001/英語/904 duplicates! [EB10015324/EB10015334] (2002-2005 vs 2005-2005)
WARN: https://w3id.org/jp-textbook/中学校/2005/公民/910 duplicates! [EB10015377/EB16208674] (2006-2009 vs 2009-2011)
WARN: https://w3id.org/jp-textbook/中学校/2005/歴史/710 duplicates! [EB10015369/EB16208675] (2006-2009 vs 2009-2011)
WARN: https://w3id.org/jp-textbook/中学校/2005/地理/709 duplicates! [EB10015363/EB16208676] (2006-2009 vs 2009-2011)
WARN: https://w3id.org/jp-textbook/中学校/2005/書写/710 duplicates! [EB10015352/EB16208684] (2006-2009 vs 2009-2011)
WARN: https://w3id.org/jp-textbook/中学校/2005/書写/810 duplicates! [EB10015353/EB16208685] (2006-2009 vs 2009-2011)
WARN: https://w3id.org/jp-textbook/中学校/2005/数学/708 duplicates! [EB10015389/EB16208686] (2006-2009 vs 2009 2011)
WARN: https://w3id.org/jp-textbook/中学校/2005/数学/808 duplicates! [EB10015390/EB16208687] (2006-2009 vs 2009-2011)
WARN: https://w3id.org/jp-textbook/中学校/2005/数学/908 duplicates! [EB10015391/EB16208688] (2006-2009 vs 2009-2011)
WARN: https://w3id.org/jp-textbook/小学校/2004/国語/115 duplicates! [EB10010087/EB16219840] (2005-2008 vs 2009-2010)
WARN: https://w3id.org/jp-textbook/小学校/2004/国語/116 duplicates! [EB10010088/EB16219841] (2005-2008 vs 2009-2010)
WARN: https://w3id.org/jp-textbook/小学校/2004/国語/215 duplicates! [EB10010089/EB16219842] (2005-2008 vs 2009-2010)
WARN: https://w3id.org/jp-textbook/小学校/2004/国語/216 duplicates! [EB10010090/EB16219843] (2005-2008 vs 2009-2010)
WARN: https://w3id.org/jp-textbook/小学校/2004/国語/315 duplicates! [EB10010091/EB16219844] (2005-2008 vs 2009-2010)
WARN: https://w3id.org/jp-textbook/小学校/2004/国語/316 duplicates! [EB10010092/EB16219845] (2005-2008 vs 2009-2010)
WARN: https://w3id.org/jp-textbook/小学校/2004/国語/415 duplicates! [EB10010093/EB16219846] (2005-2008 vs 2009-2010)
WARN: https://w3id.org/jp-textbook/小学校/2004/国語/416 duplicates! [EB10010094/EB16219847] (2005-2008 vs 2009-2010)
WARN: https://w3id.org/jp-textbook/小学校/2004/国語/515 duplicates! [EB10010095/EB16219848] (2005-2008 vs 2009-2010)
WARN: https://w3id.org/jp-textbook/小学校/2004/国語/516 duplicates! [EB10010096/EB16219849] (2005-2008 vs 2009-2010)
WARN: https://w3id.org/jp-textbook/小学校/2004/国語/615 duplicates! [EB10010097/EB16219850] (2005-2008 vs 2009-2010)
WARN: https://w3id.org/jp-textbook/小学校/2004/国語/616 duplicates! [EB10010098/EB16219851] (2005-2010 vs 2009-2010)
WARN: https://w3id.org/jp-textbook/高等学校/2007/書II/009 duplicates! [EB10026937/EB16239319] (2008-2008 vs 2009-2013)
WARN: https://w3id.org/jp-textbook/高等学校/2004/書III/002 duplicates! [EB10026307/EB16328908] (2005-2008 vs 2009-2014)
yegusa commented 7 years ago

確認しました。

EB10009972の教科書番号が303→404に修正必要

こちらのレコードは、自動処理ではなく、教育図書館で修正が必要ですので、 #49 で処理することにします。 

WARN: https://w3id.org/jp-textbook/小学校/2001/理科/303 duplicates! [EB10009970/EB10009972] (2002-2004 vs 2002-2004)

EB10015334 が 改訂版

こちらは、プログラムの例外処理でOKなものです。

WARN: https://w3id.org/jp-textbook/中学校/2001/英語/904 duplicates! [EB10015324/EB10015334] (2002-2005 vs 2005-2005)

大書→日文

こちらは、プログラムの例外処理でOKなものです。

WARN: https://w3id.org/jp-textbook/中学校/2005/公民/910 duplicates! [EB10015377/EB16208674] (2006-2009 vs 2009-2011)
WARN: https://w3id.org/jp-textbook/中学校/2005/歴史/710 duplicates! [EB10015369/EB16208675] (2006-2009 vs 2009-2011)
WARN: https://w3id.org/jp-textbook/中学校/2005/地理/709 duplicates! [EB10015363/EB16208676] (2006-2009 vs 2009-2011)
WARN: https://w3id.org/jp-textbook/中学校/2005/書写/710 duplicates! [EB10015352/EB16208684] (2006-2009 vs 2009-2011)
WARN: https://w3id.org/jp-textbook/中学校/2005/書写/810 duplicates! [EB10015353/EB16208685] (2006-2009 vs 2009-2011)
WARN: https://w3id.org/jp-textbook/中学校/2005/数学/708 duplicates! [EB10015389/EB16208686] (2006-2009 vs 2009 2011)
WARN: https://w3id.org/jp-textbook/中学校/2005/数学/808 duplicates! [EB10015390/EB16208687] (2006-2009 vs 2009-2011)
WARN: https://w3id.org/jp-textbook/中学校/2005/数学/908 duplicates! [EB10015391/EB16208688] (2006-2009 vs 2009-2011)
WARN: https://w3id.org/jp-textbook/小学校/2004/国語/115 duplicates! [EB10010087/EB16219840] (2005-2008 vs 2009-2010)
WARN: https://w3id.org/jp-textbook/小学校/2004/国語/116 duplicates! [EB10010088/EB16219841] (2005-2008 vs 2009-2010)
WARN: https://w3id.org/jp-textbook/小学校/2004/国語/215 duplicates! [EB10010089/EB16219842] (2005-2008 vs 2009-2010)
WARN: https://w3id.org/jp-textbook/小学校/2004/国語/216 duplicates! [EB10010090/EB16219843] (2005-2008 vs 2009-2010)
WARN: https://w3id.org/jp-textbook/小学校/2004/国語/315 duplicates! [EB10010091/EB16219844] (2005-2008 vs 2009-2010)
WARN: https://w3id.org/jp-textbook/小学校/2004/国語/316 duplicates! [EB10010092/EB16219845] (2005-2008 vs 2009-2010)
WARN: https://w3id.org/jp-textbook/小学校/2004/国語/415 duplicates! [EB10010093/EB16219846] (2005-2008 vs 2009-2010)
WARN: https://w3id.org/jp-textbook/小学校/2004/国語/416 duplicates! [EB10010094/EB16219847] (2005-2008 vs 2009-2010)
WARN: https://w3id.org/jp-textbook/小学校/2004/国語/515 duplicates! [EB10010095/EB16219848] (2005-2008 vs 2009-2010)
WARN: https://w3id.org/jp-textbook/小学校/2004/国語/516 duplicates! [EB10010096/EB16219849] (2005-2008 vs 2009-2010)
WARN: https://w3id.org/jp-textbook/小学校/2004/国語/615 duplicates! [EB10010097/EB16219850] (2005-2008 vs 2009-2010)
WARN: https://w3id.org/jp-textbook/小学校/2004/国語/616 duplicates! [EB10010098/EB16219851] (2005-2010 vs 2009-2010)
WARN: https://w3id.org/jp-textbook/高等学校/2007/書II/009 duplicates! [EB10026937/EB16239319] (2008-2008 vs 2009-2013)
WARN: https://w3id.org/jp-textbook/高等学校/2004/書III/002 duplicates! [EB10026307/EB16328908] (2005-2008 vs 2009-2014)
yegusa commented 7 years ago

例外処理がされて、注記に理由がかかれるようになったことを確認したのでクローズする

<https://w3id.org/jp-textbook/中学校/2001/英語/904> a schema:Book;
  schema:name "NEW CROWN ENGLISH SERIES 3";
  schema:editor "森住 衛 ほか29名";
  schema:publisher "三省堂出版株式会社";
  nier:callNumber "K260.91||S12U||01/02", "K260.91||S12U||01/05";
  nier:recordID "EB10015324", "EB10015334";
  textbook:catalogue <https://w3id.org/jp-textbook/catalogue/中学校/2001>, <https://w3id.org/jp-textbook/catalogue/中学校/2004>;
  textbook:school <http://ja.dbpedia.org/resource/中学校>;
  textbook:subjectArea <https://w3id.org/jp-textbook/curriculum/中学校/2002/外国語>;
  textbook:subject <https://w3id.org/jp-textbook/curriculum/中学校/2002/外国語/英語>;
  textbook:grade "3";
  textbook:curriculum <https://w3id.org/jp-textbook/curriculum/中学校/2002>;
  textbook:authorizedYear "2001";
  textbook:usageYear "2002-2005, 2005-2005";
  textbook:textbookSymbol "英語";
  textbook:textbookNumber "904";
  textbook:note "2005年度より版を「改訂版」に変更。".
<https://w3id.org/jp-textbook/中学校/2005/地理/709> a schema:Book;
  schema:name "中学社会 地理的分野";
  schema:editor "金田章裕 ほか11名";
  schema:publisher "大阪書籍株式会社";
  nier:callNumber "K260.3||O2||2005", "K260.3||N13A||2005A";
  nier:recordID "EB10015363", "EB16208676";
  textbook:catalogue <https://w3id.org/jp-textbook/catalogue/中学校/2005>, <https://w3id.org/jp-textbook/catalogue/中学校/2008>;
  textbook:school <http://ja.dbpedia.org/resource/中学校>;
  textbook:subjectArea <https://w3id.org/jp-textbook/curriculum/中学校/2002/社会>;
  textbook:subject <https://w3id.org/jp-textbook/curriculum/中学校/2002/社会/社会(地理的分野)>;
  textbook:grade "1,2";
  textbook:curriculum <https://w3id.org/jp-textbook/curriculum/中学校/2002>;
  textbook:authorizedYear "2005";
  textbook:usageYear "2006-2009, 2009-2011";
  textbook:textbookSymbol "地理";
  textbook:textbookNumber "709";
  textbook:note "2009年度より出版社を「日本文教出版株式会社」に変更。".