yosukesan / clfi

MIT License
0 stars 0 forks source link

Query over three years fails #5

Closed yosukesan closed 1 year ago

yosukesan commented 2 years ago

Here is failure logo

三井住友アセットマネジメント株式会社,大量保有報告書,2018-02-21,S100CFPH,XBRL/PublicDoc/jplvh010000-lvh-001_E08957-000_2018-02-09_02_2018-02-21.xbrl,/home/yosuke/Data/finance/edinet/edinet_tools/XBRL_files/三井住友アセットマネジメント株式会社/訂正報告書(大量保有報告書・変更報告書)/S100CFPH.zip
Traceback (most recent call last):
  File "/home/yosuke/Data/finance/edinet/edinet_tools/edinet_tools.py", line 306, in <module>
    yaxbrl_get(edinet, start, end, is_exclude_fund=True)
  File "/home/yosuke/Data/finance/edinet/edinet_tools/edinet_tools.py", line 262, in yaxbrl_get
    edinet.xbrl_get2(edinet.xbrl_dir_root, cache_data, is_exclude_fund)
  File "/home/yosuke/Data/finance/edinet/edinet_tools/edinet.py", line 195, in xbrl_get2
    xbrl_file_path = self._unzip(target_path)
  File "/home/yosuke/Data/finance/edinet/edinet_tools/edinet.py", line 99, in _unzip
    xbrl_file_path = self.get_xbrl_path_in_zip(target_path)
  File "/home/yosuke/Data/finance/edinet/edinet_tools/edinet.py", line 89, in get_xbrl_path_in_zip
    with zipfile.ZipFile(target_path) as data_zip:
  File "/usr/lib/python3.9/zipfile.py", line 1257, in __init__
    self._RealGetContents()
  File "/usr/lib/python3.9/zipfile.py", line 1324, in _RealGetContents
    raise BadZipFile("File is not a zip file")
zipfile.BadZipFile: File is not a zip file

cli unzip success. Some issues in zipfile module ? Probably better to avoid and directly call unzip from subprocess.

yosukesan commented 1 year ago

On memory cache in edinet_tool.py need to be filtered by 'submitDateTime'. If it is over three years, edinet does not have.

yosukesan commented 1 year ago

normal termination checked on 2022/Dec/28th

$ python edinet_tools.py  --target トヨタ自動車株式会社
fetching Edinet server
トヨタ自動車株式会社,2020-02-10,S100HXMA,XBRL/PublicDoc/jpcrp040300-q3r-001_E02144-000_2019-12-31_01_2020-02-10.xbrl,/home/yosuke/Data/finance/edinet/edinet_tools/XBRL_raw/トヨタ自動車株式会社/四半期報告書-第116期第3四半期(令和1年10月1日-令和1年12月31日)/S100HXMA.zip
トヨタ自動車株式会社,2020-06-24,S100IUNR,XBRL/PublicDoc/jpcrp030000-asr-001_E02144-000_2020-03-31_01_2020-06-24.xbrl,/home/yosuke/Data/finance/edinet/edinet_tools/XBRL_raw/トヨタ自動車株式会社/有価証券報告書-第116期(平成31年4月1日-令和2年3月31日)/S100IUNR.zip
トヨタ自動車株式会社,2020-08-07,S100JG7A,XBRL/PublicDoc/jpcrp040300-q1r-001_E02144-000_2020-06-30_01_2020-08-07.xbrl,/home/yosuke/Data/finance/edinet/edinet_tools/XBRL_raw/トヨタ自動車株式会社/四半期報告書-第117期第1四半期(令和2年4月1日-令和2年6月30日)/S100JG7A.zip
トヨタ自動車株式会社,2020-11-12,S100K3J3,XBRL/PublicDoc/jpcrp040300-q2r-001_E02144-000_2020-09-30_01_2020-11-12.xbrl,/home/yosuke/Data/finance/edinet/edinet_tools/XBRL_raw/トヨタ自動車株式会社/四半期報告書-第117期第2四半期(令和2年7月1日-令和2年9月30日)/S100K3J3.zip
トヨタ自動車株式会社,2021-02-12,S100KQ5Q,XBRL/PublicDoc/jpcrp040300-q3r-001_E02144-000_2020-12-31_01_2021-02-12.xbrl,/home/yosuke/Data/finance/edinet/edinet_tools/XBRL_raw/トヨタ自動車株式会社/四半期報告書-第117期第3四半期(令和2年10月1日-令和2年12月31日)/S100KQ5Q.zip
トヨタ自動車株式会社,2021-06-24,S100LO6W,XBRL/PublicDoc/jpcrp030000-asr-001_E02144-000_2021-03-31_01_2021-06-24.xbrl,/home/yosuke/Data/finance/edinet/edinet_tools/XBRL_raw/トヨタ自動車株式会社/有価証券報告書-第117期(令和2年4月1日-令和3年3月31日)/S100LO6W.zip
トヨタ自動車株式会社,2021-07-30,S100M26Y,XBRL/PublicDoc/jpcrp030000-asr-001_E02144-000_2021-03-31_02_2021-07-30.xbrl,/home/yosuke/Data/finance/edinet/edinet_tools/XBRL_raw/トヨタ自動車株式会社/訂正有価証券報告書-第117期(令和2年4月1日-令和3年3月31日)/S100M26Y.zip
トヨタ自動車株式会社,2021-07-30,S100M271,XBRL/PublicDoc/jpcrp040300-q3r-001_E02144-000_2020-12-31_02_2021-07-30.xbrl,/home/yosuke/Data/finance/edinet/edinet_tools/XBRL_raw/トヨタ自動車株式会社/訂正四半期報告書-第117期第3四半期(令和2年10月1日-令和2年12月31日)/S100M271.zip
トヨタ自動車株式会社,2021-08-06,S100M5CF,XBRL/PublicDoc/jpcrp040300-q1r-001_E02144-000_2021-06-30_01_2021-08-06.xbrl,/home/yosuke/Data/finance/edinet/edinet_tools/XBRL_raw/トヨタ自動車株式会社/四半期報告書-第118期第1四半期(令和3年4月1日-令和3年6月30日)/S100M5CF.zip
トヨタ自動車株式会社,2021-11-12,S100MRVF,XBRL/PublicDoc/jpcrp040300-q2r-001_E02144-000_2021-09-30_01_2021-11-12.xbrl,/home/yosuke/Data/finance/edinet/edinet_tools/XBRL_raw/トヨタ自動車株式会社/四半期報告書-第118期第2四半期(令和3年7月1日-令和3年9月30日)/S100MRVF.zip
トヨタ自動車株式会社,2022-01-19,S100N8S9,XBRL/PublicDoc/jplvh010000-lvh-003_E02144-000_2021-12-29_02_2022-01-19.xbrl,/home/yosuke/Data/finance/edinet/edinet_tools/XBRL_raw/トヨタ自動車株式会社/訂正報告書(大量保有報告書・変更報告書)/S100N8S9.zip
トヨタ自動車株式会社,2022-02-14,S100NE47,XBRL/PublicDoc/jpcrp040300-q3r-001_E02144-000_2021-12-31_01_2022-02-14.xbrl,/home/yosuke/Data/finance/edinet/edinet_tools/XBRL_raw/トヨタ自動車株式会社/四半期報告書-第118期第3四半期(令和3年10月1日-令和3年12月31日)/S100NE47.zip
トヨタ自動車株式会社,2022-06-23,S100OC13,XBRL/PublicDoc/jpcrp030000-asr-001_E02144-000_2022-03-31_01_2022-06-23.xbrl,/home/yosuke/Data/finance/edinet/edinet_tools/XBRL_raw/トヨタ自動車株式会社/有価証券報告書-第118期(令和3年4月1日-令和4年3月31日)/S100OC13.zip
トヨタ自動車株式会社,2022-08-10,S100OVS9,XBRL/PublicDoc/jpcrp040300-q1r-001_E02144-000_2022-06-30_01_2022-08-10.xbrl,/home/yosuke/Data/finance/edinet/edinet_tools/XBRL_raw/トヨタ自動車株式会社/四半期報告書-第119期第1四半期(令和4年4月1日-令和4年6月30日)/S100OVS9.zip