Cron failed again

[mporpaczi]

Hi,

After days it was the same error: #261

2023-01-28 05:02:22 [info ] Country: lu [everypolitician] dataset=everypolitician /usr/local/lib/python3.10/dist-packages/structlog/dev.py:421: UserWarning: Remove format_exc_info from your processor chain if you want pretty exceptions. warnings.warn( 2023-01-28 05:02:22 [error ] Crawl failed [everypolitician] dataset=everypolitician Traceback (most recent call last): File "/opensanctions/opensanctions/core/context.py", line 241, in crawl self.dataset.method(self) File "/opensanctions/opensanctions/crawlers/everypolitician.py", line 16, in crawl crawl_legislature(context, code, legislature) File "/opensanctions/opensanctions/crawlers/everypolitician.py", line 28, in crawl_legislature for person in data.pop("persons", []): AttributeError: 'NoneType' object has no attribute 'pop' 2023-01-28 05:02:29 [info ] Loading ID reg documents... [us_ofac_sdn] dataset=us_ofac_sdn 2023-01-28 05:02:40 [info ] Crawl completed [il_mod_terrorists] dataset=il_mod_terrorists entities=1726 targets=811 2023-01-28 05:06:54 [info ] Crawl completed [eu_cor_members] dataset=eu_cor_members entities=1739 targets=602 2023-01-28 05:07:05 [info ] Crawl completed [us_ofac_sdn] dataset=us_ofac_sdn entities=35326 targets=10228 {'column_67': '972-9-2357811'} {'column_67': '972-59-2565111'} {'column_39': "ראאד צלאח מחאג'נה - כמאל חסין חטיב - עבד אלרחים תופיק ח'ליל - " 'יוסף עורסאן עואודה - פאדל מחמד וישאחי - חכמת פהים נעאמנה - ' "סלימאן אחמד אגבריה - אוסאמה חסין אלעוקבי - יוסף שאהר אבו ג'אמע " "ונוספים ולרבות מועצת השורא (מג'לס שורא) וההנהלה הביצועית " Traceback (most recent call last): File "/usr/local/bin/opensanctions", line 33, in sys.exit(load_entry_point('opensanctions', 'console_scripts', 'opensanctions')()) File "/usr/local/lib/python3.10/dist-packages/click/core.py", line 1128, in call "(אלאדארה אלתנפיד'יה)"} {'column_39': 'אמין ע'אזי אבו ראשד "אבו אברהים", שמקום מושבו בבלגיה; מחמד ' 'יוסף אל–חג'אזי "אבו אחמד", שמקום מושבו בבלגיה; מחמד מחמוד אחמד ' 'עווד/חנון "אבו מצעב", שמקום מושבו באיטליה ; מאזן עוני עיסא כחיל ' '"אבו אסאמה", שמקום מושבו בצרפת; מאג'ד חליל מוסא זיר "אבו ' 'עבדאללה" שמקום מושבו בבריטניה; עאדל עבדאללה חסן דרמאן "אבו ' 'אלברא", שמקום מושבו באוסטריה; ראמי צאלח אסמעיל עבדה "אבו ' 'צאלח", שמקום מושבו בבריטניה ;זאהר חאלד חסן ביראווי "אבו חאלד", ' 'שמקום מושבו בבריטניה; עראפת מאדי מחמוד שכרי "אבו בראא", שמקום ' 'מושבו בבריטניה; מחמד כאט'ם רשיד מערוף צואלחה "אבו עבאדה", ' 'שמקום מושבו בבריטניה; עצאם יוסף צלאח מצטפא "אבו יוסף", שמקום ' 'מושבו בבריטניה;'} {'column_39': 'אמין ע'אזי אבו ראשד "אבו אברהים", שמקום מושבו בבלגיה; מחמד ' 'יוסף אל–חג'אזי "אבו אחמד", שמקום מושבו בבלגיה; מחמד מחמוד אחמד ' 'עווד/חנון "אבו מצעב", שמקום מושבו באיטליה ; מאזן עוני עיסא כחיל ' '"אבו אסאמה", שמקום מושבו בצרפת; מאג'ד חליל מוסא זיר "אבו ' 'עבדאללה" שמקום מושבו בבריטניה; עאדל עבדאללה חסן דרמאן "אבו ' 'אלברא", שמקום מושבו באוסטריה; ראמי צאלח אסמעיל עבדה "אבו ' 'צאלח", שמקום מושבו בבריטניה ;זאהר חאלד חסן ביראווי "אבו חאלד", ' 'שמקום מושבו בבריטניה; עראפת מאדי מחמוד שכרי "אבו בראא", שמקום ' 'מושבו בבריטניה; מחמד כאט'ם רשיד מערוף צואלחה "אבו עבאדה", ' 'שמקום מושבו בבריטניה; עצאם יוסף צלאח מצטפא "אבו יוסף", שמקום ' 'מושבו בבריטניה;'} {'column_39': 'אמין ע'אזי אבו ראשד "אבו אברהים", שמקום מושבו בבלגיה; מחמד ' 'יוסף אל–חג'אזי "אבו אחמד", שמקום מושבו בבלגיה; מחמד מחמוד אחמד ' 'עווד/חנון "אבו מצעב", שמקום מושבו באיטליה ; מאזן עוני עיסא כחיל ' '"אבו אסאמה", שמקום מושבו בצרפת; מאג'ד חליל מוסא זיר "אבו ' 'עבדאללה" שמקום מושבו בבריטניה; עאדל עבדאללה חסן דרמאן "אבו ' 'אלברא", שמקום מושבו באוסטריה; ראמי צאלח אסמעיל עבדה "אבו ' 'צאלח", שמקום מושבו בבריטניה ;זאהר חאלד חסן ביראווי "אבו חאלד", ' 'שמקום מושבו בבריטניה; עראפת מאדי מחמוד שכרי "אבו בראא", שמקום ' 'מושבו בבריטניה; מחמד כאט'ם רשיד מערוף צואלחה "אבו עבאדה", ' 'שמקום מושבו בבריטניה; עצאם יוסף צלאח מצטפא "אבו יוסף", שמקום ' 'מושבו בבריטניה;'} {'column_39': 'אמין ע'אזי אבו ראשד "אבו אברהים", שמקום מושבו בבלגיה; מחמד ' 'יוסף אל–חג'אזי "אבו אחמד", שמקום מושבו בבלגיה; מחמד מחמוד אחמד ' 'עווד/חנון "אבו מצעב", שמקום מושבו באיטליה ; מאזן עוני עיסא כחיל ' '"אבו אסאמה", שמקום מושבו בצרפת; מאג'ד חליל מוסא זיר "אבו ' 'עבדאללה" שמקום מושבו בבריטניה; עאדל עבדאללה חסן דרמאן "אבו ' 'אלברא", שמקום מושבו באוסטריה; ראמי צאלח אסמעיל עבדה "אבו ' 'צאלח", שמקום מושבו בבריטניה ;זאהר חאלד חסן ביראווי "אבו חאלד", ' 'שמקום מושבו בבריטניה; עראפת מאדי מחמוד שכרי "אבו בראא", שמקום ' 'מושבו בבריטניה; מחמד כאט'ם רשיד מערוף צואלחה "אבו עבאדה", ' 'שמקום מושבו בבריטניה; עצאם יוסף צלאח מצטפא "אבו יוסף", שמקום ' 'מושבו בבריטניה;'} {'column_39': 'עטאף עליאן'} {'column_39': 'בנימין כהנא, דוד אקסלרוד ויקותיאל בן יעקב'} {'column_39': 'ברוך מרזל, נועם פדרמן, טירן פולק'} {'column_39': "פתחי שקאקי - עבד אלעזיז עודה - אסעד תמימי - ג'בר עמאר - אחמד " 'מהנא - מניר שפיק - מעין טאהר'} return self.main(args, kwargs) File "/usr/local/lib/python3.10/dist-packages/click/core.py", line 1053, in main rv = self.invoke(ctx) File "/usr/local/lib/python3.10/dist-packages/click/core.py", line 1659, in invoke return _process_result(sub_ctx.command.invoke(sub_ctx)) File "/usr/local/lib/python3.10/dist-packages/click/core.py", line 1395, in invoke return ctx.invoke(self.callback, ctx.params) File "/usr/local/lib/python3.10/dist-packages/click/core.py", line 754, in invoke return __callback(args, *kwargs) File "/opensanctions/opensanctions/cli.py", line 58, in run run_pipeline(dataset, threads=threads) File "/opensanctions/opensanctions/processing.py", line 32, in run_pipeline _compute_futures(futures) File "/opensanctions/opensanctions/processing.py", line 16, in _compute_futures future.result() File "/usr/lib/python3.10/concurrent/futures/_base.py", line 439, in result return self.get_result() File "/usr/lib/python3.10/concurrent/futures/_base.py", line 391, in get_result raise self._exception File "/usr/lib/python3.10/concurrent/futures/thread.py", line 58, in run result = self.fn(self.args, **self.kwargs) File "/opensanctions/opensanctions/core/context.py", line 241, in crawl self.dataset.method(self) File "/opensanctions/opensanctions/crawlers/everypolitician.py", line 16, in crawl crawl_legislature(context, code, legislature) File "/opensanctions/opensanctions/crawlers/everypolitician.py", line 28, in crawl_legislature for person in data.pop("persons", []): AttributeError: 'NoneType' object has no attribute 'pop'

[pudo]

Did you pull the latest version of the codebase, and is your internet connection stable?

[mporpaczi]

yep,double checked, and it's running in AWS, so internet connection is...

[pudo]

Hm, I don't have an idea then (can't reproduce this locally). Please let us know if you find out more?

[mporpaczi]

Run a cron download every 2 days at 4.00pm in AWS. Error occured again today, with the same messages.