add guidestar support_criteria scraping

[noamoss]

we will scrape the new support_criteria page from guidestar and:

1. try to dedicate whether it is a new source or a repeating one.

2a. if there is no existing resource, create a new item/publish based on this source.

2b. if it is and existing resource, we will check Guidestar last publish/update date, and update the fields in the item add the סעיף תקציבי. notice to change also the publish_url to guidestar.

2c. if it is and existing resource and guidestar publish/update date is older than the current item, add only the סעיף תקציבי part, don't change other details.

see the expected סעיף תקציבי location below:

---

[akariv]

This source completely replaced the previous support criteria scraper from ministry of justice.

Sample page with budget reference: https://next.obudget.org/i/support_criteria/support_criteria/0/YTBUMXAwMDAwME5ZYkpRRUEx?li=49

Sample budget page with support criteria question/query: https://next.obudget.org/i/budget/002049/2019

[noamoss]

@akariv any good idea for a valid QA to this issue?

// cc @maryLoi FYI

[akariv]

Not sure, you're the master...

[maryLoi]

משמח מאוד!

יש בעיה עם פרסומים של משרד החינוך שמשמיט את שתי הספרות הראשונות של סעיף המשרד (גם בקובץ מבחן התמיכה וגם בדף בגיידסטר)

:למשל בדף הזה הקישור הלחיץ של מספר תקנה מוביל לדף עם שגיאה Not Found

אני רואה שבחלק מהמקרים זה כן מעודכן, אפילו שבגיידסטר חסרות הספרות https://next.obudget.org/i/support_criteria/support_criteria/0/YTBUMXAwMDAwME5ZYkpXRUEx?li=0

https://www.guidestar.org.il/test-support/YTBUMXAwMDAwME5ZYkpXRUEx

[maryLoi]

כדאי להוסיף בעמוד מבחן התמיכה את "תאריך עדכון אחרון" בנוסף למועד הפרסום

[maryLoi]

יש מבחני תמיכה שלגמרי חסר אצלינו https://www.guidestar.org.il/test-support/YTBUMXAwMDAwME5ZYkpaRUEx https://www.guidestar.org.il/test-support/YTBUMXAwMDAwME5ZYkp1RUFM

[akariv]

הנה מופיע:

https://next.obudget.org/i/support_criteria/support_criteria/0/YTBUMXAwMDAwME5ZYkpaRUEx?li=0

סידרתי את הלינקים לתקציב, יתעדכן בקרוב באתר.

On Fri, Jan 10, 2020 at 9:06 PM Mary notifications@github.com wrote:

מבחן תמיכה שלגמרי חסר אצלינו https://www.guidestar.org.il/test-support/YTBUMXAwMDAwME5ZYkpaRUEx

— You are receiving this because you were mentioned. Reply to this email directly, view it on GitHub https://github.com/OpenBudget/BudgetKey/issues/423?email_source=notifications&email_token=AACAY5O2JLJ3XAY6KMHI44DQ5DBM3A5CNFSM4JRNFS4KYY3PNVWWK3TUL52HS4DFVREXG43VMVBW63LNMVXHJKTDN5WW2ZLOORPWSZGOEIU5CHQ#issuecomment-573165854, or unsubscribe https://github.com/notifications/unsubscribe-auth/AACAY5LMPSHJNRLCFUO44ULQ5DBM3ANCNFSM4JRNFS4A .

[maryLoi]

בקיצור, צריך לעשות בדיקה על מספר התקנה שמופיע בגיידסטאר ולהציג קישור רק אם היא אכן קיימת

[maryLoi]

והייתי מציגה גם בדף מבחן התמיכה למטה בטבלה נתוני הוצאות על תמיכה זו

[akariv]

כן, זה כבר קורה.

יכולים להיות מספר מבחנים על אותה התקנה התקציבית, כך שאין וודאות שההוצאות אכן קשורות למבחן הספציפי שמוצג.

On Fri, Jan 10, 2020 at 9:29 PM Mary notifications@github.com wrote:

והייתי מציגה גם בדף מבחן התמיכה למטה בטבלה נתוני הוצאות על תמיכה זו

— You are receiving this because you were mentioned. Reply to this email directly, view it on GitHub https://github.com/OpenBudget/BudgetKey/issues/423?email_source=notifications&email_token=AACAY5K6RBXY7DTGNDTUY2DQ5DEBXA5CNFSM4JRNFS4KYY3PNVWWK3TUL52HS4DFVREXG43VMVBW63LNMVXHJKTDN5WW2ZLOORPWSZGOEIU67PA#issuecomment-573173692, or unsubscribe https://github.com/notifications/unsubscribe-auth/AACAY5JEG7SN4GTFKS7WUO3Q5DEBXANCNFSM4JRNFS4A .

[akariv]

גם זה במפתח: https://next.obudget.org/i/support_criteria/support_criteria/0/YTBUMXAwMDAwME5ZYkp1RUFM?li=0

[maryLoi]

למבחן תמיכה לא צריך להיות שדה של מועד סגירה

[noamoss]

@maryLoi

למבחן תמיכה לא צריך להיות שדה של מועד סגירה

למה לא? למיטב זכרוני היו פרסומי מבחני תמיכה עם תאריך יעד להגשה ובכל אופן, הם בתוקף לשנה או לתקופה מוגדרת. אני טועה?

[maryLoi]

זה הדיון שלא סיימנו אם הפרסומים של ג'וביז הם מבחני תמיכה או קולות קוראים. בוא נדבר על זה בפרוט. אבל ברמה העקרונית מבחני תמיכה הם רשימת קריטריונים שהיא אל-זמנית. קול קורא הוא הזמנה להתמודד על תקציב שמחולק לפי הקריטריונים הנ"ל ולקול קורא יש מועדים

[noamoss]

@maryLoi בסדדר גמור, אבל תתייחסתי בבקשה להערה/שאלה האחרונה שלי: האם כשמשרד מפרסם מבחן תמיכה הוא תקף לנצח או לתאריך מסויים? אם לא כתוב תאריך, האם הוא רלוונטי רק לשנת הפרסום או גם מעבר?

השאלה כאן היא לא עקרונית, אלא מעשית ומשפטית - אם מבחן תמיכה הוא הזמנה להתחרות על תקציב, ההגיון אומר שתנאי התחרות מוגדרים רק בהינתן תקציב שאושר, ושגורם ממשלתי לא יכול לפרסם מבחן תמיכה לשנה שלא תוקצב עבורה. מהצד שלנו, זה נשמע (לי) כאילו אנחנו נטעה את המשתמשים אם נמשיך להציג מבחני תמיכה כפתוחים מעבר למועד מסויים, רק בגלל שהם אחרים מקולות קוראים במהות שלהם.

ואחרי כל זה, אנחנו חוזרים לג'וביז: סיכמנו שנחפש דוגמאות שמוכיחות/מפריכות את ההנחות שלנו מהדיון הקודם. מצאת משהו כזה?

כמו כן, תני מבט בהצעה שכתבתי בדיון אחר (https://github.com/OpenBudget/BudgetKey/issues/397#issuecomment-574380524) - האם זה פתרון שאפשרי בעיניך גם לנושא ג'וביז?