״אחלה-החלה״ - מערכת לחיפוש החלטות ממשלה

[akariv]

מטרה

מטרת הפרויקט היא חיפוש מהיר של החלטות ממשלה.

אתר מזכירות הממשלה הוא איטי להחריד ויכולות החיפוש שבו מוגבלות להחריד. היינו רוצים אתר שיאפשר לחפש בכל החלטות הממשלה ההיסטוריות, בין אם לפי מאפיינים (מספר ההחלטה, למשל) או לפי מילות מפתח בתוך הטקסט.

מה צריך לעשות?

• לסרוק את אתר מזכירות הממשלה ולהוריד משם את נתוני ההחלטות
• להמיר את נתוני ההחלטות לקובץ בפורמט סטנדרטי
• לטעון את הנתונים למסד נתונים שמאפשר חיפוש יעיל בטקסט
• לבנות שרת עם ממשק נתונים שיכול לחפש במידע
• לבנות ממשק משתמש אינטרנטי שיכול להשתמש בממשק הנתונים בשביל לשלוף תוצאות

  הוראות מפורטות

• [ ] כתיבת סקריפט פייתון שסורק את אתר מזכירות הממשלה ומוריד החלטות מהזמן האחרון (פרק הזמן האחרון הוא פרמטר) http://www.pmo.gov.il/Secretary/GovDecisions
• [ ] הנתונים יכתבו בפורמט סטנדרטי - משהו כמו זה: http://ndjson.org/
• [ ] הנתונים יועלו למסד נתונים כמו elasticsearch לא צריך לדאוג לשרת, אפשר לעבוד מקומית
• [ ] לבנות ממשק נתונים לחיפוש (API) רצוי לכתוב בפייתון, אפשר להשתמש בפלאסק או משהו דומה
• [ ] לבנות אפליקציית ווב פשוטה שתאפשר חיפוש באמצעות ממשק הנתונים

  איך להתחיל

זו משימת פיתוח מאפס, אז יש הרבה גמישות. הדגש העיקרי הוא לא לבחור בטכנולוגיות איזוטריות מדי או בכאלו שדורשות חתונה עם ספק ספציפי.

[tomerefrati]

יש API לרשימת ההחלטות?

[akariv]

לא, צריך לעשות סקרייפינג לאתר הממשלה

[eyalcohen4]

מעוניין לעזור בפרונט

[dvirsky]

ככל הנראה אוכל לבנות את כל הבקאנד וה-API

[tomerefrati]

האם זה חוקי לעשות סקרייפינג באתר הזה? אם כן, אני יכול לעשות זאת

[daonb]

סקרייפינג תמיד מותר. אם מישהו בממשלה חושב שלא הוא מוזמן לפנות אל הסדנא.

[tomerefrati]

אז אני על זה

[dvirsky]

I'm not sure I'll need help with it, but if you do write it, please do it in Scrapy

[dvirsky]

@tomerefrati are you here?

[akariv]

https://github.com/hasadna/gov-resolutions

Kudos to @dvirsky and @oryband !!