לוודא שכל הנתונים (הנתמכים) מגיעים מממשק הנתונים החדש של הכנסת

[OriHoch]

מטרה

הכנסת שיחררו ממשק נתונים רשמי שמאפשר לקבל חלק גדול מהמידע

הממשק מכיל הן מידע חדש שלא היה ברשותינו עד כה וגם מידע קיים עם עדכונים / תוספות

צריך לוודא שכל הנתונים בפרוייקט כריית הנתונים של כנסת פתוחה מגיעים מהממשק החדש

מה צריך לעשות?

• לעבור על השירותים המתועדים במסמך:
  • https://docs.google.com/document/d/1FHqabNsYlSNyul1lArmnONLHnYGA4XQNMs3k-dPgUok/edit?usp=sharing
• לוודא שכל הנתונים הנתמכים בפרוייקט כריית הנתונים אכן מגיעים מהממשק החדש
  • https://github.com/hasadna/knesset-data-pipelines
• מידע נוסף אודות ממשקי המידע של הכנסת:
  • https://github.com/hasadna/knesset-data/tree/master/docs/dataservice

ידע נדרש

המשימה דורשת היכרות עם או רצון ללמוד עצמאית את הנושאים הבאים

• Python 3.6
• PostgreSQL DB
• Docker
• Basic Linux shell scripting / terminal usage
• Git / GitHub

הוראות מפורטות

התקנת סביבת העבודה והיכרות עם המערכת

בשלב זה נבצע התקנה ראשונית של סביבת העבודה ונריץ כמה תהליכי עיבוד שרלוונטיים למשימה לצורך היכרות עם המערכת

• fork and clone the project - https://github.com/hasadna/knesset-data-pipelines
• install latest versions of Docker and Docker Compose - refer to docker core documentation and docker compose documentation
• open a terminal from the project directory and run bin/start.sh
  • this will start a docker compose environment with everything you need to start running the pipelines
  • it binds 2 services to ports on your host:
  • datapackage pipelines dashboard: http://localhost:5000/
  • postgresql DB (default password 123456): postgresql://postgres:123456@localhost:5432/postgres
• run the dpp cli command inside the docker environment
  • bin/dpp.sh
  • this should show all the available pipelines
  • bin/dpp.sh --help
• run the committees pipeline (shouldn't take more then 1-2 minutes)
  • bin/dpp.sh run ./committees/committees
  • this populates the committees-committees DB table
  • you can connect to the DB at postgresql://postgres:123456@localhost:5432/postgres and check the data
• run the committee meetings pipeline to get some committee meeting in DB
  • this command should give some meetings -
  • docker-compose exec app sh -c 'OVERRIDE_COMMITTEE_IDS=2,3 dpp run ./committees/committee-meetings'
• this should give you some meeting - you can check in the DB committee-meetings table
• run the committee meeting protocols pipelines to download and parse the meetings
  • docker-compose exec app sh -c 'OVERRIDE_COMMITTEE_IDS=2,3 dpp run ./committees/committee-meeting-protocols'
• the source protocol files were downloaded to .data-docker/committee-meeting-protocols/
• the parsed files should be in .data-docker/committee-meeting-protocols-parsed/

התקנת סביבת פיתוח והרצת בדיקות אוטומטיות

• you should be inside a Python 3.6 activated virtualenv
  • Pythonz can be used to install a specific Python version.
  • Virtualenvwrapper can help setting up and managing virtualenvs
• once you are inside an activated virtualenv, run:
• bin/install.sh
• bin/test.sh

המשך הפיתוח

• בידקו את השירותים המופיעים במסמך
• עבור כל טבלת נתונים / שירות
  • בידקו האם הנתונים זמינים דרך פרוייקט כריית הנתונים
  • בידקו שהנתונים תקינים ומגיעים ממשק הנתונים החדש
• אם מצאתם תיקון שצריך לבצע
  • פיתחו משימה בפרוייקט וכיתבו מה אתם מתכננים לעשות
  • https://github.com/hasadna/knesset-data-pipelines
• עדכנו בבקשה בהערות למשימה שאתם עובדים עליה
• we are using standard GitHub pull requests, issues, releases etc.. you can read more about the development workflow here - https://opensource.guide/how-to-contribute/

[OrLeizerman]

there's a lot of data that we don't import, should I open new issue for each one? also, I mapped where some of the description fields is located - Where can this be documented?

bills: KNS_Bill: 'PublicationSeriesFirstCallID' and 'PublicationSeriesFirstCallDesc[OL1]' - used to be, but they were removed. KNS_DocumentBill: new table to open

laws: KNS_IsraelLawMinistry: new table to open KNS_IsraelLawClassificiation: new table to open KNS_IsraelLawBinding: new table to open KNS_DocumentIsraelLaw: new table to open

Agendas: new subject to open + all the tables involved

Queries: new subject, but I think it's not relevant to us.

Plenum Sessions: new subject to open + all the tables involved

Supporting tables that in the document but not have pipeline: KNS_Faction KNS_Person KNS_Position KNS_PersonToPosition KNS_MkSiteCode KNS_KnessetDates KNS_GovMinistry KNS_ItemType KNS_Status

[OriHoch]

great! I think it's best to write everything in a single issue in hasadna/knesset-data-pipelines

[OriHoch]

this is very useful, thanks!

if you want you can choose something that is missing and add it..

basically, it's just yaml files, you can even edit them blindly, without testing

for example, all the code that is needed to load bills data is in this directory: https://github.com/hasadna/knesset-data-pipelines/tree/master/bills

so, if you want to add or fix something, feel free to edit the yaml file or add a new directory (you can even do it directly from github)