הוספת תהליך שיאנדקס טקסט של פרוטוקולים של הכנסת לשרת חיפוש

[OriHoch]

מטרה

בפרוייקט כריית הנתונים על הכנסת (כנסת פתוחה) אנחנו מעבדים פרוטוקולים של הכנסת בפורמט וורד ומייצרים מהם שני קבצים - קובץ טקסט - שמכיל את הטקסט בלבד וקובץ טבלאי שמכיל את הפרוטוקול מחולק לדוברים.

אנחנו מעוניינים לאפשר לחפש בתוך הטקסט של הפרוטוקולים באמצעות שרת חיפוש

השרת שאנו מעוניינים לעבוד איתו הוא - ElasticSearch

מה צריך לעשות?

• לכתוב קוד כחלק מתשתית כריית הנתונים של כנסת פתוחה שיאנדקס את הפרוטוקולים בשרת החיפוש
• להוסיף תשתית של שרת החיפוש לקבצי הדוקר של הפרוייקט

ידע נדרש

המשימה דורשת היכרות עם או רצון ללמוד עצמאית את הנושאים הבאים

• Python 3.6
• PostgreSQL DB
• Docker
• Basic Linux shell scripting / terminal usage
• Git / GitHub

הוראות מפורטות

התקנת סביבת העבודה והיכרות עם המערכת

בשלב זה נבצע התקנה ראשונית של סביבת העבודה ונריץ כמה תהליכי עיבוד שרלוונטיים למשימה לצורך היכרות עם המערכת

• fork and clone the project - https://github.com/hasadna/knesset-data-pipelines
• install latest versions of Docker and Docker Compose - refer to docker core documentation and docker compose documentation
• open a terminal from the project directory and run bin/start.sh
  • this will start a docker compose environment with everything you need to start running the pipelines
  • it binds 2 services to ports on your host:
  • datapackage pipelines dashboard: http://localhost:5000/
  • postgresql DB (default password 123456): postgresql://postgres:123456@localhost:5432/postgres
• run the dpp cli command inside the docker environment
  • bin/dpp.sh
  • this should show all the available pipelines
  • bin/dpp.sh --help
• run the committees pipeline (shouldn't take more then 1-2 minutes)
  • bin/dpp.sh run ./committees/committees
  • this populates the committees-committees DB table
  • you can connect to the DB at postgresql://postgres:123456@localhost:5432/postgres and check the data
• run the committee meetings pipeline to get some committee meeting in DB
  • this command should give some meetings -
  • docker-compose exec app sh -c 'OVERRIDE_COMMITTEE_IDS=2,3 dpp run ./committees/committee-meetings'
• this should give you some meeting - you can check in the DB committee-meetings table
• run the committee meeting protocols pipelines to download and parse the meetings
  • docker-compose exec app sh -c 'OVERRIDE_COMMITTEE_IDS=2,3 dpp run ./committees/committee-meeting-protocols'
• the source protocol files were downloaded to .data-docker/committee-meeting-protocols/
• the parsed files should be in .data-docker/committee-meeting-protocols-parsed/

התקנת סביבת פיתוח והרצת בדיקות אוטומטיות

• you should be inside a Python 3.6 activated virtualenv
  • Pythonz can be used to install a specific Python version.
  • Virtualenvwrapper can help setting up and managing virtualenvs
• once you are inside an activated virtualenv, run:
• bin/install.sh
• bin/test.sh

המשך הפיתוח

• עברו בבקשה למשימה בפרוייקט, והמשיכו לפי ההנחיות שם - https://github.com/hasadna/knesset-data-pipelines/issues/16
• עדכנו בבקשה בהערות למשימה שאתם עובדים עליה
• we are using standard GitHub pull requests, issues, releases etc.. you can read more about the development workflow here - https://opensource.guide/how-to-contribute/

לחצו כאן לעבור להמשך הפיתוח במשימה הרלוונטית