פיתוח ממשק בסיסי לחיפוש, פילטור והצגת פרוטוקולים של ישיבות ועדה

[OriHoch]

מטרה

בפרוייקט כריית המידע של כנסת פתוחה אנחנו אוספים פרוטוקולים של ישיבות ועדה משנת 2005. אנו מעוניינים להנגיש את המידע הזה באמצעות ממשק חיפוש בסיסי שייאפשר לחפש בתוך הטקסט של הפרוטוקולים.

מה צריך לעשות?

• להתקין את סביבת הפיתוח של הפרוייקט מקומית
• לפתח את ממשק החיפוש בטכנולוגיה המועדפת עליכם
• דגשים לפיתוח -
  • you should develop 2 components, both should be docker containers -
  • frontend - you can choose your favorite frontend tech, it should be a standalone project, so don't have to integrate with other framework or frontend tech
  • backend - we have PostgreSQL DB and Elasticsearch - you can choose any backend technology which can connect with those services

ידע נדרש

המשימה דורשת היכרות עם או רצון ללמוד עצמאית את הנושאים הבאים

• PostgreSQL DB / Elasticsearch
• Docker
• Basic Linux shell scripting / terminal usage
• Git / GitHub

הוראות מפורטות

התקנת סביבת העבודה והיכרות עם המערכת

בשלב זה נבצע התקנה ראשונית של סביבת העבודה ונריץ כמה תהליכי עיבוד שרלוונטיים למשימה לצורך היכרות עם המערכת

• fork and clone the project - https://github.com/hasadna/knesset-data-pipelines
• install latest versions of Docker and Docker Compose - refer to docker core documentation and docker compose documentation
• open a terminal from the project directory and run bin/start.sh
  • this will start a docker compose environment with everything you need to start running the pipelines
  • it binds 2 services to ports on your host:
  • datapackage pipelines dashboard: http://localhost:5000/
  • postgresql DB (default password 123456): postgresql://postgres:123456@localhost:5432/postgres
• run the dpp cli command inside the docker environment
  • bin/dpp.sh
  • this should show all the available pipelines
  • bin/dpp.sh --help
• run the committees pipeline (shouldn't take more then 1-2 minutes)
  • bin/dpp.sh run ./committees/committees
  • this populates the committees-committees DB table
  • you can connect to the DB at postgresql://postgres:123456@localhost:5432/postgres and check the data
• run the committee meetings pipeline to get some committee meeting in DB
  • this command should give some meetings -
  • docker-compose exec app sh -c 'OVERRIDE_COMMITTEE_IDS=2,3 dpp run ./committees/committee-meetings'
• this should give you some meeting - you can check in the DB committee-meetings table
• run the committee meeting protocols pipelines to download and parse the meetings
  • docker-compose exec app sh -c 'OVERRIDE_COMMITTEE_IDS=2,3 dpp run ./committees/committee-meeting-protocols'
• the source protocol files were downloaded to .data-docker/committee-meeting-protocols/
• the parsed files should be in .data-docker/committee-meeting-protocols-parsed/

התקנת סביבת פיתוח והרצת בדיקות אוטומטיות

• you should be inside a Python 3.6 activated virtualenv
  • Pythonz can be used to install a specific Python version.
  • Virtualenvwrapper can help setting up and managing virtualenvs
• once you are inside an activated virtualenv, run:
• bin/install.sh
• bin/test.sh

המשך הפיתוח

• פיתחו משימה בפרוייקט וכיתבו מה אתם מתכננים לעשות
  • https://github.com/hasadna/knesset-data-pipelines
• עדכנו בבקשה בהערות למשימה שאתם עובדים עליה
• we are using standard GitHub pull requests, issues, releases etc.. you can read more about the development workflow here - https://opensource.guide/how-to-contribute/

[OriHoch]

@simonaho כדאי שתפתחי משימה נפרדת לכל הדרישות ההגדרות העיצוביות והממשקיות את יכולה לפתוח את המשימה ב https://github.com/hasadna/knesset-data אחר כך ניקח את זה ונפרוט למשימות טכניות

[simonaho]

או קיי, אז אני מבינה שהתכוונת כאן למשימת החיפוש בשרת. העובדה שציינת כאן מפתחי פרונט אנד בלבלה אותי

[OriHoch]

ייתכן שזה יהיה שלב ראשון לקראת הדרישות שלך

[simonaho]

אני חושבת שחשוב לקשר בין המשימות, כדי שנפתח את זה פעם אחת אפתח משימה בגיט ונפנה אליה מכאן https://docs.google.com/document/d/1K-UKz5T8kSsfDs1O00s0mcvLUaLmMQWiRFtsYl8pB4U/edit?usp=sharing https://github.com/hasadna/knesset-data/issues/146