hasadna / datacity-k8s

1 stars 0 forks source link

שגיאת יוניקוד בהעלאת קובץ למחסן הנתונים #213

Closed niryariv closed 3 years ago

niryariv commented 3 years ago

כנראה גורמת גם לכך שלא נוצרות גרסאות אקסל וגאוגייסון.

https://jerusalem.datacity.org.il/dataset/urban-renewal-38/resource_data/a0104730-30d0-4a4e-b67f-ab4f5e699674#

Screen Shot 2021-05-02 at 16 28 19

OriHoch commented 3 years ago

there is no easy fix, this is a limitation of the xloader component which loads csv files to the datastore

as the error says - the field name is not valid, easiest solution is to fix the field names to use english characters and without special chars

long-term solution is to either fix xloader or bypass it and load csv files to datastore ourselves, I estimate this at ~20-30 hours

niryariv commented 3 years ago

תיקנתי ידנית והעליתי, נראה שללא שגיאות עכשיו, אבל קבצי אקסל/ג׳יסון טרם נוצרו.

באיזו תדירות רץ התהליך שיוצר אותם? אפשר להפעיל אותו ידנית?

OriHoch commented 3 years ago

התהליכים רצים כל שעה

אפשר להריץ ידנית באמצעות מערכת האוטומציה

https://ckan-dgp.datacity.org.il/

niryariv commented 3 years ago

טרם נוצרו הקבצים, אני לא רואה הודעת שגיאה במערכת האוטומציה - תוכל לבדוק בבקשה?

OriHoch commented 3 years ago

will be handled in #214