search

watchdogpolska / feder

Obywatelskie fedrowanie danych
https://obywatelskie-fedrowanie-danych.readthedocs.io/
MIT License
19 stars 11 forks source link

raport na temat stanu wniosków #628

Closed ad-m closed 1 year ago

ad-m commented 5 years ago

Martyna:

Hej, pisałam o tym wcześniej, ale nie wiem, czy się do tego pytania ustosunkowałeś, nie mogę znaleźć. Chcę ustalić, które szpitale przeczytały wniosek i nie odpowiedziały, które w ogóle nie przeczytały itd. Generalnie muszę ustalić, co oznaczają poszczególne statusy szpitali, które nie odpowiedziały. Czy da się pobrać listę tych szpitali, z informacją, czy przeczytały, czy nie, czy muszę to wszystko ręcznie sprawdzać?

Bartosz:

Dane z odpowiedzi mam zebrane (na piechotę, ale to od dawna było robione), ale przydałaby się taka tabelka:

  • nazwa gminy (podmiotu)
  • adres e-mail
  • data wysłania wniosku
  • status wniosku
  • data odpowiedzi (korespondencji)

Bo treść odpowiedzi (powiedzmy - ich analizę) mam, ale taka tabelka z systemu, którą bym skompilował z tym, co mam, pozwoliłaby mi zweryfikować, czy np. czegoś nie pominięto.

ad-m commented 5 years ago

W mojej ocenie najskuteczniej potrzebę zaspokoić poprzez odpowiedni raport w ramach BI.siecobywatelska.pl.

AgnieszkaZdanowicz commented 4 years ago

Tutaj moim zdaniem najważniejsze jest to, że w tej chwili system nie pozwala nam wyłuskać tych instytucji w ramach monitoringu, które nie zareagowały w ogóle na nasz wniosek. Trzeba je wyłuskiwać ręcznie (przy 2,5 tys. gmin to może być problem) i wysyłać ponaglenia/ponowne wnioski z palca.

Bo co do uwagi Martyny, to możemy już pobierać dzienniki:

image

gdzie jest napisane, jaki status ma dany wniosek.

Co do uwagi Bartosza, to jak powyżej, możemy pobrać tabelę - brakuje w niej jedynie informacji o "dacie odpowiedzi"

AgnieszkaZdanowicz commented 3 years ago

@dzejkobi ustaliłyśmy z dziewczynami, jakie dane byśmy chciały w raporcie:

Mamy tylko wątpliwość, czy przy punkcie "czy przyszła wiadomość..." system rozróżni potwierdzenie przeczytania wiadomości, wysyłane automatycznie z maila, od wiadomości przesłanej przez kogoś z instytucji? Bo nam chodzi w tym punkcie o tę drugą opcję.

Dodatkowo Marzena napisała tak: Przydałby się adres instytucji - tabela z adresami umożliwi automatyczne dodanie pinezek do mapy Google z nazwą instytucji i zaznaczeniem informacji np. odpowiedział na wniosek/nie odpowiedział.

My teraz nie mamy wgranych (chyba) adresów do fedrowania, ale adresy do urzędów gmin mamy w bazie pobranej ze strony ministerstwa, więc może można je dograć. Tylko w tej bazie jest kod TERYT, a nie REGON :/ Zastanawiam się też, czy adresy wyświetlać w tym raporcie akurat, bo to już będzie bardzo dużo danych. Czy nie lepiej byłoby zrobić dodatkowo możliwość pobrania raportu do excela i tam dodać adres?

ad-m commented 3 years ago

Mamy tylko wątpliwość, czy przy punkcie "czy przyszła wiadomość..." system rozróżni potwierdzenie przeczytania wiadomości, wysyłane automatycznie z maila, od wiadomości przesłanej przez kogoś z instytucji? Bo nam chodzi w tym punkcie o tę drugą opcję.

To jest wymaganie do postawienia. Dobrze, że zaznaczasz dokładnie jakie informacje potrzebujesz. Do wypracowania jest jak oznaczyć w systemie wiadomości, które są automatycznymi odpowiedziami, ale z pewną dokładnością jest to wykonalne, kwestia wysiłku jaki w to włożymy.

Przydałby się adres instytucji - tabela z adresami umożliwi automatyczne dodanie pinezek do mapy Google z nazwą instytucji i zaznaczeniem informacji np. odpowiedział na wniosek/nie odpowiedział.

To może pobierzmy te dane z REGON i niech Fedrowanie umożliwi udostępnianie mapy? Wtedy pozostaje tylko jak znaczyć instytucje pod mapę.

Adres nie wpływa na kwestie znaczników, więc proponowałbym go odłożyć i ewentualnie opisać w osobnym zagadnieniu.

AgnieszkaZdanowicz commented 3 years ago

Gdyby mogła być mapa uzupełniana przez fedrowanie i na fedrowaniu udostępniana, to byłoby super! To założyć osobny wątek ws. mapy, tak?

ad-m commented 3 years ago

Tak.

ad-m commented 3 years ago

939 pokazuje, że przydałaby się informacja o liczbie pism.

dzejkobi commented 3 years ago

Uwagi po spotkaniu statusowym:

ad-m commented 3 years ago

określanie odpowiedzi automatycznych na podstawie nagłówków

Określenie odpowiedzi automatycznych na podstawie nagłówków wymaga:

AgnieszkaZdanowicz commented 3 years ago

@dzejkobi dopisuję to, co mówiłam dziś na spotkaniu - mam prośbę, żeby w pliku csv, który pobieramy, był też numer REGON instytucji

AgnieszkaZdanowicz commented 3 years ago

@dzejkobi na jakim etapie jest przygotowywanie raportu na instancji testowej?

dzejkobi commented 3 years ago

@AgnieszkaZdanowicz Jest wykonany update na staging i powinien zawierać funkcję wyświetlania raportu, o ile użytkownik ma odpowiednie uprawnienia. Ale baza danych wygląda na bardzo starą. Spróbuję załadować bardziej aktualną.

dzejkobi commented 3 years ago

@mrbojko @ad-m Czy mogę prosić o update bazy danych na staging, aby była możliwie zbliżona do produkcyjnej? Próbowałem załadować dane z fixtury, ale jest duża i loaddata generuje MemoryError.

dzejkobi commented 3 years ago

Na podstawie testów z prawdziwymi danymi można już stwierdzić, że niestety oznaczanie stanu wniosku nie działa prawidłowo. Spróbuję się w to wgryźć i znaleźć przyczynę.

AgnieszkaZdanowicz commented 3 years ago

ok, to czekam

dzejkobi commented 3 years ago

W kolumnie "otrzymano odpowiedź" powinna już pokazywać się prawidłowa wartość. "potwierdzenie dostarczenia wniosku" jest określane na podstawie nagłówków w momencie, kiedy wiadomość jest przesyłana do Fedrowania, więc będzie się wyświetlać poprawnie tylko dla nowych wiadomości.

AgnieszkaZdanowicz commented 3 years ago

@dzejkobi a jak można się zalogować na instancję testową? Bo rozumiem, że nadal tylko tam są dostępne raporty?

dzejkobi commented 3 years ago

@AgnieszkaZdanowicz Tak, raporty są na instancji staging, można już filtrować po statusie odpowiedzi, ale nie można jeszcze masowo przypisać spraw do grupy.

Pull request #967 czeka na akcept od @ad-m. Mogę zmergować na produkcję bez akceptu, ale chciałem się upewnić, że nie ma poważniejszych błędów.

Są założone dla Was konta, hasła powinien posiadać @mrbojko . Ja też je dostałem e-mailowo, więc w razie potrzeby mogę podesłać.

Niestety, prawdopodobnie z uwagi na to dodatkowe uwierzytelnianie, nie chce poprawnie działać pobieranie plików CSV. Przypuszczam, że na produkcji ten problem nie wystąpi.

Na staging jest bardzo stara zawartość bazy danych. Próbowałem zaktualizować, ale przy próbie importu danych przez Django, kończy się błędem, trzeba tą operację wykonać bezpośrednio na bazie danych.

ad-m commented 3 years ago

@mrbojko , przerzucisz te bazy danych?

mrbojko commented 3 years ago

@ad-m ok @dzejkobi - wystarczy skopiować produkcyjną na staging, czy trzeba to jakoś więcej inteligentnie zrobić - ominąć jakieś tabele, podmienić rekordy, czy coś w tym guście?

dzejkobi commented 3 years ago

@mrbojko Wystarczy skopiować całość. Dzięki.

mrbojko commented 3 years ago

@dzejkobi zrobione, na moje oko działa.

dzejkobi commented 3 years ago

@mrbojko Działa, dziękuję.

@AgnieszkaZdanowicz Można się logować i testować. Jak wspominałem, na staging nie zadziała pobieranie raportu do CSV, a "potwierdzenie dostarczenia wniosku" będzie się poprawnie wyświetlać tylko dla nowych wiadomości, dla pozostałych będzie miało wartość "nie".

AgnieszkaZdanowicz commented 3 years ago

@dzejkobi zalogowałam się. Widzę, że w tabeli w raporcie brakuje jeszcze kolumny "status wniosku" (ok, open, spambounce etc). CSV rzeczywiście nie da się pobrać i w sumie to jest chyba największa bolączka. A w jakiej kolejności są ułożone instytucje w raporcie? Bo najpierw myślałam, że alfabetycznie po województwach, ale np. na samym końcu są warmińsko-mazurskie wymierzane z podkarpackim, więc już sama nie wiem :)

dzejkobi commented 3 years ago

@AgnieszkaZdanowicz Ok, kolumnę "status wniosku" trzeba będzie dodać. Kolejność jest w tej chwili domyślna, czyli po numerze sprawy. A jaką kolejność byśmy chcieli? Mogę ustawić np. po nazwie instytucji albo nazwie jednostki administracyjnej, ale żeby była dodatkowo uwzględniona hierarchia, czyli województwo / powiat / gmina, trzeba by skomplikować kwerendę i nie wiem, czy to za bardzo nie wpłynie na wydajność. Możemy też umożliwić wybór sposobu sortowania, ale musimy te sposoby sortowania najpierw określić.

AgnieszkaZdanowicz commented 3 years ago

@dzejkobi najlepiej by było ułożyć alfabetycznie z uwzględnioną hierarchią - tak jak napisałeś

dzejkobi commented 3 years ago

@AgnieszkaZdanowicz Ok, spróbuję tak zrobić i zobaczymy, czy wydajnościowo też będzie ok. Ma to znaczenie szczególnie przy generowaniu CSV, bo nie ma tam paginacji.

AgnieszkaZdanowicz commented 3 years ago

Jednak będę wrzucać tutaj od razu, jak znajdę, że raport w części "otrzymano odpowiedź" nie zgadza się z rzeczywistością (bo teraz nie mogę znaleźć moich poprzednich znalezisk):

1. https://fedrowanie.siecobywatelska.pl/sprawy/jawnosc-w-spolkach-komunalnych-1228 - tutaj jest tylko potwierdzenie odebrania wiadomości, a w raporcie pokazuje się jako "otrzymano odpowiedź"

https://fedrowanie.siecobywatelska.pl/sprawy/czy-urzedy-gmin-przekazuja-bez-podstawy-prawnej-listy-wyborcow-201 - tutaj Kasia wrzuciła przesyłkę, która przyszła pocztą tradycyjną (poprzez opcję "dodaj przesyłkę pocztową", więc jest odpowiedź. A raport pokazuje, że nie otrzymano odpowiedzi. To samo tutaj: https://fedrowanie.siecobywatelska.pl/sprawy/czy-urzedy-gmin-przekazuja-bez-podstawy-prawnej-listy-wyborcow-2405

Więc chyba to jest ten problem, że raport nie uwzględnia przesyłek pocztowych, jako odpowiedź na wniosek, a powinien.

ad-m commented 3 years ago

Zawartość zawiera:

Reporting-UA: Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:78.0) Gecko/20100101 Thunderbird/78.7.1
Final-Recipient: rfc822;biuro@likom.biz
Original-Message-ID: <161325720153.64106.4700763427910489390@fedrowanie.siecobywatelska.pl>
Disposition: manual-action/MDN-sent-manually; displayed
AgnieszkaZdanowicz commented 3 years ago

Kolejną sytuację znalazłam, że urząd odpowiedział, ale w raporcie jest oznaczenie "brak odpowiedzi": Olsztynek

https://fedrowanie.siecobywatelska.pl/sprawy/czy-urzedy-gmin-przekazuja-bez-podstawy-prawnej-listy-wyborcow-2370

image

AgnieszkaZdanowicz commented 3 years ago

A tu z kolei jest, że otrzymaliśmy odpowiedź, a dostaliśmy tylko potwierdzenie dotarcia naszego wniosku: https://fedrowanie.siecobywatelska.pl/sprawy/czy-urzedy-gmin-przekazuja-bez-podstawy-prawnej-listy-wyborcow-1138

AgnieszkaZdanowicz commented 3 years ago

Tu podobnie, chyba potwierdzenie dostarczenia system uznał za odpowiedź, więc w raporcie jest, że odpowiedziano, a odpowiedzi w rzeczywistości nie dostaliśmy:

https://fedrowanie.siecobywatelska.pl/sprawy/czy-urzedy-gmin-przekazuja-bez-podstawy-prawnej-listy-wyborcow-180

https://fedrowanie.siecobywatelska.pl/sprawy/czy-urzedy-gmin-przekazuja-bez-podstawy-prawnej-listy-wyborcow-1393

https://fedrowanie.siecobywatelska.pl/sprawy/czy-urzedy-gmin-przekazuja-bez-podstawy-prawnej-listy-wyborcow-845

https://fedrowanie.siecobywatelska.pl/sprawy/czy-urzedy-gmin-przekazuja-bez-podstawy-prawnej-listy-wyborcow-1093

https://fedrowanie.siecobywatelska.pl/sprawy/czy-urzedy-gmin-przekazuja-bez-podstawy-prawnej-listy-wyborcow-1990

https://fedrowanie.siecobywatelska.pl/sprawy/czy-urzedy-gmin-przekazuja-bez-podstawy-prawnej-listy-wyborcow-1808

https://fedrowanie.siecobywatelska.pl/sprawy/czy-urzedy-gmin-przekazuja-bez-podstawy-prawnej-listy-wyborcow-2007

https://fedrowanie.siecobywatelska.pl/sprawy/czy-urzedy-gmin-przekazuja-bez-podstawy-prawnej-listy-wyborcow-1694

https://fedrowanie.siecobywatelska.pl/sprawy/czy-urzedy-gmin-przekazuja-bez-podstawy-prawnej-listy-wyborcow-2408

https://fedrowanie.siecobywatelska.pl/sprawy/czy-urzedy-gmin-przekazuja-bez-podstawy-prawnej-listy-wyborcow-2168

dzejkobi commented 3 years ago

Ok, będę to sprawdzał.

dzejkobi commented 3 years ago

@AgnieszkaZdanowicz

  1. Problem z ignorowaniem ręcznie dodanych przesyłek powinien być już rozwiązany.

  2. Status sprawy aktualizuje się, kiedy przychodzi nowy list lub kiedy zostaje dodana przesyłka, stąd część spraw miała nieaktualny status (jeśli zostały utworzone przed dodaniem tej funkcjonalności i od tego czsu nie pojawiła się żadna nowa korespondencja) - zaktualizowałem wszystkie sprawy z konsoli i teraz status powinien być już poprawny oraz aktualizować się na bieżąco.

    Poprawione: https://fedrowanie.siecobywatelska.pl/sprawy/czy-urzedy-gmin-przekazuja-bez-podstawy-prawnej-listy-wyborcow-201 https://fedrowanie.siecobywatelska.pl/sprawy/czy-urzedy-gmin-przekazuja-bez-podstawy-prawnej-listy-wyborcow-2405 https://fedrowanie.siecobywatelska.pl/sprawy/czy-urzedy-gmin-przekazuja-bez-podstawy-prawnej-listy-wyborcow-2370

  3. Zdarza się, że system uznaje potwierdzenie dostarczenia wiadomości za normalną odpowiedź. Te przypadki nadal pozostają nie rozwiązane:

https://fedrowanie.siecobywatelska.pl/sprawy/jawnosc-w-spolkach-komunalnych-1228 https://fedrowanie.siecobywatelska.pl/sprawy/czy-urzedy-gmin-przekazuja-bez-podstawy-prawnej-listy-wyborcow-1138

https://fedrowanie.siecobywatelska.pl/sprawy/czy-urzedy-gmin-przekazuja-bez-podstawy-prawnej-listy-wyborcow-180 https://fedrowanie.siecobywatelska.pl/sprawy/czy-urzedy-gmin-przekazuja-bez-podstawy-prawnej-listy-wyborcow-1393 https://fedrowanie.siecobywatelska.pl/sprawy/czy-urzedy-gmin-przekazuja-bez-podstawy-prawnej-listy-wyborcow-845 https://fedrowanie.siecobywatelska.pl/sprawy/czy-urzedy-gmin-przekazuja-bez-podstawy-prawnej-listy-wyborcow-1093 https://fedrowanie.siecobywatelska.pl/sprawy/czy-urzedy-gmin-przekazuja-bez-podstawy-prawnej-listy-wyborcow-1990 https://fedrowanie.siecobywatelska.pl/sprawy/czy-urzedy-gmin-przekazuja-bez-podstawy-prawnej-listy-wyborcow-1808 https://fedrowanie.siecobywatelska.pl/sprawy/czy-urzedy-gmin-przekazuja-bez-podstawy-prawnej-listy-wyborcow-2007 https://fedrowanie.siecobywatelska.pl/sprawy/czy-urzedy-gmin-przekazuja-bez-podstawy-prawnej-listy-wyborcow-1694 https://fedrowanie.siecobywatelska.pl/sprawy/czy-urzedy-gmin-przekazuja-bez-podstawy-prawnej-listy-wyborcow-2408 https://fedrowanie.siecobywatelska.pl/sprawy/czy-urzedy-gmin-przekazuja-bez-podstawy-prawnej-listy-wyborcow-2168

Prawdopodobnie można uszczelnić wykrywanie wiadomości automatycznych, ale trzeba będzie ten problem dokładniej zbadać, bo w tej chwili korzystam z istniejącego mechanizmu wykrywającego i jak widać nie wszystko wyłapuje.

AgnieszkaZdanowicz commented 3 years ago

@dzejkobi dzięki!

Ad1. Wygląda, że już wszystko jest ok, sprawdziłam na jednym z monitoringów

Ad2. Jest ok

Ad3. to nie zamykam tego issue

AgnieszkaZdanowicz commented 3 years ago

hej, dorzucam kolejny przykład złego przyporządkowania przez raport odpowiedzi - to znaczy spłynęła odpowiedź (nawet 3 razy), a raport nadal pokazuje, że gmina nie odpowiedziała: https://fedrowanie.siecobywatelska.pl/sprawy/bitwa-o-wozy-strazackie-43

dzemeuksis commented 1 year ago

@AgnieszkaZdanowicz , w tym ostatnim przykładzie obecnie raport pokazuje, że gmina odpowiedziała (wprawdzie nadal ma tag "brak odpowiedzi", ale tagi użytkownik przypisuje a nie system).

Tutaj było wiele wątków w tym temacie i chyba większość (jak nie wszystkie) została zrealizowana. Może zamknijmy i ewentualne problemy zgłaszajmy jako nowe tickety?

AgnieszkaZdanowicz commented 1 year ago

Sama nie wiem. Weszłam sobie w najnowszy monitoring: https://fedrowanie.siecobywatelska.pl/monitoringi/cyfryzacja-urzedow-2023-pilotaz i na pierwszej stronie idąc od dołu są wątki z samymi potwierdzeniami odczytania naszego wniosku.

Zaczęłam je sprawdzać na raporcie i wszystkie są dobrze oznaczone przez system, poza Szczecinem:

image

Być może trudno będzie jeszcze bardziej udoskonalić system i nie ma sensu pakować w to energii. Ale z drugiej strony szkoda, że jednak nie do końca możemy ufać tym wynikom i coś nam przez to może umknąć.

dzemeuksis commented 1 year ago

Chodzi o to, że ze Szczecina tak naprawdę nie ma odpowiedzi w tym przypadku a jedynie potwierdzenie? To faktycznie problematyczne. @PiotrIw , zerkniesz? Porównaj stan faktyczny: https://fedrowanie.siecobywatelska.pl/sprawy/cyfryzacja-urzedow-2023-pilotaz-42 Z raportowanym na zrzucie wyżej (albo tutaj).

AgnieszkaZdanowicz commented 1 year ago

@dzemeuksis dokładnie!

PiotrIw commented 1 year ago

@dzemeuksis @AgnieszkaZdanowicz to może dopóki nie znajdziemy metody lepszej klasyfikacji potwierdzenie/odpowiedzi to dodam w którymś miejscu (w sprawie?) możliwość zmiany oznaczenia (potwierdzenie tak/nie, odpowiedź tak/nie) nadanego przez automat? Oczywiście można takie akcje użytkowników logować podobnie jak zrobiłem to na poradni.

dzemeuksis commented 1 year ago

Według mnie, to dobry pomysł.

PiotrIw commented 1 year ago

możliwość zmiany oznaczenia (potwierdzenie tak/nie, odpowiedź tak/nie) nadanego przez automat zaimplementrowana w v1.1.14

PiotrIw commented 1 year ago

@AgnieszkaZdanowicz @dzemeuksis - dajcie znać czy coś jeszcze by się przydało ponad poniższe-> z tabeli monitoringów (tam jest podsumowanie wniosków per monitoring) mozna wejść w tabelę szczegółową dla każdego monitoringu i tam sortować/filtrować sobie sczegóły i podsumowania dla poszczególnego monitoringu ponadto daodałem proste tabele podsumowujące na ekranach głównym: image i w monitoringu : image

AgnieszkaZdanowicz commented 1 year ago

@PiotrIw nic więcej mi na razie nie przychodzi do głowy, ale wygląda to super i ta tabela to jest coś, o czym nie pomyśleliśmy, a to podsumowywania danych, czy nawet szybkiego spojrzenia na dane ilościowe, na pewno bardzo się przyda!

Co do oznaczania ręcznie, czy odpowiedzieli/potwierdzili odbiór w sytuacji, kiedy system źle zakwalifikuje daną wiadomość, to jestem jak najbardziej za.