search

opendatasicilia / tansignari

"T'ansignari e t'appeddiri"
http://tansignari.opendatasicilia.it
Creative Commons Attribution 4.0 International
18 stars 10 forks source link

Come alimentare una umap da form e tabella online #140

Open simomus opened 4 years ago

simomus commented 4 years ago

Buongiorno a tutt*, vi scrivo perché avrei l'esigenza di incrementare in modo collaborativo una umap a partire da un sito in wordpress. Per capirci, il progetto è questo: www.ressroma.it. Come vedete l'esigenza è di abilitare autosegnalazioni a partire dal sito facendo accedere tramite i bottoni collocati sotto alla mappa a un form incorporato in una pagina separata. Sto valutando tutte le soluzioni possibili, tra cui, Google Forms, Framaform e KoBOToolbox. L'unico di questi tool che mi pare consenta di attivare una tabella online pubblicabile che si aggiorna ad ogni modifica e che può essere collegata a uMap mi pare sia Google Forms. Il problema è che mi pare che questi aggiornamenti non vengono automaticamente recepiti dalla uMap, e soprattutto il Google Form non agevola la georeferenziazione all'interno del modulo. La georeferenziazione è invece molto facilitata in KoBoToolbox (come vede nell'immagine sotto), che mi pare uno strumento notevolissimo, ma non riesco proprio a capire se, come nel caso del form di Google, si possa incorporare il Csv nelle impostazioni dei dati remoti della uMap. Tra i settings, è possibile attivare dei REST Service, ma non capisco bene se e come la funzione può essere applicata a una uMap (immagine in basso). Insomma, a parte queste mie ricognizioni parziali, conoscete un sistema semplice che possa risolvere il mio problema? Ovviamente l'obiettivo è quello di evitare di aggiornare costantemente la uMap inserendo manualmente le modifiche nella tabella collegata alla mappa. Poi, ultima cosa: a parte i magnifici bot di Piersoft (per i quali ahimé bisogna essere Piersoft), esistono app accessibili che consentano di triangolare da mobile con una tabella collegata a uMap? Ho letto dei post al proposito in https://osmtreeathlon.blogspot.com ma vanno troppo oltre le mie scarne competenze. Grazie infinite! immagine immagine

aborruso commented 4 years ago

Ciao @simomus e benvenuto.

Potresti iniziare dal valutare proprio una soluzione già presente qui http://tansignari.opendatasicilia.it/it/latest/ricette/opendatakit/ona/Modulo_ONA_raccola_dati_geografici_collegato_a_fogli_Google.html

cirospat commented 4 years ago

ciao @simomus e per continuare dopo quello che ha scritto @aborruso potresti seguire questo tutorial per collegare un Google spreadsheet ad uMap: https://cirospat.readthedocs.io/it/latest/tutorial-googledrive-to-umap.html

simomus commented 4 years ago

@aborruso e @cirospat vi ringrazio tantissimo, il post nel blog tansignari era veramente quello che cercavo - a proposito è il più bel titolo di blog che conosca :) Quanto all'altro post di Ciro, avevo già attinto da tempo (grazie retrospettivamente!)... Però (e scusate se sono un po' scassaballe), la soluzione ONA per quanto comoda nell'immediato, in prospettiva non è ideale in quanto commerciale. C'è un limite di 10 form e di 500 submission. Mi direte: e quante ne vuoi... Ma al di là della mia trascurabile esigenza non-profit (la RESS cui accennavo sopra è totalmente non-profit, e però rischia di avere numeri più alti delle 500 submission), credo sarebbe interessante capire se con il servizio di KoBoToolbox (https://www.kobotoolbox.org) si riesca a fare la stessa operazione di collegarne i form tramite api agli sheet di google, semplicemente perché si tratta di un progetto dell'Onu totalmente open e totalmente free per le organizzazioni umanitarie e non profit. Pensate a quanto sarebbe importante e utile in futuro una soluzione del genere (saldare KoBoToolbox e uMap) qualora si riuscisse a realizzare. Ancora meglio se il "passante" non fosse Google (ma qui rischio di essere menato...:)))). Istruzioni sulle Api si trovano qui: https://support.kobotoolbox.org/en/articles/3766944-using-the-api e qui: https://community.kobotoolbox.org/t/kobo-api-examples-using-new-kpi-endpoints/2742. Ma io sono veramente una zappa sul tema Api, e quindi mi sono inchiodato. Riuscite a darmi una mano (ovviamente se ritenete che il mio ragionamento sia corretto)? Un enorme grazie in anticipo!

aborruso commented 4 years ago

@simomus si può fare sicuramente anche con kobotoolbox.

Però guarda bene: mi sembra che il limite di ONA di cui parli sia legato a form e submission privati. Nel caso di cui parli (e nella gran parte) non credo ti servano che sia privati.

Nei form che ho messo in piedi in questi anni, per varie azioni civiche, erano sempre form pubblici.

simomus commented 4 years ago

Grazie @aborruso, ho verificato e se non sbaglio i limiti sono quelli che ho indicato sopra anche per i progetti aperti. Le organizzazioni non profit hanno la possibilità di partecipare a un grant e ottenere da ONA accesso libero a tutti i servizi. Potrei anche provarci, ma spianare la strada verso KoBoToolbox mi sembrerebbe per il futuro, non solo per me, la soluzione ottimale. Nel frattempo ho capito che entrambi i servizi si basano sullo stesso open software (https://enketo.org/about).

aborruso commented 4 years ago

@simomus mi dici dove guardi i limiti? Perché io leggo quello che vedi sotto. Puoi chiedere al supporto tecnico per sicurezza.

Tutti questi prodotti sono basati sulla straordinaria galassia di https://opendatakit.org/

Ripeto si può fare pure con KoBoToolbox, ma se una soluzione c'è e fa la gran parte di quello che serve, prenderei la strada nota.

image

simomus commented 4 years ago

@aborruso scusami! Hai ragione ho interpretato male, in realtà "Ona offers free and unlimited submissions and forms on public projects". Procedo con Ona e vi do feedback sull'esito. Grazie ancora!

simomus commented 4 years ago

@aborruso e @cirospat scusate ancora, ho utilizzato ONA, e in effetti è ottimo, forse anche meglio di KoBo, e ho seguito passo passo le istruzioni di Ciro. Quando sono però arrivato all'ultimo passaggio per il setting dell'attivatore Google non mi consente di settare la funzione (importdata) dicendomi che non è stata verificata l'app. Vi faccio lo screenshot della risposta di Google. Avete idea di quale possa essere il problema? immagine

simomus commented 4 years ago

Buongiorno @aborruso e @cirospat, ho risolto la questione della approvazione, anche se il settaggio dell'attivatore si discosta un po' dalle istruzioni del post. Nel post c'è indicato di settare in questo modo la funzione: "Scegli quale funzione eseguire: importdata", mentre nel form di settaggio attuale (se ho fatto tutto come si deve) c'è come unica opzione il parametro "myFunction". Se questo settaggio va bene, e mi pare vada bene perché ho compilato un nuovo form su ONA e i dati sono stati immediatamente e correttamente trasmessi allo sheet di google, ci sono comunque un paio di cose problematiche per far funzionare ONA in modo ottimale e riuscire a integrare lo sheet Google nella uMap. La prima problematica è relativa alle coordinate, nello sheet latitudine e longitudine sono accoppiate in un'unica colonna, come da immagine sotto, e non credo che uMap così le legga. Inoltre non capisco le due colonne a destra della prima colonna con le coordinate nel sistema WGS84 che tipo di coordinate spaziali indica. Secondo problema, che sembra un dettaglio ma non lo è per nulla. Nel modulo del form che consente di indicare la posizione geografica c'è il campo per la ricerca per indirizzi, ma ahimé non funziona, mentre nel form del servizio KoBotoolbox funzionava molto bene. Non è un limite da poco perché se si affida tutto al posizionamento manuale nella compilazione dei form ne escono fuori coordinate prevalentemente da ridefinire. Va bene per l'assillo, ma spero che questa fatica torni utile a molte persone. Un caro saluto, St immagine

aborruso commented 4 years ago

@simomus se condividi il foglio ti mostro come applicare un formula che separe lat e lon

Sul malfunzionamento di cui parli, hai scritto al loro supporto tecnico?

simomus commented 4 years ago

@aborruso ecco il link con accesso libero [https://docs.google.com/spreadsheets/d/1yydB-HeQfPwYjkNIJXDN7pntC1KsSkk5g2Sc-Lp03B0/edit?usp=sharing], immagino che una volta applicata la formula poi la distribuzione su due colonne avviene in automatico con la trasmissione dei dati da ONA. Giusto? Quanto al problema tecnico hai ragione, procedo con la segnalazione. E ancora grazie!

cirospat commented 4 years ago

ciao Stefano ho operato nella tabella. In una colonna applica la formula =split(C2," ") e vedrai che il contenuto della colonna dove è stata applicata la formula genera altre colonne con i dati splittati.

Spero aver risolto il tuo problema :)

Ciro Spataro cirospat@gmail.com cirospat.readthedocs.io

Il giorno ven 17 apr 2020 alle ore 10:05 simomus notifications@github.com ha scritto:

@aborruso https://github.com/aborruso ecco il link con accesso libero [ https://docs.google.com/spreadsheets/d/1yydB-HeQfPwYjkNIJXDN7pntC1KsSkk5g2Sc-Lp03B0/edit?usp=sharing], immagino che una volta applicata la formula poi la distribuzione su due colonne avviene in automatico con la trasmissione dei dati da ONA. Giusto? Quanto al problema tecnico hai ragione, procedo con la segnalazione. E ancora grazie!

— You are receiving this because you were mentioned. Reply to this email directly, view it on GitHub https://github.com/opendatasicilia/tansignari/issues/140#issuecomment-615106180, or unsubscribe https://github.com/notifications/unsubscribe-auth/AA4VLVJHCXDLU36GGXF7GITRNAEVJANCNFSM4MH3T6TQ .

simomus commented 4 years ago

@aborruso e @cirospat funziona alla grande grazie! Ho compilato un altro form e la trasmissione è andata liscissima. Per l'altro problema invece ahimé al momento non ci sono soluzioni. Mi hanno risposto così: immagine Quanto al loro suggerimento di spostarmi su Odk (che è il progetto che suggerivi sopra, Andrea), ho dato un occhiata ma mi pare troppo complicato per me.

simomus commented 4 years ago

ciao Stefano ho operato nella tabella. In una colonna applica la formula =split(C2," ") e vedrai che il contenuto della colonna dove è stata applicata la formula genera altre colonne con i dati splittati. Spero aver risolto il tuo problema :) Ciro Spataro cirospat@gmail.com cirospat.readthedocs.io Il giorno ven 17 apr 2020 alle ore 10:05 simomus notifications@github.com ha scritto: … @aborruso https://github.com/aborruso ecco il link con accesso libero [ https://docs.google.com/spreadsheets/d/1yydB-HeQfPwYjkNIJXDN7pntC1KsSkk5g2Sc-Lp03B0/edit?usp=sharing], immagino che una volta applicata la formula poi la distribuzione su due colonne avviene in automatico con la trasmissione dei dati da ONA. Giusto? Quanto al problema tecnico hai ragione, procedo con la segnalazione. E ancora grazie! — You are receiving this because you were mentioned. Reply to this email directly, view it on GitHub <#140 (comment)>, or unsubscribe https://github.com/notifications/unsubscribe-auth/AA4VLVJHCXDLU36GGXF7GITRNAEVJANCNFSM4MH3T6TQ .

@cirospat se ho capito bene hai prima inserito le due colonne a destra della colonna con entrambe le coordinate e poi hai applicato la formula in una delle celle della nuova colonna. Quello che non ho capito bene è se il posizionamento della formula, cioè la cella in cui l'hai messa, è casuale o segue un criterio.
immagine Altra e (giuro) ultimissima cosa, anche per @aborruso - poi sparisco per un po... :) Ero arrivato in coda a tutto, felice di poter finalmente stappare lo spumante dopo il traguardo (in vostro onore ovviamente...) e invece no. Sono andato a cercare l'iframe del modulo per embeddarlo nel sito e non l'ho trovato da nessuna parte. Chiedo allora all'assistenza di ONA e mi rispondono in sostanza di seguire la guida per l'uso delle api a questo link: https://apidocs.enketo.org/v2#/get-survey-iframe Inutile dirvi che rimesso di fronte alle api sono stato assalito dal terrore. Ho letto e riletto decine di volte ma alla fine ho gettato la spugna. Se la cosa è più semplice di quanto non sembri a me e non vi costa troppo sforzo mi potreste dare istruzioni più friendly per ottenere l'iframe del modulo? E infine, veramente ultimissima informazione. Una volta montato questo sistemino mi sapreste dire se secondo voi i dati acquisiti tramite modulo, una volta trasmessi allo sheet di Google, è possibile modificarli manualmente direttamente sullo sheet qualora vi fossero correzioni da apportare? Fine definitiva delle richieste, grazie infinite!

simomus commented 4 years ago

Ah, comunque mi hanno informato da ONA che i tecnici stanno cercando di risolvere il bug sul sistema di posizionamento che gli ho segnalato.

cirospat commented 4 years ago

Una volta montato questo sistemino mi sapreste dire se secondo voi i dati acquisiti tramite modulo, una volta trasmessi allo sheet di Google, è possibile modificarli manualmente direttamente sullo sheet qualora vi fossero correzioni da apportare?

rispondo a questa domanda: Google sheet fa =importdata e quindi non puoi modificare i dati nel foglio dove fa =importdata perchè è un automatismo, quindi se modifichi un valore in una cella ti salta tutto il foglio. Almeno per quella che è la mia esperienza.

Ciro Spataro cirospat@gmail.com cirospat.readthedocs.io

Il giorno ven 17 apr 2020 alle ore 23:03 simomus notifications@github.com ha scritto:

ciao Stefano ho operato nella tabella. In una colonna applica la formula =split(C2," ") e vedrai che il contenuto della colonna dove è stata applicata la formula genera altre colonne con i dati splittati. Spero aver risolto il tuo problema :) Ciro Spataro cirospat@gmail.com cirospat.readthedocs.io Il giorno ven 17 apr 2020 alle ore 10:05 simomus notifications@github.com ha scritto: … <#m6193420556597923642> @aborruso https://github.com/aborruso https://github.com/aborruso ecco il link con accesso libero [ https://docs.google.com/spreadsheets/d/1yydB-HeQfPwYjkNIJXDN7pntC1KsSkk5g2Sc-Lp03B0/edit?usp=sharing], immagino che una volta applicata la formula poi la distribuzione su due colonne avviene in automatico con la trasmissione dei dati da ONA. Giusto? Quanto al problema tecnico hai ragione, procedo con la segnalazione. E ancora grazie! — You are receiving this because you were mentioned. Reply to this email directly, view it on GitHub <#140 (comment) https://github.com/opendatasicilia/tansignari/issues/140#issuecomment-615106180>, or unsubscribe https://github.com/notifications/unsubscribe-auth/AA4VLVJHCXDLU36GGXF7GITRNAEVJANCNFSM4MH3T6TQ .

@cirospat https://github.com/cirospat se ho capito bene hai prima inserito le due colonne a destra della colonna con entrambe le coordinate e poi hai applicato la formula in una delle celle della nuova colonna. Quello che non ho capito bene è se il posizionamento della formula, cioè la cella in cui l'hai messa, è casuale o segue un criterio. [image: immagine] https://user-images.githubusercontent.com/53560136/79613359-ad8d7980-80fe-11ea-9c91-68604a8cfaea.png Altra e (giuro) ultimissima cosa, anche per @aborruso https://github.com/aborruso - poi sparisco per un po... :) Ero arrivato in coda a tutto, felice di poter finalmente stappare lo spumante dopo il traguardo (in vostro onore ovviamente...) e invece no. Sono andato a cercare l'iframe del modulo per embeddarlo nel sito e non l'ho trovato da nessuna parte. Chiedo allora all'assistenza di ONA e mi rispondono in sostanza di seguire la guida per l'uso delle api a questo link: https://apidocs.enketo.org/v2#/get-survey-iframe Inutile dirvi che rimesso di fronte alle api sono stato assalito dal terrore. Ho letto e riletto decine di volte ma alla fine ho gettato la spugna. Se la cosa è più semplice di quanto non sembri a me e non vi costa troppo sforzo mi potreste dare istruzioni più friendly per ottenere l'iframe del modulo? E infine, veramente ultimissima informazione. Una volta montato questo sistemino mi sapreste dire se secondo voi i dati acquisiti tramite modulo, una volta trasmessi allo sheet di Google, è possibile modificarli manualmente direttamente sullo sheet qualora vi fossero correzioni da apportare? Fine definitiva delle richieste, grazie infinite!

— You are receiving this because you were mentioned. Reply to this email directly, view it on GitHub https://github.com/opendatasicilia/tansignari/issues/140#issuecomment-615462471, or unsubscribe https://github.com/notifications/unsubscribe-auth/AA4VLVNUAHHGQFSPX3J2NWLRNC725ANCNFSM4MH3T6TQ .

aborruso commented 4 years ago

@simomus come è finita? Sei riuscito a ottenere quello che volevi?

simomus commented 4 years ago

@cirospat scusa il ritardo, grazie mille per l'ulteriore indicazione. @aborruso mi sono insabbiato. Per due motivi:

  1. difficoltà a maneggiare le api di ONA e ricavare l'iframe per embedding del form nel sito;
  2. il problema che mi ha chiarito Ciro sulla impossibilità di modificare la tabella online (sheet di Google) collegata alla mappa. Il primo problema facendomi dare una mano prima o poi lo risolvo ma il secondo è più complicato perché significa che non posso correggere e validare le informazioni da crowdsourcing. Stiamo pensando se non convenga fare due layer, uno per le segnalazioni da crowdsourcing e uno per quelle validate, spostando di volta in volta le segnalazioni dall'uno all'altro dopo verifiche periodiche. Ma a questo punto non sarebbe molto diverso integrare manualmente i dati alla mappa di volta in volta dalla tabella del form (scollegata dalla mappa). L'unico vantaggio di fare il doppio layer sarebbe quello di gratificare chi compila il form mostrando il feedback immediato sulla mappa, che non è del tutto trascurabile ma non so ancora se è così utile da giustificare tutto il marchingegno (un po complicato). Non so, voi vi siete mai posti il problema? O avete sempre un'api nel cassetto che vi svolta la vita? :))) Certo, dopo questa fatica, anche vostra, mi piacerebbe arrivare in fondo e farla questa cosa... Altro problema, prima di chiudere, sono le continue segnalazioni di errore che mi da google sullo script in questione... Avete idea del perché?
    immagine

Grazie ancora per la pazienza e buona serata!