OpendataBassaRomagna

[eccoilmoro]

I confini dei Comuni italiani al 01/07/2016

Open data, big data, data analysis e civic hacking nella Bassa Romagna. Per uno sviluppo della cultura dei dati che ci riguardano.

[eccoilmoro]

Gli open data della Bassa Romagna.

[eccoilmoro]

How to map the photos of your city like OldNYC does ~ opendatabassaromagna

[eccoilmoro]

OldRA, una mappa di foto storiche della città ~ opendatabassaromagna

[eccoilmoro]

Un esercizio di mappatura su Openstreetmap ~ opendatabassaromagna

[eccoilmoro]

Costo dissesto idrogeologico

[eccoilmoro]

Come installare il proprio server GPS

I dati georeferenziati rappresentano una delle fonti più importanti di conoscenza nel flusso di informazioni che scorre in rete. I dati sulla posizione in tempo reale di persone, mezzi, dispositivi, oggetti sono anche la base sulla quale si possono costruire servizi utili, a volte indispensabili, per le comunità. Per questo mi è venuta la curiosità di installare e provare un server GPS. Si tratta di sistema in grado di tracciare la posizione, in tempo reale, di qualsiasi dispositivo possa comunicare con esso, nel mio caso un normalissimo smartphone. Ho scelto di provare OpenGTS, un server opensource scaricabile e installabile liberamente e che prevede anche una versione Enterprise a pagamento dotata di diverse features aggiuntive, ritengo però che la versione base sia già sufficiente per molti scopi. Per la parte client ho installato sul telefonino CellTracGTS/Free per Android. Ecco la traccia di un giro di prova che ho fatto per testare il sistema :

Un altro giro visualizzato su Google Earth :

In questo post spiegherò quali sono i passi da compiere per eseguire l'installazione base, ma per i più pigri metto a disposizione il server già configurato e funzionante come macchina virtuale VMWare ;) Fedora22-64bit-OpenGTS2.5.9.zip .

INSTALLAZIONE DEL SERVER

1) Scaricare l'ultima versione di Fedora 22 Server e installarla su una macchina virtuale VMWare. La versione server di Fedora 22 non prevede una interfaccia grafica, che si può comunque aggiungere con il comando sudo yum groupinstall "Fedora Workstation" --skip-broken 2) Installare Java. sudo yum install java-1.8.0-openjdk-devel.x86_64 export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.51-5.b16.fc22.x86_64 cd /usr/local ln -s $JAVA_HOME java 3) Installare il supporto JavaMail Scaricarlo da https://java.net/projects/javamail/pages/Home cd sudo cp javax.mail.jar $JAVA_HOME/jre/lib/ext/. 4) Installare Ant sudo yum install ant 5) Installare Tomcat 7, NON installare Tomcat 8 poichè non è compatibile Per l'installazione seguire questo tutorial Poi eseguire export CATALINA_HOME=/usr/local/apache-tomcat-7.0.64/ cd /usr/local ln -s $CATALINA_HOME tomcat Ricordare poi di modificare il file di configurazione server.xml avendo cura di specficare : address="0.0.0.0"/> E' importante aprire il firewall per consentire connessioni dall'esterno. Per farlo occorre installare l'applicazione Firewall (fare un semplice 'Cerca' sul menù start di Fedora) e poi nelle regole consentire l'accesso http. 6) Installare Apache POI Scaricarlo da https://poi.apache.org/download.html cd sudo cp poi-3.12-20150511.jar $JAVA_HOME/jre/lib/ext/ 7) Installare HTTP Core Scaricarlo da http://hc.apache.org/httpcomponents-core-ga/download.html cd sudo cp httpcore-4.4.1.jar $JAVA_HOME/jre/lib/ext/ 8) Installare Twilio Scaricarlo da https://www.twilio.com/docs/java/install cd sudo cp twilio-java-sdk-3.3.12.jar $JAVA_HOME/jre/lib/ext/ 9) Installare MySQL sudo yum install mariadb-galera-server.x86_64 sudo systemctl enable mariadb.service sudo yum install mysql-connector-java cd sudo cp mysql-connector-java.jar $CATALINA_HOME/lib sudo cp mysql-connector-java.jar $JAVA_HOME/jre/lib/ext/mysql-connector-java-5.1.xx.jar 10) Installare OpenGTS Scaricarlo da http://sourceforge.net/projects/opengts/files/latest/download cd /usr/local su root /usr/local unzip /11) Inizializzare il database e verifica della configurazione cd $GTS_HOME bin/initdb.sh -rootUser=root bin/checkInstall.sh 12) Creazione dell'utente amministratore bin/admin.sh Account -account=sysadmin -pass=password -create 13) Installazione dei moduli cd $GTS_HOME cp build/track.war $CATALINA_HOME/webapps/ cp build/event.war $CATALINA_HOME/webapps/ cp build/gprmc.war $CATALINA_HOME/webapps/ A questo punto il server è installato e dovrebbe rispondere all'indirizzo http://localhost/track/Track, entrando con account=sysadmin user: password=password

INSTALLAZIONE DEL CLIENT

Il client CellTracGTS per Android può essere scaricato e installato da qui. Nella configurazione è necessario , nell'indirizzo del server, specificare l'indirizzo pubblico del server OpenGTS : http:///gprmc/Data Occorre poi entrare nel pannello di amministrazione sul server ed aggiungere il dispositivo client appena configurato, specificando l'ID univoco del device. Per scaricare il tracciato del dispositivo o verificarne la posizione in tempo reale si può fare una richiesta al server di questo tipo : http:///events/data.kml?a=sysadmin&p=password&d=

[eccoilmoro]

Lugo digitale

Come membro dell'associazione Digital Champions (iniziativa europea che ha lo scopo di diffondere e creare cultura digitale), che rappresento per la città di Lugo, ho partecipato ad un sondaggio promosso dall'associazione che vorrebbe fotografare lo stato del digitale sul territorio nazionale e i cui risultati verranno pubblicati in autunno. Condivido le risposte che ho fornito (in giallo) e le motivazioni relative al Comune di Lugo per raccogliere eventuali commenti e integrazioni alle informazioni in mio possesso.

Il tuo territorio ha problemi di connettività a internet?

 la connettività non supera i 10 Megabit

 la connettività non supera i 20 Megabit

 la connettività non supera i 100 Megabit

 Non abbiamo problemi di connettività

Lo stato della connettività può essere verificato con questo strumento : http://www.infratelitalia.it/comune/Lugo/. Esistono comunque un po' di documenti che fotografano lo stato della rete nella nostra area più in dettaglio : - http://www.webeconomyforum.it/portale/wef-partner/wp-content/uploads/sites/4/2013/12/WEF-Ravenna-Rapporto-provinciale-2013-banda-larga-e-ultra-larga.pdf, fonte Camera di Commercio - https://drive.google.com/open?id=0B285aRfZDUKiQkZQdkdYX3liVndQMVhsWVoyTDdPWFluSzg0 fonte Lepida Lo sviluppo della connettività nel Comune di Lugo è legato all'iniziativa privata oltre che alle misure del Piano Telematico Regionale. Attualmente esiste un progetto per portare una decina di punti di distribuzione di banda ultra larga sul territorio dell'Unione dei Comuni, nell'ambito del programma LaBassaRomagna2020, progetto del quale non vi è attualmente informazione sullo stato di realizzazione (è stato annunciato come operativo da Giugno 2016). Sul tema connettività trovo sarebbe molto utile riuscire a censire il territorio comunale (interrogando la cittadinanza) per capire dove si trovano i problemi di connettività che sono ancora presenti in alcune zone ma che non sono evidenti nei diversi studi elaborati , i quali si fermano ad un livello di dettaglio non sufficiente.

Il tuo sindaco o un assessore, ti ha incontrato come Digital Champion?

 si

 no

Il comune durante il 2014-15, ha organizzato o finanzia iniziative per aumentare la cultura digitale?

 no, non hai mai organizzato nulla

 si, ha organizzato 1 evento

 si, ha organizzato più eventi

 si, ha organizzato eventi e ha un'agenda digitale

Ci puoi lasciare una url di riferimento per quanto riguarda una iniziativa sul digitale del tuo comune?....................................................

Il Comune di Lugo non ha elaborato a oggi una Agenda Digitale, cosa che sarebbe a mio avviso auspicabile.

C'è e come ci si registra al wi fi pubblico nel comune di cui sei DC? * Descrivi il metodo di iscrizione: con sms? con mail? altro?

 non c'è nessun servizio di wi fi pubblico

 tramite servizi collegati al telefono mobile (es. sms o telefonata)

 tramite mail

 ci si registra passando per un ufficio

 tramite carta di credito

 il wi fi pubblico c'è e non è necessaria nessuna iscrizione

Altro: Si accede con le credenziali FedERa dopo essersi registrati qui : http://federazione.lepida.it/registrati

Il wi fi pubblico in piazza è un servizio molto utile e la copertura è buona. La procedura di accreditamento,  non gestita direttamente dal Comune ma da Lepida, potrebbe essere migliorata.

Il wi fi pubblico, per quanto tempo è accessibile al giorno?

 massimo 1h

 tra 1h e 2h

 tra 2h e 3h

 non c'è nessun limite

Hai verificato la qualità del sito web del tuo comune?

Sul sito web http://www.magellanopa.it/bussola/page.aspx?s=verifica-dlgs-33-2013&qs=i/IwZsp5t0Z/qJNdz1eumw== e inserendo direttamente l'indirizzo web relativo, puoi avviare un monitoraggio automatico sul sito web del tuo comune, in base agli adempimenti del Decreto legislativo n.33/2013.

 fino a 10 indicatori soddisfatti

 fino a 20 indicatori soddisfatti

 fino a 30 indicatori soddisfatti

 fino a 40 indicatori soddisfatti

 fino a 50 indicatori soddisfatti

 fino a 60 indicatori soddisfatti

 oltre 60 indicatori soddisfatti

La Bussola della Trasparenza è uno strumento che vorrebbe misurare se i siti della PA sono conformi alle regole di trasparenza del Dlgs 33. Purtroppo esso si ferma nell'analisi alla 'superficie' dei siti web non entrando nel dettaglio, quindi (non è il caso di Lugo) si potrebbe tranquillamente mettere in piedi un sito conforme secondo la Bussola ma che non rispetta il Dlgs 33.

Quali servizi on line ci sono? Puoi elencare i servizi on line del tuo comune? Cosa puoi fare nel sito web del comune?

 Servizi informativi per bandi e concorsi pubblici

 Piattaforma per consultazioni online

 Servizi informativi meteo e dati ambientali

 Servizi informativi traffico e mobilità

 Servizi informativi per situazioni di emergenza

 Pagamento online tasse e tariffe comunali

 Pagamento multe

 URP online

 Sportello Unico online

 Altro:

Ho risposto a questa domanda navigando un po' nella nuova pagina web che censisce i servizi online disponibili per i cittadini della Bassa Romagna : http://servizionline.labassaromagna.it/. E' molto importante a mio avviso che questa sezione si arricchisca col tempo di nuovi servizi quali il rilascio di certificati, consultazione graduatorie, prenotazione spazi, etc....

Il tuo comune è presente su facebook? E come viene gestito?

 non è presente su facebook

 è presente ma non risponde a commenti e domande

 è presente e risponde a commenti e domande

 è presente anche durante il weekend

 vorrei segnalare il mio comune come caso studio

Il tuo comune è presente su twitter e come viene gestito?

 non è presente su twitter

 è presente ma non risponde ai commenti

 è presente e risponde

 è presente e risponde anche durante i weekend

 vorrei segnalare il mio comune come caso studio

Nel tuo comune c'è qualche ente presente sui social media che vorresti segnalare?

 no, non c'è nulla da segnalare

 polizia Municipale

 biblioteca pubblica

 agenzia di promozione turistica

Altro : Teatro Comunale, Scuola di Musica

Ci puoi lasciare il link all'ente che hai segnalato?

https://www.facebook.com/pages/Biblioteca-Fabrizio-Trisi-Lugo https://www.facebook.com/pages/Teatro-Rossini-Lugo/ https://www.facebook.com/scuolamalerbi.dilugo

Ho segnalato le pagine di biblioteca, teatro e scuola di musica non perchè si distinguano per engagement o rilevanza ma mi sembra siano le uniche entità comunali presenti su social con pagine istituzionali.

Il tuo comune rilascia dati in formato aperto e riusabile (open data)?

 non esiste una sezione open data

 esiste una sezione open data ma ristretta solo agli adempimenti di legge sulla trasparenza

 esiste una sezione o portale open data con dataset di vari uffici

 esiste una sezione o portale open data con dataset di vari uffici aggiornati e con infografiche di supporto

 esiste una sezione o portale open data con dataset di vari uffici aggiornati e con infografiche di supporto. Il comune si attiva anche nell'incentivarne il riuso

 sul sito web http://www.dati.gov.it/, sono presenti open data del tuo comune

Il Comune ha avviato il portale open data nel mese di Febbraio 2015 ma risultano ancora pochi i dataset pubblicati. Il Comune non si è ancora dotato di linee guida per la pubblicazione di open data.

C'è una comunità che organizza Coderdojo? Quanto è attiva?

 non c'è nel mio comune

 c'è stata una iniziativa

 saltuariamente vengono organizzati

 1 volta al mese

 1 volta alla settimana

Ci sono iniziative di alfabetizzazione digitale?

 Non c'è stata nessuna iniziativa

 Saltuariamente vengono organizzati incontri ma nulla di continuativo

 Ci sono iniziative per l’alfabetizzazione verso giovani

 Ci sono iniziative per l’alfabetizzazione verso anziani

Per fornire la risposta ho pensato principalmente all' Università per adulti che da anni fornisce un supporto in questo senso e alla recente nascita di Fablab sul territorio dell' Unione. Non vi sono iniziative di alfabetizzazione promosse direttamente dall'amministrazione comunale, sebbene nel passato sia stato organizzato qualcosa nell'ambito del progetto regionale Pane e Internet; penso che occorrerebbe dare continutità a tali iniziative.

Puoi segnalare delle comunità di cittadini attivi nel promuovere il digitale? Puoi fare un elenco di gruppi formali o informali ma è necessario siano no profit

Non nel Comune ma a Cotignola e Bagnacavallo , Comuni della stessa Unione di Comuni : http://www.makerstation.it/ http://fab-lab-junior-bagnacavallo.blogspot.it/

Puoi segnalare quante startup innovative ci sono nella provincia del tuo comune?Sul sito http://startup.registroimprese.it/startup/index.html# puoi verificare quante startup sono presenti ai sensi del "Decreto crescita 2.0"

36

Puoi segnalare quanti incubatori registrati ci sono nel tuo comune? Sul sito http://startup.registroimprese.it/startup/index.html# puoi verificare quanti incubatori sono presenti ai sensi del "Decreto crescita 2.0"

1

Hai qualche url di riferimento per quanto riguarda la domanda precedente?

http://www.incubatoredilugo.it/

Occorre precisare che l'incubatore di Lugo non risulta dal registro imprese consultando http://startup.registroimprese.it/startup/index.html#

Ci sono altri spazi adibiti alla promozione del digitale come coworking, fablab e altro?

 si

 no

 Altro: Non nel Comune ma a Cotignola e Bagnacavallo , Comuni della stessa Unione di Comuni.

Hai qualche url di riferimento per quanto riguarda la domanda precedente?

http://www.makerstation.it/  http://fab-lab-junior-bagnacavallo.blogspot.it/

C'è qualche progetto di diffusione del digitale che vuoi segnalare?

hai la URL del progetto che hai segnalato nella domanda precedente?

Quale priorità segnali per il tuo comune?

 1 - aumentare l'alfabetizzazione digitale per categorie a rischio esclusione

 2 - aumentare l'alfabetizzazione digitale alle aziende

 3 - aumentare la connettività

 4 - supportare gli amministratori pubblici nella promozione del digitale

 5 - avviare coderdojo

 6 - aumentare le politiche a supporto delle startup

 7 - aumentare diffusione dei fablab e della digitalizzazione della manifattura

 8 - aumentare formazione di tecnologie open source

 9 - fare formazione sul crowdfunding

 10 - aumentare il wi fi pubblico

Sebbene siano tutte importanti le cose da fare ho cercato di dare un ordinamento per priorità alle misure che si potrebbero adottare.

[eccoilmoro]

Gli appalti 2014 della regione Emilia Romagna visualizzati

In occasione dell'hackathon organizzata dalla Regione Emilia Romagna per lavorare sui dati rilasciati sull'area Amministrazione Trasparente abbiamo lavorato sui dati di appalti e contratti assegnati dalla regione nel 2014. I dataset di orgine sono stati 2 : Bandi di gara e contratti e Società partecipate .

Il risultato dell'elaborazione è un treemap che mostra l'ammontare totale dei lavori in Euro assegnati alle imprese. Quando l'aggiudicatario dell'appalto è un raggruppamento di imprese è stata considerata solo la capofila nella visualizzazione, dunque l'importo dell'appalto è associato alla sola capofila, si può intervenire sull'apposito filtro (Mandataria Raggruppamento) per includere/escludere i  raggruppamenti dall'analisi. Un secondo filtro permette di capire la modalità di aggiudicazione dell'appalto , consentendo di capire quali lavori sono stati assegnati con bando e quali in modo discrezionale. Link per visualizzazione a schermo intero.

[eccoilmoro]

Le basi di dati della pubblica amministrazione

Da qualche mese a questa parte AGID ha messo a disposizione il catalogo che intende censire tutte le basi di dati delle pubbliche amministrazioni italiane. Un simile censimento è il primo passo necessario per valorizzare il patrimonio informativo pubblico, visto che i dati in esso contenuti sono un asset strategico fondamentale per lo sviluppo del paese. Da esso si potrebbe partire per fare un lavoro di unificazione e omogeneizzazione di basi di dati e applicazioni (attualmente molto diversi anche se usati per gli stesso processi....) nonchè a una definizione delle ontologie necessarie a descrivere la conoscenza della PA. Tutto questo si tradurrebbe in enormi vantaggi per cittadini e imprese che potrebbero così usufruire di servizi gestiti e offerti in modo uniforme e interoperabile in tutto il paese.

Durante il recente raduno #SOD15 abbiamo cominciato ad analizzare tale catalogo per capirne il contenuto e cercare di definirne una ontologia. Ci siamo però resi conto che la base di dati era molto più sporca del previsto e quindi poco usabile. Per questo ho cercato di continuare il lavoro di pulizia e mettere insieme qualche visualizzazione che aiutasse a chiarire i contenuti del catalogo. Sono partito dal dump SQL fornito da AGID ricreando il database Postgres di partenza e ho creato una fact-table esportabile in formato csv (questo perchè,come constatato durante l'hackathon,il csv presente sul sito di AGID ha grossi problemi di qualità dei dati). Il risultato è un csv che ho sottoposto a pulizia attraverso Google Refine cercando di uniformare le varie colonne. Ho notato che un parziale lavoro di pulizia era già stato compiuto da AGID poichè esistono colonne con suffisso "_new" più 'pulite' e su tali ho lavorato. Qui condivido i file dei vari step e anche il progetto Refine nel caso qualcuno volesse continuare nel lavoro di pulizia ancora necessario : https://drive.google.com/folderview?id=0B285aRfZDUKiflpkRmI3ZWs0WmxlekE5NU9wVFBKWEtCSGJwSUxFTkhyaUwtbS1TMF8xYm8&usp=sharing Infine ho creato una visualizzazione interattiva per capire la distribuzione del numero di basi di dati in base a un po' di parametri che mi sembrano interessanti e anche in modo georiferito sul territorio nazionale. Nella visualizzazione di dettaglio ho cercato di mostrare l'elenco delle singole basi di dati per area geografica. La visualizzazione mi ha permesso di constatare, per esempio, che purtroppo ad oggi l' Unione dei Comuni della Bassa Romagna risulta inadempiente nella comunicazione delle proprie basi di dati, come circa il 30% delle amministrazioni pubbliche (http://www.agid.gov.it/agenda-digitale/open-data/basi-dati-pa/amministrazioni-inadempienti). Nella visualizzazione aggregata (link per schermo intero)  sulla sinistra si può vedere quali sono le basi dati più diffuse per alcuni parametri, sulla destra si può osservare una mappa del numero di basi dati censite filtrando per paremetri (per esempio si può vedere dove è più diffusa una certa applicazione o dove opera maggiormente un certo produttore) :

Nella visualizzazione di dettaglio (link per schermo intero) , si possono vedere le basi di dati delle singole amministrazioni sul territorio :

[eccoilmoro]

Cosa è successo a #SOD15

Chi c'era e cosa abbiamo fatto al raduno del 27-28-29 Marzo a Bologna in tweet e immagini.

Foto di Francesco Pierantoni

[View the story "#SOD15" on Storify]

[eccoilmoro]

Alluvione in Romagna, una storymap

Ho raccolto un po' di foto e video relativi all'alluvione del 6-7 Febbraio in una storymap per cercare di dare un quadro d'insieme dell' evento sfortunato.

Una storymap consente di unire riferimenti geografici e materiale multimediale per raccontare una storia o descrivere eventi. Esistono diversi strumenti per costruire simili mappe, io ho utilizzato un servizio messo a disposizione da KnightLab basato sulla libreria Storymap.js appositamente sviluppata. In questo caso la storymap funziona da contenitore per le immagini pubbliche che ho raccolto prevalentemente da social network , i riferimenti geografici (vie, quartieri) sono spesso approssimativi per mancanza di informazioni dettagliate; in ogni caso il risultato è un riassunto interessante di cosa è accaduto. Clicca qui per vedere la storia a schermo intero

[eccoilmoro]

Scraping per genitori indaffarati

E' la prima volta che scopro il mondo dei compiti scolastici da genitore. Alla scuola primaria i compiti per casa e le comunicazioni scuola-famiglia non hanno cadenza regolare, in particolare per gli alunni che frequentano il 'tempo pieno'.  Inoltre i bambini non sempre ricordano che sia stato assegnato loro un compito (forse sto generalizzando troppo, nel mio caso comunque è così ;) ). Capita quindi che  ci si possa dimenticare di svolgere i compiti a casa... Per fortuna le insegnanti di mia figlia hanno avuto la bella idea di pubblicare su un blog i compiti assegnati (occorrerebbe  che fosse cosí per  tutte le sezioni), cosa che aiuta molto a non perdersi informazioni :http://maestravventura.altervista.org/. Però , siccome i compiti a casa sono per natura antipatici e perciò difficili da 'ricordare' ;) , ho pensato che sarebbe stato ancora meglio se mi fossero arrivati via mail e solo nel caso ve  ne fossero, senza costringermi a  verificare periodicamente il blog delle insegnanti. In figura il corpo della mail che ho creato:

Spiegherò  brevemente come ho ottenuto il risultato sperando di essere imitato da altri genitori troppo distratti per ricordarsi sempre dei compiti, anche perché si tratta di un hack veramente semplice. Come prima cosa ho catturato gli aggiornamenti delle 3 pagine web  che mi interessavano : compiti di italiano, compiti di matematica, comunicazioni. Per farlo ho utilizzato un servizio chiamato DeltaFeed che trasforma gli aggiornamenti di una pagina web in un feed RSS,  perciò ogni volta che la pagina o una sezione di essa  viene modificata esso genera un post RSS. In particolare ho creato un feed per ogni pagina, selezioando attraverso i selettori css esattamente la parte di pagina che volevo monitorare. I 3 feed che sono nati sono i seguenti : compiti di italiano RSS , compiti di matematica RSS, comunicazioni RSS. Il servizio DeltaFeed consente anche di ricevere i propri feed via mail, perciò per i più pigri l'hack può fermarsi qui, avendo già ottenuto il risultato sperato potendo disporre nella propria casella di una mail di aggiornamento per ogni feed. A me è sembrato giusto potere mettere a disposizione gli aggiornamenti via mail anche agli altri genitori della sezione perciò ho creato una mailling list usando MailChimp. Il servizio consente, tra le altre cose, di inviare ai sottoscrittori mail generate da RSS , esattamente ciò che serviva a me. Dunque mi è bastato creare una 3 campagne rss-driven e collegarle alla mailing list e curare un po' il layout da dare ai messaggi. Il risultato finale è una mail che arriva ai sottoscrittori nel primo pomeriggio se e solo se vi sono nuove comunicazioni o compiti assegnati: ecco un esempio. Il sistema funziona discretamente, anche se talvolta spedisce messaggi spuri dovuti ad aggiornamenti fatti e poi corretti sul sito originale. In ogni caso penso che ci si possa accontentare , nell'attesa che la scuola italiana si doti di meccanismi di comunicazione più evoluti da mettere a disposizione degli insegnanti. Per iscriversi alla maililng list dei compiti/comunicazioni della 1a C basta compilare il form a questo link.

[eccoilmoro]

Come riusare la mappa di ConfiscatiBene

Da un po' di tempo cercavo uno strumento che consentisse di mettere in piedi una mappa interattiva di rappresentazione di dati con un po' di caratteristiche 'avanzate' già pronte e che non richiedesse pesante programmazione. Per fortuna la comunità opendatara è un vulcano di risorse :) La mappa costruita dagli amici del progetto ConfiscatiBene è uno strumento di esplorazione dei dati veramente ben costruito e che mi ha colpito fin da subito per la semplicità di utilizzo. In più, il mitico Dataninja, Alessio Cimarelli è riuscito nell'intento di rendere facilmente riusabile la mappa facendone uno strumento parametrizzabile : https://github.com/Dataninja/advanced-mapping-tool.

Mappa fallimenti

Per sperimentare il tool dei Dataninja ho usato un dataset che ho generato facendo un po' di scraping in rete, il dataset contiene un insieme di imprese italiane fallite dal 2010 al 2014 con dettaglio per Comune; sulla scarsità di dati anagrafici di impresa liberamente accessibili occorrerà poi fare un post apposito :( . Facendo un confronto con i dati ufficiali sui fallimenti si nota comunque che la visualizzazione è sensata almeno per quel che riguarda il trend annuo di crescita e la grandezza relativa del numero di fallimenti a livello territoriale. Come prima cosa ho forkato il progetto su GitHub https://github.com/eccoilmoro/advanced-mapping-tool/ e ho letto le istruzioni di parametrizzazione le quali spiegano come agire sul file di configurazione (dataninja-advanced-mapping-tool.conf.js) per crearsi la propria mappa. Spulciando tra le issues del progetto ho notato che Alessio ha pure inserito una cartella demo contenente già dati e parametrizzazioni , la demo riguarda proprio i dati di ConfiscatiBene e io l'ho usata come punto di partenza.

La cartella 'fallimenti'

Ecco i passi successivi : 1. Nel branch gh-pages ho quindi duplicato la cartella 'confiscatibene' e rinominata in fallimenti 2. Ho lasciato inalterata la cartella geo che contiene i confini territoriali regionali provinciali, comunali mostrati nella mappa 3. Ho caricato nella cartella 'data' i 3 dataset contenenti il numero di fallimenti per regione,provincia,comune. Ciascun dataset deve avere una colonna chiave che gli permetta di fare join con i dati dei confini territoriali. Ho usato il formato json ma lo strumento consente anche il formato csv. 4. Ho rinominato il file confiscatibene.conf.js e confiscatibene.custom.css in fallimenti.conf.js e fallimenti.custom.css e modificato index.html per farlo puntare a tali files. 5. Ho configurato fallimenti.conf.js impostando l'origine dei dati, il tipo di visualizzazione tematica (per ora è configurabile solo choropleth) e alcune descrizioni. Ecco il risultato finale (link per schermo intero) :    

[eccoilmoro]

Dati che ci riguardano

Ogni amministrazione pubblica italiana è tenuta, in virtù del Dlgs 33/2013, a pubblicare una serie di informazioni allo scopo di rendere il proprio operato più trasparente possibile, il fine ultimo è stimolare il controllo diffuso sull'operato della PA per evitare corruzione, garantire efficienza e responsabilizzare gli amministratori.Tali informazioni sono disponibili in ogni sito di ente pubblico in una sezione denominata 'Amministrazione Trasparente'. Recentemente sono stato invitato, insieme ad un manipolo di Spaghetti folks, a partecipare ad un focus group presso la regione Emilia Romagna che intende raccogliere suggerimenti ed idee su come migliorare la sezione di amministrazione trasparente del portale e ampliare la quantità di informazioni pubblicate. Per questo motivo ho fatto un giro, insieme all' altro attivista civico Matteo Fortini nell'area 'Amministrazione Trasparente' del portale per capire intanto che cosa c'è e ricavare qualche impressione su cosa si potrebbe migliorare. Va detto che parte delle nostre osservazioni sono probabilmente già previste dal Programma triennale per la trapsarenza e l'integrità della regione E-R , occorrerà valutare quando sarà attuato completamente. Personalmente ritengo che portare partecipazione sull'area Amministrazione Trasparente di una Regione sia più difficoltoso rispetto ad un Comune o al Governo centrale poichè l'entità Regione non gode della stessa prossimità al cittadino del primo ne della copertura mediatica del secondo. Per questo il lavoro da fare deve essere di massima apertura dei contenuti e attenzione all'interazione utente. Il risultato del nostro lavoro è un breve documento iniziale di osservazioni in ordine sparso (magari non tanto chiare in alcuni punti....) che abbiamo sottoposto al contributo della comunità Spaghetti Open Data e che chiunque può leggere qui (diviso in 2 sheet 'Considerazioni Generali' e 'Considerazioni puntuali sul portale') : https://docs.google.com/spreadsheets/d/1mnNxn2GcyU6r06k3UFv__dRxuASXXkSLz-6kXSgl2fI/edit?usp=sharing Tra le tante, se dovessi riassumere poche osservazioni generali che in prima battuta mi stanno a cuore, che riguardano non solo il portale dell'Emilia Romagna ma un po' tutte le aree Amministrazione Trasparente della PA, direi queste:

Fare sparire i PDF. Bisognerebbe che i PDF, quando non si tratti di delibere o atti, sparissero dal portale trasparenza a favore di HTML per il testo e dati in formato tabellare aperto con preview e ricercabili. Questo per limitare il numero di click e scrolling che un utente deve eseguire (la soluzione ai nostri problemi è in un PDF che nessuno leggerà mai)

Usare il più possibile data visualizations dinamiche ed esplorabili per scendere, se si vuole, nel dettaglio dei dati. Per questo, dove possibile, occorre categorizzare i dati. I lunghi elenchi, anche se ricercabili, non sono altrettanto efficaci nella comprensione.

Usare gli opendata. Tutti i dati imposti dal Dlgs.33 che possono essere espressi in formato opendata devono essere pubblicati come tali. L'area amministrazione trasparente dovrebbe anche ospitare , per ciascuna sezione, link a opendata pertinenti presenti sul portale opendata dell'amministrazione.

Geocoding. Ogni dato riferibile a coordinate geografiche dovrebbe essere rappresentato su mappa.

Aprire ai commenti , al rating e alla condivisione. Ogni contenuto dovrebbe essere facilmente commentabile , valutabile e condivisible con altri.

Integrare il più possibile, e al massimo livello di dettaglio, il portale trasparenza ai sistemi informativi della PA, questo per evitare che la pubblicazione dei dati sia in ritardo o incompleta.

Dare priorità e risalto ai dati che riguardano le spese, investimenti, consulenze, sussidi, imposte, utilizzo dei fondi comunitari, etc... Sono i dati che notoriamente suscitano maggiore interesse e devono essere sotto il controllo dei cittadini.

[eccoilmoro]

Come mappare il proprio territorio: una bici, uno smartphone, Mapillary.

Mapillary è un servizio che consente a chiunque di creare mappature per immagini alla Google Street View per mezzo di uno smartphone. Lo scopo è quello di creare una mappatura crowdsourced del mondo con foto georeferenziate , sfruttando la conoscenza dei luoghi di coloro che meglio li conoscono, gli abitanti stessi. A mio parere il servizio può rivelarsi utilissimo per mappare tutti i luoghi che non possono essere coperti dalla mappatura per immagni di Google, arrivando ad un livello di dettaglio notevole. Si potrebbe utilizzare per descrivere :  - Piste ciclabili - Aree pedonali - Parchi - Percorsi naturalistici (es. sentieri di montagna) - Itinerari turistici Avere a disposizione una descrizione per immagini georeferenziate  può aiutare molto nella valorizzazione del proprio territorio. Per fare una prova ho mappato il percorso ciclabile della pineta e la diga foranea di Marina di Ravenna, aree non coperte da Google Street View.

L'applicazione per smartphone scatta sequenze di foto ogni 2 secondi (tempo regolabile a piacere) associando la foto alla posizione rilevata dal GPS, successivamente le carica sui sever di Mapillary eliminandole dal telefono. Ecco come procedere per mappare con la bici e alcuni accorgimenti che suggerisco per evitare errori basandomi sulla mia esperienza :

Creare il proprio account su Mapillary

Scaricare l'applicazione per smartphone Android o per IPhone. Io ho utilizzato le impostazioni di base dell'applicazione, tranne che per il fatto che ho abilitato l'effetto sonoro dello scatto foto (importante se non si può guardare il display durante la marcia perchè in questo modo se non si ode più lo scatto ci si ferma a controllare).

Pianificare la propria uscita per la mattina presto se si intende visitare luoghi che potrebbero essere affollati durante il giorno. Evitare inoltre percorsi contro sole che potrebbero pregiuducare la qualità delle foto.

Verificare la risoluzione della fotocamera. Mapillary è in grado di gestire foto in alta risoluzione, sarebbe un peccato accorgersi alla fine della mappatura di avere scattato foto in bassa risoluzione. Io ho utilizzato la risoluzione di default del mio telefono Samsung S3 Neo (3264 x 1836).

Per fissare lo smartphone alla bicicletta ho utilizzato il supporto in foto, si adatta a tutte le bici, ha però l'inconveniente di non mostrare il display del telefono durante la marcia impedendo di controllare come si sta fotografando (io infatti ho scattato una intera sequenza di foto tutte non orizzontali senza accorgermenepoichè non ho fatto pause di controllo...) :

L'applicazione consuma molta batteria quindi se si intende stare fuori per molte ore (non è il caso del mio test) suggerisco di disattivare i servizi del telefono non necessari ed eventualmente dotarsi di una batteria supplementare come ad esempio quella in foto :

Verificare di avere sufficiente spazio di memoria sulla scheda SD del telefono in base a quante sequenze si intendono mappare.

Ecco la schermata che appare facendo partire l'applicazione sul telefono e scegliendo 'Take me to the camera' per entrare in modalità di mappatura :

 Prima di partire con il percorso fare una sequenza di prova (occorre scegliere lo modalità 'Driving' col tasto il alto a destra e pigiare il tasto di registrazione cerchio rosso) muovendosi per qualche metro per verificare l'orientamento della fotocamera e la qualità del segnale GPS, l'applicazione non scatta foto finchè il segnale GPS non è sufficientemente buono (finchè non è buono compare sullo schermo 'Waiting for better locaion fix'). Quando si vuole terminare la sequenza di prova occorre pigiare il tasto quadrato rosso di stop.

Iniziare la sequenza di cattura vera e propria (pigiando il tasto '+' per fare partire una nuova sequenza e poi il tasto di recording cerchio rosso) mantenendo una andatura non troppo veloce (nel mio caso mi sono mosso sui 10-15 KMh). Cercare di mantenere una traiettoria rettilinea ed evitare le buche (nel mio caso la sequenza della pineta contiene molte foto mosse a causa delle irregolarità del terreno). Se il terreno è molto irregolare occorre diminuire molto la velocità; eventualmente consiglio di sgonfiare un po' le gomme della bici per attenuare le vibrazioni.

Tenere d'occhio l'orientamento della fotocamera e del supporto che potrebbe muoversi durante la marcia. Fare qualche pausa per accertarsi che tutto sia ok.

Una volta finita la fase di cattura occorre verificare le foto finchè sono ancora sul telefono. Se si dispone di un editor di foto sul telefono si può intervenire per esempio sull'orientamento degli scatti (come avrei dovuto fare io per una delle sequenze della diga ....) o sull'oscuramento di volti e targhe (ma quello lo si può fare anche a posteriori dopo avere caricato le foto sul sito).

Collegarsi ad una rete wi-fi. Una volta collegati l'applicazione comincia automaticamente a mandare le foto sul sito di Mapillary cancellandole contemporaneamente dal telefono.

Quando l'upload è finito occorre revisionare le foto sul sito Mapillary accedendovi col proprio account in 'My uploads', è importante oscurare i volti delle persone fotografate (blurring) durante il percorso nonchè le targhe delle auto e altri dati personali, eliminando inoltre gli scatti errati; le modifiche vengono prese in carico ed eseguite entro qualche giorno dallo staff Mapillary. Le foto che si mettono sul sito sono visibili da tutti e ridistribuibili ovunque!

Le modifiche alle foto relative alla privacy sono richiedibili da chiunque abbia un account, quindi se ci si accorge di essere stati fotografati e non oscurati si può richiedere l'oscuramento o l'eliminazione in prima persona.

Nel momento in cui scrivo molte delle modifiche alle mie sequenze non sono ancora state applicate alle foto quindi esistono ancora foto spurie e che visualizzano volti. Lo staff di Mapillary mi ha comunicato che presto sarà disponibile anche sul sito la funzionalità di rotazione delle foto.

Ecco di seguito i percorsi che ho mappato (link per schermo intero diga foranea, link per schermo intero pineta), di sicuro i prossimi risulteranno migliori!

(function() { Mapillary.init('mapillary', {image: 'NNUHor7DNy8gu4zy4V3pdw', sequences: ['oQJCKsgexP1NRR-WBSmpuA', 'aGlqQ3PWz9FbVcbujYJncQ'], width: 320}); })();

(function() { Mapillary.init('mapillary', {image: 'pIA3e3OLETzPWBa3wNCLxg', sequences: ['2daYeY6Savfzdun-u5l-kA'], width: 320}); })();

[eccoilmoro]

Le fusioni e i confini dei Comuni italiani 2014

La tendenza è oramai accertata, i Comuni italiani sempre più spesso si uniscono dando vita a Unioni di Comuni o addirittura si fondono in nuove entità comunali. I motivi di questi movimenti sono da ricercare innanzitutto nella necessità di realizzare economie accorpando la gestione dei servizi nonchè nella opportunità di unire realtà troppo piccole permettendo loro di avere sufficiente 'forza' per rispondere ai nuovi bisogni. Nel solo 2014 sinora ci sono state 24 fusioni di Comuni e altre sono in cantiere, tante quante se ne sono avute dal 1930 al 2013, segno di una chiara strategia 'accorpatrice' (qui le parole del presidente dell'ANCI Fassino) . Ci sarebbe poi da scrivere un intero post sui nomi dei nuovi Comuni, quasi tutti generati per contatenazione dei nomi dei Comuni componenti (le fusioni non vanno d'accordo con il campanilismo dei nostri paesi, c'è da augurarsi che la cosa non sia ricorsiva , ci troveremmo con nomi kilometrici :) ). Questa notevole attività di modifica delle entità amministrative si riflette ovviamente anche sui confini comunali, i quali vengono ridisegnati con notevole frequenza. Per chi lavora con i dati geografici risulta quindi difficile rimanere aggiornato, tanto più che l'ISTAT mette a disposizione solo i confini comunali del 2011. Anche io per elaborare la mappa dei redditi dei Comuni italiani ho dovuto fare un lavoro di corripondenze poichè i dati del MEF sono forniti su basi comunali più aggiornate rispetto ai confini 2011 dell' ISTAT (nei dati del MEF sono presenti già molti comuni fusi che invece risultano ancora separati nei dati ISTAT). Per ovviare al problema ho creato un dataset che consente di fare la corrispondenza tra i Comuni del 2011 e i Comuni del 2014, in particolare nel dataset c'è la corripondenza tra 2011 e Gennaio 2014 e tra 2011 e Febbraio 2014. Infatti i dati del MEF che ho trattato si riferiscono alla situazione a Gennaio 2014, successivamente però ci sono state ulteriori fusioni di Comuni. Per mezzo di tale dataset ho poi costruito lo shapefile dei confini dei Comuni italiani a Febbraio 2014, qui rappresentato con una mappa che mostra in colore diverso tutti i Comuni che si sono fusi dal 2011 al 2014/02 (le fusioni sinora coinvolgono solo il Centro-Nord). Penso che sia il dataset di corrispondenze che lo shapefile possano rivelarsi utili per coloro che operano su dati a livello comunale. Sarebbe auspicabile, vista la tendenza in corso, che l'ISTAT rilasciasse periodicamente un dataset di corrispondenze che tenga conto delle fusioni di Comuni consentendo a tutti di ridisegnare i confini comunali ad una certa data.