Luc Donnet

Ruby/Rails developer, Debian user.

[iquantny]

Why Open Data is Still Too Closed - My TEDxNewYork Talk

Through I Quant NY, I’ve worked to tell the hidden data stories about the way New York City runs, and the way we experience it.  But along the way, I’ve learned that as far as our city has come with Open Data, there are some simple steps that would allow for even more revealing insights.  I shared some of those ideas during my TEDxNewYork talk a few months back.   If you enjoy the talk, and believe in its message that “open data is still too closed”, please share! 

[iquantny]

Last week I found the farthest apartment from a subway in Manhattan. It was a mere 0.7 miles from the nearest subway entrance.

After that post, I got several requests that I do the same in my very own home borough of Brooklyn. So I joined building lot data, neighborhood name data and subway...

[ldonnet]

Use FontAwesome in OpenLayers map

I try many times to use the great font icon FontAwesome with OpenLayers 2.13 to change size and color of my map icons as many times I need but always failed.

But this times it becomes reality!

You need to force OpenLayers.Feature.Vector.style to use a label in unicode and FontAwesome and disable graphics.

You can have a look at my jsfiddle to see a demo : http://jsfiddle.net/ldonnet/bdzz0ujk/

[ldonnet]

Access entire geos API from RGeo Gem

This post is from an old answer from Daniel Azuma the rgeo gem creator

In general, RGeo's API is determined by the Simple Feature Access spec, and it doesn't try to provide all the capabilities offered by GEOS.

However, that said, there is a supported way to gain access to the entire GEOS API from an RGeo object. This is how.

First, ensure that the ffi-geos gem is installed.

Next, make sure your factory is created using :native_interface => :ffi. For example:

my_factory = RGeo::Geos.factory(:native_interface => :ffi)

You can also tell RGeo to use the FFI interface by default by setting

RGeo::Geos.preferred_native_interface = :ffi

Once you have a factory that uses FFI, geometry objects created by that factory now have an accessor Geometry#fg_geom. This obtains a low-level geometry object that you can use to call any GEOS function via the ffi-geos gem. See http://rubydoc.info/gems/ffi-geos/frames for the api of this object.

If you've created another low-level GEOS geometry object, you can bring it back into RGeo-land using the wrap_fg_geom method of the factory.

Here's an example:

my_factory = RGeo::Geos.factory(:native_interface => :ffi) poly = my_factory.parse_wkt( ... polygon wkt ... ) poly_lowlevel = poly.fg_geom # poly_lowlevel is now a low-level ffi-geos object. # We can now call ffi-geos methods on this object, such as: simplified_lowlevel = poly_lowlevel.topology_preserve_simplify(0.1) # simplified_lowlevel is also a low-level object. # Convert it back to an RGeo object like this: simplified = my_factory.wrap_fg_geom(simplified_lowlevel)

[thenounproject-blog]

Last December, our second IconLocal took place in Paris, France. The workshop was organized by Five by Five, a group that helps other organizations unlock the full value of open data. The goal of the workshop was to invent a visual vocabulary for the components of open data.

"Open data...

[ldonnet]

Change rails command version

I have to deal with a basic problem : change rails version to create a new rails application. You need to have installed ruby and rails before. And now the trick is very easy but hard to find on the web :

rails _2.1.0_ new myapp

[ldonnet]

Sauvegarder et réinstaller des package Debian

Il est possible de lister l'ensemble des paquetages installés grâce à la commande :

dpkg --get-selections

Grâce à cet outil il est ainsi possible d'exporter la liste des paquetages installés de la manière suivante :

dpkg --get-selections > mes_paquetages

Puis de les installer avec les commande suivante sur une autre machine :

dpkg --set-selections < mes_paquetages apt-get dselect-upgrade

[ldonnet]

OpenStreetMap Ile de France watercolor 2,000 x 1,000px 48.8566, 2.3412

[ldonnet]

Tune KyotoCabinet File Hash Database

I use KyotoCabinet to backup nodes from osm data in a temporary file. I need good performance because osm data contains heavy data set.

I use the last ruby api to use KyotoCabinet in my ruby project : https://github.com/dryade/activeroad.

So I write a little ruby script to benchmark the use of KyotoCabinet :https://github.com/dryade/activeroad/blob/master/script/benchmark_import_kyotocabinet.rb.

The results are : 

Import without options Count: 6000000 Time: 149.853 sec. Usage: 64.473 MB

Import with options apow=8, opts=l, bnum=2000000 and msiz=50000000 Count: 6000000 Time: 128.868 sec. Usage: 47.691 MB

Import and update without options Count: 6000000 Time: 298.644 sec. Usage: 64.027 MB

Import and update with options apow=8, opts=l, bnum=2000000 and msiz=50000000 Count: 6000000 Time: 1006.279 sec. Usage: 47.688 MB

I don't understand why performance felt when I use options like these : #apow=8#opts=l#bnum=2000000#msiz=50000000.

I think I could improve it but it doesn't work. 

[ldonnet]

Profiling Rspec tests in a Rails Engine

I read a good article on profiling rspec test by Chris Heald. I adapt it to with my rspec version 2.14 and for a rails engine. 

Create folder : /tmp/performance

Add a file in spec support (/spec/support/profile.rb)

RSpec.configure do |c| def profile result = RubyProf.profile { yield } name = example.metadata[:full_description].downcase.gsub(/[^a-z0-9_-]/, "-").gsub(/-+/, "-") printer = RubyProf::CallTreePrinter.new(result) open(ENGINE_RAILS_ROOT + "tmp/performance/callgrind.#{name}.#{Time.now.to_i}.trace", "w") do |f| printer.print(f) end end c.around(:each) do |example| if example.metadata[:profile] profile { example.run } else example.run end end end

Now you can tag any example with :profile => true and it'll spit out callgrind dumps for your consumption in KCachegrind or similar

describe "A test" do it "can be profiled", :profile => true do expect { some_complex_operation }.to_not raise_error end

[ldonnet]

Luc Donnet a 2 ans aujourd'hui !

[gdurelle-deactivated20190606]

Je viens de passer un projet SAAS en cours de création vers Rails 4. C’est relativement simple. L’excellent article (en anglais) des RailsGuides et le Railscast sur le sujet (en anglais) sont un must pour effectuer le passage sans trop de problèmes. Je vous conseille aussi ...

[ldonnet]

Manipulate gems with RubyGems.org

If you need to publish, release a gem you must know the repository Rubygems.org. I make some notes to use this repository.

Create an account 

First you need to create an account with an email on rubygems.org

Publish a gem

Then you can publish your gem by different ways. First you need to upgrade your gem version in gemspec file.

In a rails application you have a simple task which builld and push the gem : 

bundle exec rake release

Otherwise you can do it manually

gem build map_layers.gemspec

gem push map_layers-1.0.0.gem

Add an owner to your gem

You can add an owner for a coworker by a command

gem owner plugin -a [email protected]

Then your coworker must make a push to get credentials : 

gem push myplugin

[ldonnet]

SqueezeBoxServer : duplicate log entry

Rotate log cron is mailing me an error :

/etc/cron.daily/logrotate error: squeezeboxserver:1 duplicate log entry for /var/log/squeezeboxserver/server.log error: found error in /var/log/squeezeboxserver/server.log , skipping error: squeezeboxserver:14 duplicate log entry for /var/log/squeezeboxserver/scanner.log error: found error in /var/log/squeezeboxserver/scanner.log , skipping

Logrotate tries to rotate some logs twice. Not a severe error but annoying enough to be fixed.

Change the directory :

cd /etc/logrotate.d

Search for the filenames mentioned in the error report:

grep "/var/log/squeezeboxserver/scanner.log" * logitechmediaserver:/var/log/squeezeboxserver/scanner.log { squeezeboxserver:/var/log/squeezeboxserver/scanner.log {

It seems that squeezeboxserver changed name to logitechmediaserver with the latest software upgrade. An old entry still exists in logrotate for squeezeboxserver. Move this file out of the way:

mv squeezeboxserver /tmp/

Problem fixed!

[ldonnet]

Données opendata SNCF

La SNCF a ouvert ses données transport sur le site http://test.data-sncf.com/ : 

Transilien

TER

Intercité

J'ai voulu renouveler l'expérience avec l'outil Open Source Chouette sur ces données. Par ce biais j’ai pu constater les problèmes suivants : 

TRANSILIEN

Des horaires (StopTime) ont des heures de départ et heures d'arrivé sans valeurs ce qui est impossible en GTFS

TER :

Des arrêts sont dans le désert algérien

Un autre arrêt est au large de l'Ile St Hélène

INTERCITE

Aucune remarque particulière

Nous avons mis en accès libre sur notre plateforme chouette.dryade.net ces réseaux ainsi que celui de Rennes.

Les données sont accessibles en consultation et édition. Veuillez donc ne pas modifier l’offre de ces réseaux pour le confort des autres utilisateurs.

Un compte invité est ouvert pour consulter les données :

login : [email protected]

mot de passe : opendata

Il est également possible d’utiliser notre service en créant sa propre organisation et importer son propre jeu de données.

Les sources et la procédure d’installation de notre application Chouette se trouve sur le github chouette2 :

https://github.com/dryade/chouette2/

[ldonnet]

Données opendata RATP

Le Vendredi 24 mai la RATP a annoncé l'ouverture des données de son offre de transport lors de l'évènement OpenDataLab.

Ces données sont issues du référentiel de la RATP et téléchargeable en GTFS par la RATP http://data.ratp.fr/fr/les-donnees.html ou via les API Rest/Json de la société OpenDataSoft.

La démarche de l'opendata est contraignante si on veut un service de qualité. Mais elle peut profiter à tous les acteurs : 

Retours sur les données fournies

Enrichissement des données par des tiers

Construction de nouveaux services

Réflexions sur l'évolution et la construction de ces données

Comme celles-ci sont très volumineuses, il est difficile de les construire mais également de les analyser. Pour faire un retour sur la pertinence et la qualité de ces données il faut pouvoir les visualiser et naviguer dans le modèle. Dans ce cadre j'ai voulu utiliser le produit Open Source Chouette auquel je participe.

Par ce biais j'ai pu constater les problèmes suivants : 

Les Routes GTFS ne prennent en compte qu'un seul sens de parcours ( Une ligne RATP GTFS permettrait de mettre un aller/retour dans une seule Route ) 

Les arrêts (Stops) ne sont pas regroupés en station ( l'import GTFS de Chouette doit les créer selon des critères de distance et de nom ) 

De nombreuses correspondances (Transfers) sont dupliquées ( sur 74000 entrées, seules 7400 sont différentes ) 

Beaucoup de courses identiques : seul le calendrier change ( possibilité de les regrouper pour réduire le volume de données d'au moins 50% )

Un seul export GTFS ne permet pas de regrouper les lignes par réseau ( suggestion : faire un export par réseau : BUS, Métro, RER, TRAM )

Nous avons mis en accès libre sur notre plateforme chouette.dryade.net ce réseau ainsi que celui de Rennes.

Les données sont accessibles en consultation et édition. Veuillez donc ne pas modifier l'offre de ces réseaux pour le confort des autres utilisateurs.

Un compte invité est ouvert pour consulter les données :

login : [email protected]

mot de passe : opendata

Il est également possible d'utiliser notre service en créant sa propre organisation et importer son propre jeu de données.

Les sources et la procédure d'installation de notre application Chouette se trouve sur le github chouette2 :

https://github.com/dryade/chouette2/