Nous recevons régulièrement des demandes d'utilisateurs qui souhaitent télécharger l'ensemble des fichiers d'un jeu de données ou d'une organisation sur data.public.lu. C'est notamment le cas pour des jeux de données qui contiennent un très grand nombre de fichiers, comme par exemple les décisions de justice mises à disposition par l'administration judiciaire. Jusqu'à présent, nous répondions qu'il est nécessaire de passer par l'API de data.public.lu pour automatiser ce type de téléchargement, ce qui peut être complexe pour les utilisateurs les moins portés sur la technique. Dorénavant, nous proposons aussi un outil appelé udata-dl, que nous avons développé et qui facilite grandement ce processus.

Qu'est-ce que udata-dl ?

Udata-dl est un outil en ligne de commande, conçu pour télécharger facilement des fichiers depuis data.public.lu ou toute autre instance udata, le moteur de ce site. Il permet de télécharger tous les fichiers d'un jeu de données ou de tous les jeux de données d'une organisation en une seule commande. Udata-dl fonctionne partout où Python est installé, y compris sur Windows, macOS et Linux. Udata-dl fonctionne aussi de manière incrémentale, ce qui signifie qu'il ne télécharge que les fichiers qui n'ont pas encore été téléchargés, évitant ainsi les doublons et économisant de la bande passante. Il peut donc être utilisé pour synchroniser régulièrement des données de data.public.lu avec un dossier local sur votre ordinateur. Pour cela, vous pouvez l'exécuter via les tâches planifiées sous Windows, ou via cron sous Linux.

Démo en vidéo

Exemples d'utilisation d'udata-dl

Voici quelques exemples de commandes que vous pouvez utiliser avec udata-dl :

1. Vous souhaitez tous les fichiers du jeu de données Parc automobile du Luxembourg:

   udata-dl --dataset parc-automobile-du-luxembourg
   

2. Vous voulez télécharger tous les fichiers de tous les jeux de données de l'organisation CFL:

   udata-dl societe-nationale-des-chemins-de-fer-luxembourgeois
   

3. Vous voulez connaitre toutes les options disponibles :

   udata-dl --help
   

Installation

Assurez-vous que Python 3 est bien installé sur votre ordinateur.
Vous pouvez installer udata-dl avec les outils pipx, pip ou à partir des sources. Voici un exemple avec pipx :

pipx install udata-dl

Pour les autres options d'installation, veuillez consulter la page GitHub du projet.

Vos retours et contributions sont les bienvenues

Comme tous les logiciels que nous produisons, cet outil est open source. Il est disponible sur GitHub.
Vous pouvez nous faire vos retours éventuels sur GitHub via les issues, ou bien via notre formulaire de contact.