Espace contributeurs

Ce guide est destiné aux producteurs de données, déjà inscrit en tant qu’Utilisateurs https://publier.datasud.fr/ et souhaitant contribuer à l’enrichissement des publications sur la plateforme. « voir la documentation sur les Utilisateurs »

Note

Toute personne, morale ou physique, publique ou privée, producteur de données publiques ou privées peut publier des données sur la DataSud, sous reserve d’accepter les « conditions d’utilisation » et de respecter la réglementation sur les données à caractères personnelles.

Plus précisément, vous pouvez publier des données sur datasud.fr :

  • Si vous produisez ou collectez des données dans le cadre d’une mission de service public, à condition que ces données ne contiennent pas d’informations personnelles et qu’elles ne révèlent pas de secrets.
  • Si vous enrichissez ou complétez des données pour le compte d’une association, d’un projet de recherche, ou sur votre temps libre.
  • Si vous produisez des données d’intérêt public de votre côté, même hors du cadre d’une mission de service public.
    • publication des données privées ?

Qu’est-ce qu’un Contributeur ?

Un contributeur dispose des fonctionnalités suivantes :

  • il peut publier un jeu de données et y ajouter des ressources, sous la forme d’un fichier téléchargeable, d’un lien URL ou d’une API,
  • il peut définir le niveau d’accès aux ressources et jeux de données qu’il a crée pour l’organisation :
    • accessible à tous les utilisateurs - solution par défaut,
    • restriction d’accès à un ou plusieurs utilisateurs inscrits,
    • restriction à une ou plusieurs organisations choisies,
    • restriction aux seuls membres de l’organisation propriétaire du jeu de données.
  • il peut paramétrer les services DataSud associés aux jeux de données qu’il publie

Devenir Contributeur pour une Organisation

Un Contributeur est un Utilisateur inscrit à DATASUD. Un Contributeur peut demander à contribuer pour une ou plusieurs Organisations. Il peut le faire :

  • soit au moment de l’inscription en tant qu’utilisateur de DATASUD en cochant la case « Devenir un contributeur »,
  • soit dans son Espace utilisateur, dans la rubrique Organisation en cochant la case « Je souhaite devenir contributeur » après avoir sélectionner l’organisation concernée dans la liste déroulante.

À la première connexion,…

_images/CaptureDataSudFirstConnect.PNG

Les demandes de statut de Contributeur sont soumises à la validation des Administrateurs de la plateforme ou des Référents des organisations. Un mail de confirmation est envoyée lorsque la demande est acceptée.

Note

Par défaut, un Utilisateur qui s’inscrit avec un email personnel (gmail, ymail, hotmail,…) et dont le nom de domaine ne peut correspondre à l’organisation pour laquelle il demande de contribuer, ne peut se rattacher, contribuer ou devenir référent d’une Organisation

Les Administrateurs de la Plateforme se réservent la possibilité de révoquer une inscription, une organisation, un statut de Contributeur ou de Référent, sans avis préalable.

– Qui peut publier

Tout le monde peut publier des données sur data.gouv.fr, du moment qu’il s’agit de données d’intérêt public.

Plus précisément, vous pouvez publier des données sur data.gouv.fr :

Si vous produisez ou collectez des données dans le cadre d’une mission de service public, à condition que ces données ne contiennent pas d’informations personnelles et qu’elles ne révèlent pas de secrets. Si vous enrichissez ou complétez des données publiques pour le compte d’une association, d’un projet de recherche, ou sur votre temps libre. Si vous produisez des données d’intérêt public de votre côté, même hors du cadre d’une mission de service public.

Publier un jeu de données

Pour publier un jeu de données, le Contributeur se connecte avec son identifiant et mot de passe sur https://publier.datasud.fr

Renseigner les métadonnées

Les métadonnées obligatoires sont les suivantes :

  • Titre
  • Organisation à laquelle est rattaché ce jeu de données
  • Descriptif : C’est un champ incontournable pour garantir une bonne réutilisation, car une donnée bien décrite est une donnée bien réutilisée !
  • Dates de création, de dernière modification et de publication : La valeur par défaut indique la date du jour. La date de modification se met à jour automatiquement lorsque des modifications sont effectuées sur les ressources.
  • Licence

Les métadonnées facultatives sont les suivantes :

  • Thématiques : Un jeu de donnée peut-être associé à une ou plusieurs thématiques
  • Mots-clés : Plus le nombre de mots clés est important et mieux le jeu de donnée est indexé dans le catalogue
  • Fréquence de mise à jour
  • Type de données
  • Meta-données INSPIRE
  • Fréquence de mise à jour
  • Couverture régionale
  • Granularité

Note

De nombreux mots-clés sont déjà répertoriés et apparaissent dans une liste déroulante dès la saisie des premières lettres du mot. Mieux vaut choisir un mot clés existant plutot que d’en créer un nouveau afin de relier les jeux de données similaires.

Publier une ressource

Lors de la publication, le type de ressource doit être précisé. Il peut s’agir de données brutes du jeu de données, proposées dans un format permettant la modification, ou de documentations associées au jeu de donnée, qui permettent aux visiteurs de DataSud d’obtenir plus d’informations (plaquettes de communications, affiches, photographie, site internet….).

Il existe quatre manières différentes d’ajouter un jeu de données :

1. Téléverser manuellement un fichier depuis votre poste local:

A l’aide du bouton Parcourir, vous pouvez déposer le fichier qui s’ajoute dans l’entrepôt de données DataSud;

_images/Upload_ressources.PNG

Le Titre de votre fichier est automatiquement recopié, mais il est possible de modifier manuellement le nommage de ce jeu de donnée.

_images/Upload_ressources1.PNG

2. Télécharger depuis une URL en indiquant une URL de téléchargement du jeu de donnée:

Dans ce cas, Datasud va télécharger la ressource pour l’ajouter dans l’entrepôt de données;

_images/Upload_ressources_URL.PNG

Ce mode de publication permet de synchroniser la ressource distante, selon une périodicité régulière à indiquer :

  • Jamais
  • Quotidienne (tous les jours à minuit)
  • Hebdomadaire (tous les lundis)
  • Bimensuelle (1er et 15 de chaque mois)
  • Trimestrielle ( 1er des mois de Janvier, Avril, Juillet et Octobre)
  • Annuelle (1er Janvier)

Par exemple, un fichier transport.zip peut-être synchronisé sur DataSud directement grace à son URL de téléchargement.

Note

Quelques précautions à prendre pour que la synchronisation s’active correctement :

  • le nom de votre fichier doit avoir exactement le même nommage de fichier pour toute la synchronisation : si un script modifie le nom du fichier (pour rajouter une date ou autre par exemple), la synchronisation ne fonctionnera pas.
  • votre fichier doit être accessible via une URL fixe : évitez les liens temporaires.:

En cas d’erreur, les Administrateurs de DATASUD se chargeront de vous indiquer que la synchronisation ne fonctionne pas ou plus.

3. Référencer une URL:

Dans ce cas, la ressource n’est pas téléchargée dans DataSud et vous indiquez précisement l’adresse URL de téléchargement de la donnée. qui reste hebergée chez son producteur. Cette donnée apparait au catalogue de DataSud mais elle n’est pas hébergée dans son entrepot.

_images/Upload_ressources_ref_URL.PNG

4. Dépot FTP:

il faut pour activer au préalable le compte FTP en cliquant sur le lien « cliquez ici »

_images/Upload_ressources_FTP.PNG

Publier une donnée géographique

Datasud détecte automatiquement le format des ressources publiées.

Si il s’agit de données géographiques (GeoJSON, Shapfiles, MapInfo, …) des services géographiques associés à ces données sont automatiquement déclenchés tels que l’emission de flux WMS et WFS, l’accessibilité à ces ressources via l’extracteur de données du CRIGE ou encore la publication de fait de la ressource au format GeoJSON.

Les données au format Shapefiles ou MapInfo devront être poussées dans un zip, déclaré sur Datasud comme “Shapefile (Fichier Zip)” ou “Mapinfo (Fichier ZIP)”.

Renseigner une métadonnée INSPIRE

Les jeux de données rentrant dans le champ de la Directive INSPIRE doivent faire l’objet d’une description standardisée. Cette description suit dans les grandes lignes le standard ISO19115 : https://www.iso.org/standard/53798.html.

Afin d’être conforme avec la règlementation INSPIRE, tous les contributeurs ont la possibilité de renseigner un plus grand nombre d’informations sur leur jeu de données grâce à un formulaire spécifique.

Ce formulaire est accessible dans votre Espace Utilisateur https://publier.datasud.fr/ depuis l’onglet « Mes jeux de données » en sélectionnant un jeu de données à éditer et en sélectionnant « Editer la métadonnée INSPIRE » dans le menu qui s’affiche.

Les services ajoutés

Datastore et données intelligentes

Datasud propose un datastore, c’est à dire un entrepôt de données qui offre des services dits « intelligents » sur les données tabulaires aux formats CSV, XLS, GeoJSON, SHP.

La publication des données sur Datasud, dans un format ouvert et interprétable par une machine, permet leur indexation dans le datastore afin notamment de proposer des apercus, de les filtrer par champs et de les parcourir sans utiliser de tableur dédiés.

Le format CSV est le format pivot à privilégier pour transformer vos données tabulaires en données semi-structurées dites « intelligentes » afin que le datastore génère des datavisualisations simples sous forme de grille, de graphe ou de carte.

Des données intelligentes permettent également d’en automatiser l’accès par API ( Application Programming Interface) : L’accessibilité des données par interface de programmation est une condition nécessaire pour massifier et industrialiser les usages qui peuvent être fait de ces dernières. Les données indexées dans le datastore sont ensuite « requetables » directement à travers l’API à travers une série de fonctionnalités puissantes. ( voir la présentation de l’API CKan : http://datasud.readthedocs.io/fr/latest/developpeurs/index.html#service-api-ckan)

Vos jeux de données doivent être préparés pour être proprement indexés dans le datastore :

  • Le format CSV doit être privilégié avec un ; comme séparateur / délimiteur.
  • Idéalement, passez tous vos jeux de données en UTF-8. Pour cela le programme Notepad++ fait cela très bien.
  • Idéalement, exportez vos tableurs favoris (Microsoft, Libre et Open Office) au format CSV.
  • Restreindre vos titres de colonnes à moins de 62 caractères.
  • Ne pas doublonner le titre d’une colonne.
  • En théorie les caractères spéciaux (“:.,( -“) sont acceptés, mais c’est beaucoup mieux de les éviter dans les titres.
  • Harmoniser le type de vos données (et oui vos données sont typées!) : en effet si une colonne ne comporte que des chiffres, le datastore autodéterminera le type de cette colonne comme étant un nombre. Or il suffit qu’une cellule de la colonne contienne l’entrée N/A, pour que le datastore génére une erreur.

Pour éviter les erreurs de type, il est préférable de les corriger avant d’indexer le jeu de donnée dans DataSud ou bien de transformer la valeur des cellules en cellules au format TEXTE. Cela n’est pas satisfaisant, mais ca fonctionne.

  • ERREUR : En cas d’erreur supprimez complètement la ressource associée au jeu de données et ajoutez en une nouvelle.

Note

Attention avec Excel

  • lorque le fichier contient plusieurs feuillet (ou onglet), seule la dernière feuille de calcul est indexée dans le datastore. Il est donc nécessaire de déplacer la feuille de calcul contenant les données que vous souhaitez indexer dans le datastore en dernière place de votre tableur.
  • si vous ne voulez pas indexer vos données dans le datastore (pour plein de bonnes et mauvaises raisons), il suffit d’ajouter une feuille de calcul vide en dernière place de votre tableur.

Géolocalisation des données tabulaires (XLS et CSV)

Une carte peut automatiquement être générée à partir de vos données tabulaires geolocalisées. Pour cela vous devez intituler deux colonnes du tableau « latitude » et « longitude » OU « lat » et « lon » OU « Y » et « X ».

Celles-ci doivent être en exprimées en angles, avec des décimales séparées par un point et non une virgule, avec pour référentiel le système géodésique mondiale (`WGS84<https://fr.wikipedia.org/wiki/WGS_84>`_) pour être interprétées par DATASUD. À titre d’exemple, le centre de Marseille a pour coordonnées « 43.2803692 » et « 5.31045872 ».

Le paramétrage des vues

Un contributeur a la possibilité de paramétrer les vues (la vue par défaut et des vues supplémentaires) visibles par un utilisateur du catalogue.

Les Géo-Services

Lors de la publication d’un jeu de données géographique, si le format est bien perçu par Datasud comme étant un format géographique, des flux WMS et WFS sont automatiquement déclenchés. Côté catalogue, ils sont disponibles depuis le dataset, dans la partie « services ».

Le contributeur a la possibilité de paramétrer le style des flux WMS. Il peut éditer le flux par défaut, utilisé dans l’affichage du flux côté catalogue.

L’extracteur Géographique

La publication d’un jeu de données géographique induit la disponibilité de cette données via l’extracteur de données.

Le moissonnage de données