Collecter les données

Chère communauté,Si vous voulez faire grandir votre catalogue, vous êtes quelques fois confrontés à la nécessité de moissonner de jeux de données (ou d’autres types d’actifs) via un protocole qui n’est pas aujourd’hui pris en charge par Huwise,La plateforme Huwise contient beaucoup de moissonneurs mais les protocoles OAI-PMH et DirectAPI ne sont pas pris en charge et là, vous êtes bien ennuyés… En effet, le comité de pilotage a priorisé, tout en haut de la liste, des sources de données qui n’exposent que des connecteurs de ces types de protocoles.Après avoir soufflé, vous demandez autour de vous si quelqu’un peut vous aider et votre DSI le peut mais votre demande n’est pas prioritaire (et oui, les DSI sont souvent sous l’eau). Alors, vous cherchez comment faire sur le web, vous demandez à une IA générative et... vous vous dîtes que ça ne va pas être simple.Détendez-vous, une solution sous licence MIT existe!J’ai été confronté à cette même problématique pour le moissonnage de Recherche

Bonjour, j’aimerais vérifier l’état d’une entreprise (ouverte / fermée) à partir d’excel et d’une liste de Siret. J’ai paramétré la requête ainsi : https://public.opendatasoft.com/api/explore/v2.1/catalog/datasets/economicref-france-sirene-v3/records/?limit=10&offset=0&select=siret%2Cdenominationunitelegale%2Cetatadministratifetablissement&where=siret%3D%2249245461600011%22 J’aimerais maintenant l’intégrée à excel afin qu’il prenne la données dans une colonne siret, et qu’il me ventile les retours des données dans les 3 colonnes suivantes.J’ai essayer dans power query sans succès. Merci de votre aide

Depuis plus de dix ans, vous publiez, explorez et utilisez des données ouvertes à l’aide de nos outils. Pour accompagner ces usages, nous avons mis à disposition deux portails alimentés par Opendatasoft :data.opendatasoft.com, vitrine des données publiques publiées par les clients de la plateforme Opendatasoft, public.opendatasoft.com, sur lequel nous republions des données ouvertes complémentaires, maintenues par Opendatasoft.Ces espaces ont permis d’exposer une large diversité de jeux de données, de construire des cas d’usage enrichis, et d’inspirer la communauté. Aujourd’hui, nous faisons évoluer cette offre pour la rendre plus lisible, plus durable et plus utile pour tous les membres de notre écosystème.Clarifier l’offre, renforcer l’impactNous souhaitons concentrer nos efforts sur ce qui vous est réellement utile : des jeux de données bien sélectionnés, maintenus avec soin, accessibles dans un cadre clair. Pour cela, nous allons faire évoluer notre dispositif : Fermeture de data.o

Bonjour,Je constate que le JDD SIRENE v3 consolidée n’est plus mis à jour depuis avril 2025.Y a t-il une alternative pour continuer à suivre ces données régulièrement ?Merci

BonjourIl y a longtemps (2016 à 2019) j'ai travaillé chez ODS et j'avais profité de la plateforme pour construire https://www.datastro.eu/, un portail de données ouvertes sur l'astronomie (bonjour s'il y en a qui se rappellent de moi :)). Depuis je ne m'en suis plus trop occupé et plein de jeux de données sont "cassés"... Je vais essayer de regarder tout ça petit à petit, mais mes connaissances sont limitées, j'aurais besoin d'aide, du support ODS ou d’autres personnes utilisatrices et avec de meilleures connaissances techniques que moi. Je vais commencer par deux ensembles de jeux de données :1/La carte de la pollution lumineuse : je ne sais pas si vous pouvez la voir car j'ai dû la dépublier ("Light Pollution Map (Globe at Night) / Carte de pollution lumineuse") et j’arrive pas à le republier. Mais voici un aperçu des sources :J'avais ajouté en source les fichiers issus du site https://globeatnight.org/maps-data/ par année : "https://www.globeatnight.org/2016data/GaN2016" par ex, au

Bonjour,J’ai besoin de moissonner les métadonnées des jeux de données de l'entrepôt Recherche Data Gouv qui utilise le protocole OAI-PMH.J’ai fait un test avec le moissonneur FTP with metadata CSV en appliquant la démarche :Je requête le serveur OAI-PMH de Recherche Data Gouv qui génère le fichier XML contenant les métadonnées conformes au schéma oai_dc ; Je transforme le fichier XML en CSV conforme au moissonneur FTP with metadata CSV via une XSLT ; Je transfère le fichier CSV sur le volume FTP renseigné dans le moissonneur ODS ; Je lance le moissonnage.Le test est concluant et, en l’absence d’un moissonneur spécifique dans la plateforme, je compte passer à l’échelle en automatisant le processus, incluant le monitoring.Pour cela, j’ai quelques idées et avant de me lancer, je serais ravi d’échanger avec des membres de la communauté qui seraient confrontés à la même problématique. Au plaisir de vous lire, Francis CLEMENT     

Avec la v1 de l’API possibilité de préciser le format en geojson/api/records/1.0/search/?dataset=info-travaux&rows=1000&format=geojson Cela n’est plus/pas possible avec la v2.1 ?Si non comment ajouter cette variable du format geojson à/api/explore/v2.1/catalog/datasets/info-travaux/records?where=startat%20%3C%20date%272025%2F06%2F21%27%20AND%20endat%20%3E%20date%272025%2F06%2F21%27&limit=99 Est-ce possible uniquement via l’export  ?Comme ici /api/explore/v2.1/catalog/datasets/info-travaux/exports/geojson?limit=99&timezone=UTC&use_labels=false&epsg=4326

Bonjour tout le monde.Je cherche a utiliser l’API explore notamment pour récupérer des données d’enedis poste HTA/BT. En utilisant les lien directement depuis le site tout foncitonne mais lorsque je passe sous python avec “requests” j’ai une erreur de certificats ssl.  (cf en bas)J’ai alors essayé d’utiliser l’API mais l’erreur reste la même.   I'm looking to use the explore API to retrieve data from enedis HTA/BT substations. By using the links directly from the site everything works but when I use python with “requests” I get an ssl certificate error.  (see below)I then tried to use the API but the error remains the same.  HTTPSConnectionPool(host='data.enedis.fr', port=443): Max retries exceeded with url: /api/explore/v2.1/catalog/datasets/poste-electrique/exports/shp?lang=fr&refine=code_departement%3A%2282%22&facet=facet(name%3D%22code_departement%22%2C%20disjunctive%3Dtrue)&timezone=Europe%2FBerlin (Caused by SSLError(SSLCertVerificationError(1, '[SSL: CERTIFICATE_VERI

Bonjour,le HUB d’ODS expose le jeu de données de l’annuaire des professionnels de Santé (que nous utilisons). Hors, le champ nom_dep n’existe plus dans la source (ce qui fait que si je fais la MAJ du JDD actuel, je vais récupérer tous les professionnels de France).Quelle est la commande que je pourrais appliquer sur le champ code_postal, pour qu’au moment de me brancher sur le JDD fédéré, que je ne récupère que les codes postaux démarrant par la valeur 53 ?par avance, un grand merciAmélieAuto-translation 🪄Hello, the ODS HUB exposes the dataset of the directory of healthcare professionals (which we use). However, the name_dep field no longer exists in the source (which means that if I update the current JDD, I will retrieve all the professionals in France). What is the command that I could apply to the code_postal field, to that when I connect to the federated JDD, that I only retrieve postal codes starting with the value 53? in advance, many thanksAmélie

Bonjour,J’utilise l’application GEO de BUSINESS GEOGRAPHIC dans ma collectivité et j’aurais besoin de récupérer directement les fichiers shape sur le serveur GEO voire même les cartes réalisées. Avez vous des solutions pour cela?Pour les cartes je pense à un IFRAME mais pour les couches en format shape je n’ai pas d’idée. Merci pour votre aideAuto-translation 🪄Hello, I use the GEO application from BUSINESS GEOGRAPHIC in my community and I would need to directly retrieve the shape files on the GEO server or even the maps produced. Do you have any solutions for this? For the maps I think of an IFRAME but for the layers in shape format I have no idea. Thank you for your help

BonjourDans un jeu de données, je dois faire un graphique ( ligne) qui représente le nombre de produits par année ( count distinct c’est à dire ne compter qu’une seule fois le produit dans une année). Pour info, les identifiants de produits ne sont pas uniques dans l’année.Auriez-vous une idée?Merci d’avance!Auto-translation 🪄HelloIn a dataset, I have to make a graph (line) that represents the number of products per year (count distinct, i.e. count the product only once in a year). For your information, product identifiers are not unique in the year. Do you have any idea? Thanks in advance!

Bonjour,je cherche à récupérer les points de géoloc des polygones qui dessinent des quartiers des villes sur une carte géographique. Des idées ?Merci d’avance pour votre aideAuto-translation 🪄Hello, I am trying to retrieve the geolocation points of the polygons that draw city districts on a geographic map. Any ideas? Thanks in advance for your help

Bonjour à tous,je cherche un petit coup de pouce, ou un avis technique sur les données de Waze. Au conseil départemental de la Mayenne, nous avons une convention avec Waze. Nous envoyons donc nos données (travaux routiers et routes barrées) vers Waze, et de ce point de vue là, pas de souci.Nous sommes également en train de récupérer les données issues de Waze, afin d’enrichir notre connaissance du domaine routier, etc.. C’est notre portail open data qui est branché sur le flux Waze, et qui (pour l’instant) est planifié tous les matins pour sa mise à jour (à terme, l’idée serait une planification beaucoup plus régulière). Sauf que la publication du flux plante à chaque fois, car il y a des changements dans le modèle de données. [ERREURS DE JUILLET/AOUT] : 31/07 : Deleted fields: city, reportdescription.01/08 : Added fields: reportdescription.02/08 : Deleted fields: city.[ERREURS DEPUIS VENDREDI 20/09] : 20/09 Deleted fields: reportdescription.21/09 : Added fields: reportdescription. Del

Bonjour,Je souhaite avoir un retour d’expérience concernant la récupération de jeux de données via une API. Quelle méthode privilégiez-vous pour intégrer des données provenant d'une plateforme externe (notamment lorsque les données sont volumineuses) ?Plusieurs approches sont possibles :Télécharger toutes les données et ajouter ensuite une nouvelle source. Ajouter une URL de téléchargement via une requête API, cependant cette méthode pose des problèmes en ce qui concerne la mise à jour régulière des jeux de données, nécessitant une veille constante. Passer par des serveurs internes afin de mettre en place une récupération automatique des données, puis ajouter une source qui puise les données sur le serveur. Il est à noter que ces données sont très volumineuses, et que le système d'API repose sur la pagination en profondeur.Quelles sont vos pratiques à ce sujet ? À titre d'exemple, prenons les données provenant de l'ADEME sur les DPE.Dans l'attente de vos retours et de vos expériences p

Lorsque la source de mon jeu de données est un connecteur ou un service distant (FTP ou par exemple le connecteur sharepoint), je comprends qu’il est nécessaire de mettre un planificateur pour que la donnée soit automatiquement republiée. Cependant, est-ce que si ma source est mise à jour, la donnée visible dans le back office se met automatiquement à jour ou il faut nécessairement que le planificateur soit en place pour que cette actualisation se fasse? Auto-translation 🪄When the source of my dataset is a connector or a remote service (FTP or for example the SharePoint connector), I understand that it is necessary to set a scheduler so that the data is automatically republished. However, if my source is updated, the data visible in the back office is automatically updated or does the scheduler necessarily have to be in place for this update to take place?

Bonjour,Mon agglomération a choisi Publik d’Entrouvert comme outil pour les démarches en ligne. Est ce qu’il existe un connecteur entre Publik et Opendatasoft? Auto-translation 🪄Hello,My town has chosen Publik d’Entrouvert as a tool for online procedures. Is there a connector between Publik and Opendatasoft?

Quels types de géométrie sont récupérés par le connecteur Arcgis d’Opendatasoft ?Auto-translation 🪄What types of geometry are retrieved by the Opendatasoft Arcgis connector?