Optimisation de l'intégration de données massives via API : votre approche avec les données de l'ADEME ou d'autres sources similaires
Bonjour,Je souhaite avoir un retour d’expérience concernant la récupération de jeux de données via une API. Quelle méthode privilégiez-vous pour intégrer des données provenant d'une plateforme externe (notamment lorsque les données sont volumineuses) ?Plusieurs approches sont possibles :Télécharger toutes les données et ajouter ensuite une nouvelle source. Ajouter une URL de téléchargement via une requête API, cependant cette méthode pose des problèmes en ce qui concerne la mise à jour régulière des jeux de données, nécessitant une veille constante. Passer par des serveurs internes afin de mettre en place une récupération automatique des données, puis ajouter une source qui puise les données sur le serveur. Il est à noter que ces données sont très volumineuses, et que le système d'API repose sur la pagination en profondeur.Quelles sont vos pratiques à ce sujet ? À titre d'exemple, prenons les données provenant de l'ADEME sur l