Souvent, les équipes composées majoritairement de data scientists peinent à avancer faute d'une ingénierie des données solide, un élément pourtant essentiel à la réussite à long terme de tout projet de data science. Dans cet entretien, John raconte comment sa curiosité l'a mené de l'analyse des données à leur structuration, et partage les défis comme les satisfactions liées à son nouveau rôle. Son parcours illustre une tendance de fond dans le secteur : comprendre les fondations des données est tout aussi essentiel que d'en interpréter les résultats.

John, qu'est-ce qui t'a attiré vers la data science au départ, et comment tu en es arrivé au data engineering ?

Au début, c'était le machine learning qui me fascinait. Travailler avec des modèles, extraire des insights des données. Cette curiosité est toujours là, j'ai même quelques projets personnels de machine learning en ce moment.

Mais avec le temps, j'ai réalisé que les insights ne valent que par la qualité des données sur lesquelles ils reposent. Beaucoup d'entreprises l'apprennent à leurs dépens : sans fondations solides, le travail de data science est souvent bloqué ou peu fiable. C'est ce qui m'a conduit vers le data engineering. J'aime l'idée de rendre les données vraiment utiles, de construire la route avant que le voyage ne commence. Et c'est aussi ce qu'on observe régulièrement chez Agilytic : les data scientists ont souvent besoin de pivoter vers l'ingénierie des données pour avancer vraiment.

Quelle est la grande différence de mentalité entre les deux rôles ?

La data science est très orientée projet. On part d'un jeu de données, on travaille vers un objectif précis. Le data engineering, c'est une vision beaucoup plus large. On ne pense pas au but d'un seul projet, on conçoit une infrastructure qui soutient plusieurs cas d'usage, plusieurs départements, dans la durée. C'est anticiper les besoins futurs, comprendre le flux de données de bout en bout, s'assurer que tout tient à l'échelle.

C'est souvent là que les organisations se bloquent. Elles ont des data scientists focalisés sur des résultats spécifiques, mais sans le travail d'ingénierie en dessous, leurs efforts ne s'étendent pas.

Concrètement, qu'est-ce qui a changé dans ton quotidien ?

Avant, je passais beaucoup de temps à modéliser et à construire des algorithmes. Maintenant, c'est la construction et la maintenance de pipelines qui occupent l'essentiel de mon temps. J'utilise beaucoup PySpark plutôt que les bibliothèques Python classiques. Mes tâches : configurer des sources de données, standardiser les données entrantes, les agréger de façon logique selon les besoins de chaque département, et m'assurer que le pipeline tourne sans accroc. L'objectif final, c'est que tout le monde ait accès à des données propres et fiables.

Ça a nécessité de nouvelles compétences ?

Oui, clairement. Python est toujours là, mais centré sur PySpark pour le traitement distribué. SQL est aussi essentiel, surtout sur de grands ensembles de données structurées. Et il y a beaucoup de travail cloud : configurer le stockage, les ressources de calcul, gérer les connexions entre différentes sources. C'est technique d'une façon différente de la data science, moins sur la précision des modèles, plus sur l'optimisation du traitement et du stockage.

Y a-t-il des idées reçues sur le data engineering que tu entends souvent ?

La plus fréquente, c'est que le data engineering mène directement à la construction de modèles. Ce n'est vraiment pas le cas. On prépare le terrain. On s'assure que les données sont prêtes et accessibles, mais ce sont les data scientists qui construisent les modèles avec.

Beaucoup de clients pensent aussi que le data engineering va accélérer immédiatement leur production de data science. En réalité, c'est une question de créer l'infrastructure pour que les projets soient durables et évolutifs. Ils s'en rendent compte assez vite quand ils font face à des blocages et des inefficacités sans elle.

Comment fonctionne la collaboration avec les data scientists chez Agilytic ?

Il y a une communication ouverte en permanence : si j'ai une question sur la modélisation, il y a toujours quelqu'un à consulter. Si quelqu'un a besoin d'insights sur une plateforme ou un sujet d'ingénierie, je suis là. On a des canaux dédiés pour les questions, donc personne ne reste bloqué seul sur un problème.

Cet échange est précieux dans les deux sens. Les data scientists nous disent de quels formats de données ils ont besoin, ce qui évite de tout refaire à la dernière minute. Pour les clients, ce type de collaboration étroite peut vraiment transformer la façon dont leurs projets avancent.

Ce que les data scientists apportent à une équipe d'ingénierie, selon toi ?

Une perspective sur le résultat final. Savoir à quoi les données vont servir, c'est critique pour nous : ça nous aide à les structurer de façon à ce qu'elles soient vraiment utilisables pour la modélisation. Sans ça, on risque de livrer quelque chose qui ne correspond pas exactement à leurs besoins. Leur compréhension du sens et du contexte business des données guide toute notre configuration.

Un projet dont tu es particulièrement fier ?

Mon premier vrai projet de data engineering. Il s'agissait de créer une plateforme de données sur Azure et de construire une petite application web en Python pour que le client puisse interagir avec ses données et les nettoyer directement. On a même intégré des modèles de prévision avec Prophet et Darts. Ce projet m'a permis de tout toucher, de la configuration de la plateforme au déploiement des modèles. C'était le bon mélange entre data engineering et data science.

Un conseil pour quelqu'un qui voudrait faire la même transition ?

Toujours garder en tête l'impact plus large de ce qu'on fait. Il est très facile de se perdre dans le côté technique, mais connaître les objectifs finaux, les besoins business, la façon dont les clients vont utiliser les données, ça change tout. Les solutions les plus simples, celles qui garantissent qualité et évolutivité, sont souvent les plus efficaces. Et construire des bases solides peut sembler lent au départ, mais ça accélère tout le reste sur le long terme.

Ça vous parle ? Rejoignez-nous !