Stg Recherche-Modèle de Fondation pour les Données Temporelles Multitables H/F - 22

L'ambition de la Division Innovation est de porter plus loin l'innovation d'Orange et de renforcer son leadership technologique, en mobilisant nos capacités de recherche pour nourrir une innovation responsable au service de l'humain, éclairer les choix stratégiques du Groupe à long terme et influencer l'écosystème digital mondial.
Nous formons les expertes et les experts des technologies d'aujourd'hui et de demain, et veillons à une amélioration continue de la performance de nos services et de notre efficacité. La division Innovation rassemble, dans le monde, 6000 salariés dédiés à la recherche et l'innovation dont 740 chercheurs. Porteurs d'une vision globale avec une grande diversité de profils (chercheurs, ingénieurs, designers, développeurs, data scientists, sociologues, graphistes, marketeurs, experts en cybersécurité...), les femmes et les hommes de Innovation sont à l'écoute et au service des pays, des régions et des business units pour faire d'Orange un opérateur multiservices de confiance.
Au sein d'IT Services, la Digital Cloud Services en particulier la Digital Intelligence Factory traite d'automatisation, identité, solutions data.Composée d'une vingtaine de permanents, accueillant 4 doctorants, PROF est une équipe orientée analyse de données, machine learning et intelligence artificielle, conjuguant travaux de recherche et mise en oeuvre applicative.

Les membres de l'équipe sont basés à Lannion (majoritairement) et Paris.Les données issues des logs et des systèmes d'information d'Orange présentent des caractéristiques très particulières : Elles sont le plus souvent temporelles et multi-tables. Elles présentent aussi beaucoup de redondance (certains mots clés ou codes apparaissant très fréquemment dans les logs), mais elles opèrent sur de longues fenêtres temporelles.
Les transformers classiques ont montré leur efficacité dans bien des domaines, mais ils ne sont pas forcément adaptés à ce type de données.
Ce stage vise à développer, adapter et évaluer des modèles de fondation (pretraining et fine-tuning) sur des données temporelles et multi-tables issues de cas d'utilisation Orange.

Il s'agira :
- D'adapter les modèles déjà développés dans l'équipe via l'ajout :
-- de transformers linéaires ou hiérarchiques pour traiter efficacement des données temporelles longues
-- d'encodages positionnels et de masquages spécifiques pour traiter efficacement des données multi-tables.
- De mettre en oeuvre des stratégies de pré-entraînement (pretraining) sur des logs et données temporelles pour apprendre des représentations générales.
- D'évaluer ces modèles sur des tâches supervisées (classification, détection d'anomalies, etc.) en réalisant du fine-tuning.