Stage - Machine Learning - Mathématiques Appliquées H/F - 22

Vous serez accueilli sur le site d'Orange Innovation à Lannion, fort d'environ 1000
employés. Vous serez co-encadré au sein de deux équipes de recherche, spécialisées
respectivement en apprentissage statistique et en traitement automatique des
langues. Vous y bénéficierez d'un environnement stimulant : présence de nombreux
chercheurs, doctorants et data scientists ; interconnexions avec les problématiques
applicatives du groupe ; disponibilité de grandes infrastructures de calcul.Échantillonnage de données par bandits pour l'entrainement des LLMs F/H

Positionnement

L'allocation optimale de l'effort d'entraînement entre plusieurs jeux de données est aujourd'hui un enjeu central pour l'apprentissage des LLMs. De récents travaux (Ye et al., 2024 ; Zhu et al., 2025 ; Belenki et al., 2025 ; Liu et al., 2025) ont montré que l'optimisation automatique de ces mélanges, via des modèles prédictifs ou régressifs, permet d'améliorer significativement les résultats, tout en révélant la complexité des interactions entre domaines. Cependant, ces méthodes d'estimation de poids sont généralement a priori (avant l'entraînement) et via des proxys des modèles (et non les réels modèles destinés à être entraînés). Les dynamiques d'apprentissage, notamment inhérente au modèle réel, ne sont pas prises en compte.