Soutenance de thèse Manon Chossegros

L’étude d’un échantillon sanguin peut être réalisée au moyen de plusieurs tests. Parmi ceux-ci, on appelle cytologie l’observation des cellules sanguines au microscope. L’objectif de ce procédé est d’évaluer la quantité de chaque type de cellules sanguines et de repérer de potentielles anomalies morphologiques. Les récentes avancées en vision par ordinateur ont permis d’automatiser cette étape, cependant, les algorithmes posent d’importants problèmes de généralisabilité, d’expliquabilité et d’adaptabilité. Autrement dit, l’implémentation en pratique clinique est limitée par le manque de robustesse des modèles sur des images venant de conditions d’acquisition différentes, par les difficultés à expliquer les raisons qui ont poussé leur prédiction et par les compétences limitées du modèle sur des tâches pour lesquelles il n’a pas été entraîné. L’objectif de cette thèse est de développer un système qui soit robuste, transparent et déployable en conditions cliniques. Pour cela, nous proposons tout d’abord de standardiser le style des images à l’aide d’une transformation colorimétrique simple combinée à de l’ajustement fin sur différents jeux de données. La procédure permet d’améliorer la robustesse du modèle tout en préservant l’aspect visuel de la cellule et en limitant le coût de calcul ainsi que le temps d’annotation pour l’expert. Ensuite, nous développons un réseau basé sur une architecture multimodale qui prendrait en compte à la fois les images complètes et les caractéristiques morphologiques de la cellule, extraites au préalable. Cette structure de modèle nous permet de quantifier le rôle de chaque caractéristique dans la prédiction, et ainsi de comprendre les critères principaux de décision. Enfin, nous élaborons une approche semi-supervisée, où le modèle utilise des images d’annotées et non annotées. Les catégories de cellules sont représentées de manière hiérarchique, témoignant de la différentiation du globule blanc. Cela présente le double avantage de donner plus de flexibilité au système d’annotation et de générer des représentations d’images plus versatiles, qui peuvent ensuite être réutilisées pour différentes tâches. En denier lieu, nous élargissons la perspective pour mettre en lumière comment les progrès récents de l’intelligence artificielle nous permettent d’envisager le patient sous un angle plus global. Nos contributions non seulement répondent à certains enjeux de généralisabilité, d’interprétabilité et d’adaptabilité, mais sont aussi prometteuses pour de futures recherches. Elles sont notamment pertinentes pour des problématiques actuelles de réduction de l’effet de batch dans les modèles de fondation, d’amélioration de l’explicabilité des larges modèles multimodaux et d’introduction de connaissance biomédicale dans des modèles peu supervisés.

The study of a blood sample is performed through several different tests. Among them, cytology analysis is the visual observation of blood cells under the microscope. The purpose of this step is to evaluate the respective proportion of different types of blood cells and to identify potential morphological anomalies. With the surge of computer vision, the analysis of images can be automated; however, algorithms are characterized by important limitations in terms of generalizability, interpretability, and adaptability. In other words, the implementation of AI models in clinical practice is restricted by their lack of robustness across images taken under different conditions, the difficulties they show when having to explain the reasons behind their predictions, and their reduced performance in tasks for which they were not trained. The objective of this thesis is to develop a robust, transparent, and deployable AI system applied to hematology. Hence, we first propose a simple color transform operation to normalize the style of images, coupled with fine-tuning strategy. This method enhances model robustness across different datasets, while preserving the visual aspect of the cells, and remaining easy-to-apply and computationally affordable. Second, we design a multimodal architecture that leverages both cell images and morphological features, extracted beforehand. This network allows scoring the importance of each feature for model prediction, which explains the main decision criteria. Third, we explore reduced supervision setup, by training the model with both labeled and unlabeled images. The categories of white blood cells are hierarchically organized to align with the differentiation of the cell and allow flexible annotation. The resulting image embeddings are more adaptable for various tasks and provide a better representation of cell biology. Finally, we broaden the point of view to highlight how recent progress in AI paves the way for a more global understanding of the patient. Our contributions addressed not only some of the generalizability, interpretability, and adaptability issues but also satisfactorily apply to further research. In particular, they could be relevant for current important topics such as the reduction of batch effect for foundation models, the improvement of explainability in large multimodal models, and the integration of biomedical knowledge in self-supervised models.