Soutenance de thèse de Koussaila Moulouel.
Koussaila Moulouel, doctorant de l’équipe SIRIUS soutiendra sa thèse le 19 Mai 2023 en Amphi RT, campus de Vitry-sur-Seine de l’UPEC-120 rue Paul Armangot, 94400 Vitry-sur-Seine.
Titre : Approches d'IA hybrides pour la reconnaissance du contexte : application à la reconnaissance et à l'anticipation d'activités, et à la gestion des anomalies de contexte dans les environnements d'Intelligence Ambiante
Directeur(s) de thèse : Yacine Amirat
Résumé:
Les systèmes d'intelligence ambiante/Ambient Intelligence (AmI) visent à fournir aux utilisateurs des services d'assistance destinés à améliorer leur qualité de vie en termes d'autonomie, de sécurité et de bien-être. La conception de systèmes AmI capables d'une reconnaissance précise, fine et cohérente du contexte spatial et/ou temporel de l'utilisateur, en tenant compte de l'incertitude et de l'observabilité partielle des environnements AmI, pose plusieurs défis pour permettre une meilleure adaptation des services d'assistance au contexte de l'utilisateur. L'objectif de cette thèse est de proposer un ensemble de contributions qui répondent à ces défis. Tout d'abord, une ontologie descriptive et narrative du contexte est proposée pour modéliser la connaissance contextuelle dans les environnements AmI. L'objectif de cette ontologie est la modélisation du contexte de l'utilisateur en prenant en compte les différents attributs du contexte et en définissant les axiomes du raisonnement de bon sens nécessaire pour déduire et mettre à jour le contexte de l'utilisateur. Contrairement aux ontologies de pointe, l'ontologie contextuelle proposée comprend (i) une TBox représentant l'ontologie centrale du domaine définie par des concepts et des relations, (ii) une ABox de formules propositionnelles correspondant à des instanciations d'attributs de contexte, et (iii) une RBox, représentée par un programme logique ASP, consistant en des modèles de règles, tels que la spécification des effets des événements, la spécification des événements déclenchés, l'agrégation des composants du contexte, et la planification des actions de détection et d'assistance. La TBox, l'ABox et la RBox constituent la base des cadres développés dans cette thèse et jouent un rôle crucial dans l'amélioration de la reconnaissance du contexte de l'utilisateur. La deuxième contribution est un cadre hybride basé sur une ontologie qui combine le raisonnement de bon sens probabiliste et la planification probabiliste pour reconnaître le contexte de l'utilisateur, en particulier les anomalies du contexte, et fournir des services d'assistance tenant compte du contexte, en présence d'incertitude et d'observabilité partielle des environnements. Ce cadre exploite les prédictions des attributs du contexte, à savoir l'activité et la localisation de l'utilisateur, fournies par des modèles d'apprentissage profond. Dans ce cadre, le raisonnement probabiliste de bon sens est basé sur l'ontologie de contexte proposée pour définir l'axiomatisation de l'inférence de contexte et de la planification en cas d'incertitude. La planification probabiliste est utilisée pour caractériser un contexte anormal en faisant face à l'incomplétude de la connaissance contextuelle due à l'observabilité partielle des environnements AmI. En outre, la planification probabiliste permet d'adapter les services d'assistance fournis à l'utilisateur en fonction de son contexte. Le cadre proposé a été évalué en utilisant des transformateurs et des modèles CNN-LSTM sur les jeux de données Orange4Home et SIMADL. Les résultats montrent l'efficacité du cadre pour reconnaître les contextes de l'utilisateur, en termes d'activité et de localisation de l'utilisateur, ainsi que les anomalies de contexte dans des environnements incertains et partiellement observables. Troisièmement, un cadre hybride combinant l'apprentissage profond et le raisonnement probabiliste pour anticiper les activités humaines sur la base de vidéos égocentriques est proposé. Le raisonnement de bon sens probabiliste exploité dans ce cadre est basé sur le raisonnement abductif pour anticiper les activités humaines atomiques et composites, et sur le raisonnement temporel pour saisir les changements d'attributs du contexte. Des modèles d'apprentissage profond, à savoir YOLOv5 et ResNet, ont été exploités pour reconnaître les attributs du contexte, tels que les objets, les mains humaines et les emplacements des personnes. L'ontologie du contexte est utilisée pour modéliser les relations entre les activités atomiques et les activités composites. L'évaluation du cadre montre sa capacité à anticiper les activités composites sur un horizon temporel de quelques minutes, contrairement aux approches de pointe qui ne peuvent anticiper les activités atomiques que sur un horizon temporel de quelques secondes. Il a également montré de bonnes performances en termes de précision de la classification des activités anticipées et de temps de calcul. Enfin, un cadre basé sur le raisonnement par flux est proposé pour anticiper les activités humaines atomiques et composites à partir de flux de données d'attributs contextuels collectés à la volée. Les modèles d'apprentissage profond YOLOv7 et ResNet ont été utilisés pour reconnaître les attributs contextuels, tels que les objets utilisés dans les activités, les mains et les emplacements des utilisateurs. Le système de raisonnement par flux effectue un raisonnement causal, abductif et temporel à l'aide des connaissances contextuelles obtenues en cours d'exécution. Des axiomes d'effets dynamiques ont été introduits pour anticiper les activités composites qui peuvent être soumises à des événements imprévus, tels que le saut d'une activité atomique et le retard d'une activité atomique. Le cadre proposé a été validé par des expériences menées dans un environnement de cuisine. La performance remarquablement élevée en termes de nombre d'anticipations d'activités montre la capacité du cadre à prendre en compte la connaissance contextuelle des épisodes passés nécessaire pour anticiper les activités composites. La performance en termes de temps d'inférence de la connaissance contextuelle indique que le cadre est adapté aux applications du monde réel.