Prioritizing Test Cases Using Box Abstraction in Deep Neural Networks
Prioritisation des cas de tests basé sur l'abstraction géométrique pour les réseaux de neurones profonds
Résumé
In Data-Centric Artificial Intelligence (DCAI), enhancing data quality takes precedence over solely focusing on AI model improvements. This shift leads to massive unlabeled data, creating a need for effective methods to identify which data should be tested first. The thesis addresses the challenge of enhancing deep learning system robustness by focusing on the testing of misclassified or error-revealing data. This work presents new solutions for improving test prioritization within DCAI.Deep learning systems, crucial in many sectors, can sometimes behave unpredictably, leading to problematic outcomes. To mitigate this problem, we introduce DeepAbstraction, a test prioritization framework designed to identify and prioritize potential error-prone instances within large, unlabeled datasets. DeepAbstraction strategically utilizes runtime monitors for creating box abstractions, which are clusters of similar instances. This approach enhances the identification of misclassified instances, a task where traditional methods often struggle. Our research shows that DeepAbstraction performs effectively in identifying a wider range of potential error-revealing instances compared to existing methods.Evaluating the effectiveness of test prioritization methods remains a key challenge.Existing metrics such as APFD, RAUC, and ATRC, commonly used for evaluating test prioritization techniques, have certain limitations. These metrics do not fully account for essential factors like the costs involved in labeling data. Furthermore, there is an excessive focus on the rate at which faults are detected, overshadowing the equally important aspect of the ratio of detected faults. This oversight suggests a gap in how these metrics reflect the true performance of test prioritization algorithms. Our research addresses these limitations by introducing two novel metrics: the Weighted Fault Detection Ratio (WFDR) and the Severity Fault Detection Rate (SFDR). WFDR improves assessment by achieving a balance between the fault detection ratio and rate. Furthermore, SFDR focuses on prioritizing instances with high-severity misclassifications. Collectively, these metrics provide a more thorough evaluation of test prioritization techniques.The final part of this thesis revisits the limitations of the initial DeepAbstraction framework. A key challenge in the DeepAbstraction framework lies in selecting the right tau value—a parameter that affects the size of boxes used to categorize data. The selection of $uptau$ is crucial as it directly influences the framework’s stability and effectiveness. To address this issue, we develop a method that combines all multiple monitors into one comprehensive monitor to assess network predictions. This ensures that no single assessment entirely controls the decision-making process, unlike the previous version of DeepAbstraction. We also introduce several techniques to integrate the verdicts of monitors into a final, balanced verdict. Our approach significantly improves the performance and stability of the DeepAbstraction framework. In comparison with leading algorithms, our enhanced version, DeepAbstraction++, consistently marks an improvement in performance by 2.38% to 7.71%.In conclusion, this thesis makes a significant contribution to the field of test prioritization in Data-Centric AI. It introduces a robust framework and two metrics while also addressing existing limitations.
Dans l'Intelligence Artificielle Centrée sur les Données (IACD), l'amélioration de la qualité des données est prioritaire par rapport à la seule concentration sur les améliorations du modèle d'IA. Ce changement conduit à un volume massif de données non étiquetées, créant ainsi le besoin de méthodes efficaces pour identifier les données à tester en premier. Cette thèse aborde le défi d'améliorer la robustesse des systèmes d'apprentissage profond en se concentrant sur le test des données mal classifiées ou révélatrices d'erreurs. Ce travail présente de nouvelles solutions pour améliorer la priorisation des tests au sein de l'IACD.Les systèmes d'apprentissage profond, cruciaux dans de nombreux secteurs, peuvent parfois se comporter de manière imprévisible, conduisant à des résultats problématiques. Pour atténuer ce problème, nous introduisons DeepAbstraction, un cadre de priorisation des tests conçu pour identifier et prioriser les instances potentiellement sujettes à erreur au sein de grands ensembles de données non étiquetés. DeepAbstraction utilise stratégiquement des moniteurs d'exécution pour créer des abstractions de boîte, qui sont des grappes d'instances similaires. Cette approche améliore l'identification des instances mal classifiées, une tâche où les méthodes traditionnelles peinent souvent. Notre recherche montre que DeepAbstraction est efficace pour identifier une plus large gamme d'instances potentiellement révélatrices d'erreurs par rapport aux méthodes existantes.Évaluer l'efficacité des méthodes de priorisation des tests reste un défi clé. Les métriques existantes telles que APFD, RAUC et ATRC, couramment utilisées pour évaluer les techniques de priorisation des tests, présentent certaines limitations. Ces métriques ne tiennent pas pleinement compte de facteurs essentiels comme les coûts liés à l'étiquetage des données. De plus, il y a une concentration excessive sur le taux de détection des fautes, occultant l'aspect tout aussi important du ratio de fautes détectées. Ce manquement suggère une lacune dans la manière dont ces métriques reflètent la véritable performance des algorithmes de priorisation des tests. Notre recherche aborde ces limitations en introduisant deux nouvelles métriques : le Ratio de Détection des Fautes Pondéré (RDFP) et le Taux de Détection des Fautes de Sévérité (TDFS). Le RDFP améliore l'évaluation en équilibrant le ratio et le taux de détection des fautes. En outre, le TDFS se concentre sur la priorisation des instances avec des erreurs de classification de haute sévérité. Collectivement, ces métriques fournissent une évaluation plus approfondie des techniques de priorisation des tests.La dernière partie de cette thèse revisite les limitations du cadre initial DeepAbstraction. Un défi clé dans le cadre DeepAbstraction réside dans la sélection de la bonne valeur de tau, un paramètre qui affecte la taille des boîtes utilisées pour catégoriser les données. La sélection de $uptau$ est cruciale car elle influence directement la stabilité et l'efficacité du cadre. Pour résoudre ce problème, nous développons une méthode qui combine plusieurs moniteurs en un seul moniteur complet pour évaluer les prédictions du réseau. Cela garantit qu'aucune évaluation unique ne contrôle entièrement le processus de décision, contrairement à la version précédente de DeepAbstraction. Nous introduisons également plusieurs techniques pour intégrer les verdicts des moniteurs dans un verdict final et équilibré. Notre approche améliore considérablement la performance et la stabilité du cadre DeepAbstraction. En comparaison avec les algorithmes leaders, notre version améliorée, DeepAbstraction++, marque constamment une amélioration des performances de 2,38% à 7,71%.En conclusion, cette thèse apporte une contribution significative au domaine de la priorisation des tests en IA Centrée sur les Données. Elle introduit un cadre robuste et deux métriques tout en abordant les limitations existantes.
| Origine | Version validée par le jury (STAR) |
|---|