Présents : @ClementMayer, @bowni, @natct10, @nicolas-landel, @SaboniAmine, @celinejacques, @cmeuree, @RomainGoussault, @arthurPignet, Nathan, Gijs, Paul-Marie, Dena, Gabrielle, Sébastien Castier, Julien Thevenon
Le dépôt : https://github.com/SubstraFoundation/referentiel-evaluation-dsrc
La plateforme d'assessment: https://assessment.labelia.org/
Fin de ce premier cycle d'ateliers, avec 7 ateliers et +100 participations !
De belles réussites : partant d'un premier atelier sur les risques de l'IA, nous avons conçu collectivement un référentiel d'évaluation et une plateforme d'évaluation !
De nombreuses ressources ont été fournies dans ce référentiel. Point d'attention : ne pas multiplier les ressources qui perdraient l'utilisateur.
Impact AI, groupe de travail “IA responsable”: Sortie du livre blanc “Guide pratique pour l’IA digne de confiance” le 10 décembre.
Syntec Numérique: Initiative “Concevoir des IA éthiques by design” : 5 ateliers sur 6 ont eu lieu
- Participation de Clément et Eric à ces ateliers.
- Suivi à prévoir en 2021 sur les synthèses et sur le livre blanc qui est prévu.
LNE: “Un groupe de travail pour créer une certification sur l’IA”
- Substra a été mis en relation avec un responsable.
- (Action - Substra) Faire un retour à Pierre-Marie sur la possibilité d'intégrer les travaux de la LNE.
Points de contacts récents : Mozilla Foundation, Linux Foundation AI
- De nombreux retours intéressants et meetings prévus pour présenter en détail le référentiel d'évaluation.
Feedbacks :
- Premiers retours positifs sur la plateforme, sa simplicité, la possibilité de commencer puis de reprendre une évaluation, la gestion des ressources...
- Volonté d'obtenir un score par section, puis pouvoir se comparer par la suite par section (We are on it!)
- Version anglaise en cours de développement
Comment relayer l'initiative ?
- Présenter l'initiative auprès de B-corp, qui n'a pas encore de partie spécifique à la Data Science Responsable ?
- Présenter le référentiel d'évaluation dans des conférences (exemple : techrocks (à étudier)
Un notebook a été réalisé pour présenter trois approches :
- Un modèle qui n'est pas over ni underfitted
- Un modèle qui est cohérent (explicabilité)
- Un modèle qui peut resister aux attaques
Un article de blog est en cours de rédaction pour expliquer ce qu'est la distillation de modèle.
La distillation de modèle est à l'état de recherche, il n'y a pas encore de librairies clé en main qu'il est facile d'utiliser.
Les aspects de privacy sont gérés avec le recours en plus de Differential Privacy dans la plus part des cas.
L'article de blog en cours sera présenté lors d'un prochain atelier.
Un grand merci à tous les bénévoles pour leur travail !
La section 2 sur les biais méritent d'être retravaillés.
Elle sera améliorée avec l'aide de l'article en cours sur les fairness metrics.
Il peut être également intéressant de s'inspire de ce mooc dédié.
A regarder : cet outil sur la privacy
Proposition de thèmes à aborder :
- Etudier les référentiels / démarches qui sont en train de travailler des sujets similaires et s’en nourrir pour améliorer l’outil
- Retour d’expérience d’organisations sur l’évaluation, sur ce qu’elles mettent en place pour monter en maturité
- Présentations pour partage de bonnes pratiques par des organisations très avancées (1 par section de l’évaluation)
- Identification de nouveaux cas concrets (e.g. articles, crises, etc.), risques, bonnes pratiques, ressources
- Evolution du référentiel : traductions, nouveaux exemples, etc…
Une co-animation avec d’autres organisations
Fréquence tous les deux mois le mardi à 17h (sauf l’été, donc 5 occurrences au total sur 2021 pour cette saison 2)
A étudier :
- Voir si la date est idéale.
- Possibilité d'enregistrer les présentations techniques
Merci à tous les participants, et à l'année prochaine !