Présents : @ClementMayer, @bowni, @natct10, @nicolas-landel, @SaboniAmine, @celinejacques, Timothée Faucon, @cmeuree, @j-abi, @rodgzilla, @RomainGoussault, @Fabien-GELUS, @arthurPignet, Lamine Diop Le dépôt : https://github.com/SubstraFoundation/referentiel-evaluation-dsrc
Notes : - Sondage rapide : aviez-vous entendu parler de cet outil de l'UE ? Plusieurs ont vu passer le guide, en revanche l'outil ALTAI seul Grégory en avait déjà entendu parler. - Structure en 7 thèmes ou chapitres
En vrac :
- sections - calcul du score (par section, questions rouges) - résultats - affichage dynamique (selon réponses) ; max 91 questions, certaines très pointues, réponses souvent binaires - long et fastidieux - High level expert group
Echange sur la comparaison avec l'assessment DSRC :
- proche et permet comparaison - conforte la cohérence du travail fait ici - pas les mêmes "cibles" (système d'IA / organisation) => impact sur le fond et la forme - l'assessment DSRC met en avant des ressources externes (illustrations, articles et documentation) - l'assessment DSRC vise un outil et une certification pour les entreprises Questions diverses :
- Y a t il un projet de règlement euro derrière le projet Altai ? - Discussion autour des 7 axes UE / 5 axes qui émergent comme un nouveau standard - L'assessment semble avoir été peu vu par les participants => prototype, d'où faible communication sur le projet
Sur le fond et la forme :
- Ajout de nouvelles ressources (ex. Awful AI, fastai, Opacus (FB differential privacy)) - Curation de resssources pour chaque élément d'évaluation - Typage des ressources (articles, academic, software & tools, etc.) - Questions conditionnées (concerné / non concerné) - Scoring - Formulations rafraichies, clarifiées, contextualisées - [Ajout] 4.3 Analyse et partage d'incidents - [Ajout] 6.5 "Verifiable claims" et audit par une tierce partie - [Ajout] 7.3 Mise en place d'un comité d'éthique indépendant - Traduction (merci Amine) - Glossaire Questions diverses :
- Est-ce qu'un score seuil unique est pertinent? => bonne question, plusieurs seuils sont possibles, mais un score unique offre l'avantage d'être simple et efficace. Discussion à prolonger À venir :
- Star repo Github q(❂‿❂)p - Slack chanel #workgroup_dsrc - Saison 8 Dataforgood ᕦ(ò_óˇ)ᕤ - 2 Podcasts, meetup, stay tuned! ♥‿♥ ## 3. Démo de la plateforme d'évaluation Features:
- front - signup - create org (plusieurs users par org, partage d'évaluation avec notes associées) - make assessment - 7 sections, questions, notes, save, explications, ressources, favoris - score final ([todo] score par section), avec notes et ressources - [todo] export pdf - [todo] glossaire - [todo] feedback par section & par question, suggestion de ressource - [todo] versioning du référentiel (update trimestrielle possible par exemple) et migration d'une evaluation d'une version de l'assessment à une autre (+ courbe d'évolution des résultats, et rendant les comparaison avec d'autres org possibles) - [todo] refresh front Objectifs :
- beta up fin septembre ! A vos tests ! - accompagner la montée des organisations sur l'évaluation et la dsrc plus généralement ! Sondage rapide :
- Réactions à l'idée d'une formation thématique de 2 à 4 h pour qqn qui a des bases en DS mais pas DSRC ? - Retour : Pour les grandes organisations, oui ! Cabinet de conseil et étudiants également