Comment tester une IA ?

La question peut sembler anodine, mais elle ne l’est pas !

Pour écrire un test, encore faut-il savoir décrire le résultat attendu…

Dans le cas d’un algo d’intelligence artificielle, tu fais comment ?

Viens contribuer à la réflexion dans les commentaires :

Se former dans la maison des compagnons : https://maison.artisandeveloppeur.fr

Rejoindre la communauté des artisans développeurs :
https://artisandeveloppeur.fr

3 réflexions sur « Comment tester une IA ? »

  1. Bonjour Benoit,

    J’aurais jamais cru que tu rebondirais sur ma boutade ! 🙂

    Pour répondre a ta question, qu’est ce qui d’après toi fait de nous des entités ayant la capacité intellectuelle d’aller au delà du degré mathématique ?

    Aujourd’hui nous faisons des IA « premier degré », effectuant des calculs mathématiques ou logiques (bilan comptable, calculs de torsion mécanique ou orbitaux, causes et conséquences); et qui sont de fait faciles a tester : Vous donnez a l’algorithme plusieurs calculs spécifiques avec des entrées précises, et vous regardez si le résultat en sortie est celui attendu. La puissance de calcul des machines sur des actions aussi simples et spécifiques fait que les machines nous dépassent de très loin, pour bien moins cher. Profitons en, faisons en sorte de diffuser cela et que ca profite a tous.

    D’autres IA travaillent sur des calculs, certes mathématiques, mais ayant un grand nombre de variables et données, avec parfois de l’aléatoire, le tout dissimulé dans un « bruit » : le CETI, la meteo, la biologie, la génétique, la reconnaissance d’image, ou, par exemple, la reconnaissance de cancer sur des radios.
    Les résultats qu’une ia devra produire devra être proche de la réalité, sans toutefois s’y superposer. Quand une IA est bien entrainée, elle y arrive bien mieux que nous.

    Et puis il y’a l’humour, la dérision, l’impertinence; qui sont l’utilisation volontaire et préparée d’un bug biologique de notre cerveau. Je travaillais sur un algorithme d’analyse de la réputation numérique d’hôtels et restaurants. Comment une IA doit réagir face a un commentaire noté 1/5 « Tout était vraiment parfait ! ». « Ce gâteau est un mensonge », « Donne moi une couleur entre 1 et 10″… Comment apprendre a une IA la dérision ?

    Enfin, il y’a l’analyse philosophique (qualitative plutôt que quantitative) qui demande une analyse macroscopique des concepts qu’une IA est pour l’instant parfaitement incapable de cerner : « Est ce que tu existes ? » (une IA n’a pas conscience de son existance), « Comment puis-je te menacer ? Comment va tu y répondre ? Comment puis-je te faire mal ? ou te faire plaisir ? », « Comment prioriserais tu tes actions ? », « qu’est ce qu’un monde idéal ? »

    1. Salut Camille,
      Quand je vois l’IA de google capable d’une telle subtilité dans les échanges (cf démo sur l’assistant téléphonique) alors que nous n’en sommes qu’au début, quand on sait les progrès vertigineux de cette discipline en ce moment, alors j’ai en fait assez peu de doute sur la capacité technique à franchir les étapes l’une après l’autre.
      Je vois ma fille découvrir le monde du haut de ses 4 semaines et je ne peux m’empêcher de penser qu’une IA apprendrait tellement plus vite…
      Paradoxalement une pénurie énergétique est peut-être ce qui sauvera l’Humanité de la machine mais pas une limite
      technique.
      Mais l’Humanité a-t-elle vraiment envie d’être sauvée ?
      Est-ce une bonne chose pour notre planète qu’elle le soit ?
      Qu’entend-t-on derrière le mot ‘sauvé’ ?
      En attendant les machines, philosophons entre nous ! 😀

  2. Il y a beaucoup de type d’IA il y a les explicables et les inexplicables ou plutôt aux résultats explicables et aux résultats inexplicable.
    Tu peux faire une IA qui va avoir une certaine déduction proche des systèmes expert Ou tu peux faire une boite noir.
    Aussi comme toute automatisation demande toi ce qui est intéressant à faire par exemple sur youtube il vas y avoir beaucoup de commentaires peu interessant du genre « super’, « bof »… qui prennent un peu de temps et tu peux faire un système qui vas retirer ces commentaires avec une certaine précision et un certain rappel suivant la tâche.
    Aussi il faut différencier la décision et l’aide à la décision par exemple les spam des messageries ne suppriment pas les spam mais les mettent un dossier séparer où tu vas regarder de temps en temps mais qui au total te fais gagner du temps.
    Quand tu vas comparer les performances des IA si t’as 100% de résultat c’est 99% du temps du sur-apprentissage de l’apprentissage par cœur. Donc il y a des moyens de tester que tu ne fasse pas du sur-apprentissage.
    Une IA qui vas « gommer les erreurs de l’humain » par l’apprentissage non l’IA ne peut pas se remettre en question c’est pour ça qu’il faut faire attention à la qualité des données. Mais une fois qu’elle aura appris elle aura des statistiques de réussite sur les événement passé que on espère que elle conservera pour des cas futurs. Lorsque elle a appris là oui elle peut avoir des résultats intéressant.
    T’as le bon instinct sur comment faire de l’IA mais si tu as l’occasion vois les universités pour prendre des stagiaires/projets sur de l’IA et avoir leur savoir de base de l’IA contre tout les outils des développeurs.

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur comment les données de vos commentaires sont utilisées.