Pour mon dernier article de l’année, je vais de nouveau citer Yannick MENECEUR, car ses articles sont non seulement très intéressants et bien écrits et qu’ils soulèvent des questions pertinentes et apportent des réponses, … avec lesquelles parfois je suis en désaccord, ce qui est parfait pour le débat.
Je le cite : “Pour simplifier à l’extrême, nous avons aujourd’hui globalement affaire avec des systèmes qui sont une énorme machinerie statistique et mathématique, induisant des « modèles » à partir de grandes quantités de données : c’est ce qui est qualifié « d’apprentissage ».”
Les modèles que nous utilisons en #IA lors de l’apprentissage ne sont pas induits, ils ne sont pas non plus déduits. Ils sont choisis.
Le concepteur du logiciel choisit un modèle (ou le crée) et au cours de l’apprentissage les paramètres (ou les poids) de ce modèle sont calculés par itérations.
Par exemple, si je souhaite effectuer une classification d’images, je peux choisir un modèle comme microsoft/resnet-50, un réseau de neurones à convolutions de profondeur 50. Je peux aussi commencer mon apprentissage en commençant avec des paramètres déjà entraînés (transfer learning) et poursuivre l’apprentissage avec mes données. Rien que pour la classification d’images, j’ai le choix entre plus de 8000 modèles chez Hugging Face et rien ne m’empêche de créer le mien.
Contrairement à l’idée qu’on se fait, il y a là beaucoup de bricolage en IA. Pourquoi 50 couches et pas 49 ? pourquoi de l'”average pooling” ? Pourquoi du “max pooling” ailleurs ? et pour les hyper paramètres, pourquoi un batch size de 32 ?, pourquoi x epochs ? …
Il y a parfois des réponses techniques à ces questions, rarement des réponses théoriques, très souvent c’est le fruit de l’expérience (la théorie arrive après).
Ce qui est vrai pour les réseaux de neurones l’est aussi pour les transformers utilisés pour l’intelligence artificielle générative.
Evidemment il y a des maths. Comment mettrait-on à jour les paramètres sans la rétro-propagation mais il n’y a pas la méthode mathématique, ce qui rend peut-être les choses plus intéressantes car incertaines.
Joyeux Noël à tous !
