NeurIPS est une organisation à but non lucratif dont le but est de favoriser l’échange des avancées de la recherche en #IA et en #ML.
Cette année (2023) ils ont décerné le Test of Time Award à Word2Vec.
Ce prix récompense des travaux de recherche menés il y a 10 ans, ayant eu un impact important en IA (article cité plus de 40 000 fois).
Pour rappel, Word2Vec permet de créer une représentations vectorielles des “mots” composant un texte, de telle sorte que ceux qui partagent des contextes similaires soient représentés par des vecteurs numériques proches. Ce principe est repris dans tous les Large Language Models #LLM tels que #ChatGPT.
Un des co-auteurs (voire le seul…) de Word2Vec Tomas Mikolov a réagi à cette nouvelle en précisant ceci : “I’m really happy about it! I think it’s the first “best paper” type of award I ever received. In fact, the original word2vec paper was rejected at the first ICLR conference in 2013 (despite the acceptance rate of around 70%), so it made me think how difficult it is for reviewers to predict future impact of research papers.“
Plus loin il écrit : “I discussed this project many times with others in Google Brain – mainly Quoc and Ilya – who took over this project after I moved to Facebook AI. I was quite negatively surprised when they ended up publishing my idea under now famous name “sequence to sequence” where not only I was not mentioned as a co-author, but in fact my former friends forgot to mention me also in the long Acknowledgement section, where they thanked personally pretty much every single person in Google Brain except me.
This was the time when money started flowing massively into AI and every idea was worth gold. It was sad to see the deep learning community quickly turn into some sort of Game of Thrones. Money and power certainly corrupts people…“
Ilya c’est Ilya Sutskever un des fondateurs d’OpenAI
Ce que raconte Tomas Mikolov est intéressant à plusieurs titres. Tout d’abord que la recherche en #IA est imprévisible, que même les experts se trompent souvent sur les retombées de leurs travaux. Ensuite que la recherche est le fruit d’un travail collaboratif, parfois sur de nombreuses années. Enfin, qu’il se joue chez les chercheurs les mêmes conflits, les mêmes relations humaines et (inhumaines, type GoT) que dans toutes les organisations.
