Cet article nous donne l’opportunité de rappeler qu’Inyulface est un laboratoire d’expérimentation sur le numérique. Alors on aime les gens qui testent des choses, aussi bien outils que méthodologies et qui partagent avec la communauté. Aujourd’hui nous relayons un article signé par un étudiant en informatique de la National University of Singapore. Dans le cadre d’un programme de recherche, Jet New a consacré un an de ses études (et de ses vacances) à l’apprentissage par renforcement (reinforcement Learning).
Apprendre l’apprentissage par renforcement avec l’expérimentation
L’apprentissage par renforcement est une méthode d’apprentissage automatique en intelligence artificielle. Il consiste, pour un agent autonome (comme un robot), à apprendre les actions à prendre, à partir d’expériences, de façon à optimiser une récompense quantitative au cours du temps.
Et c’est loin d’être simple. Pendant son année d’expérimentation, Jet New a été confronté à de nombreuses incertitudes et difficultés. Mais au final, c’est en se plongeant entièrement dans le sujet du reinforcement learning qu’il aura le plus appris de ses enjeux et qu’il peut aujourd’hui partager ses retours.
7 types d’enseignements sur une année de recherche
Si vous vous intéressez aux motivations et méthodologies de recherche, nous vous conseillons la lecture complète du billet de blog de Jet New. Pour un aperçu rapide, nous avons sélectionné 7 conseils correspondant aux 7 types d’enseignements apportés par cette année d’étude.
1. Recherche – Réflexions sur la méthodologie de la recherche.
« L’énoncé du problème est la chose la plus importante dans la recherche, car sans lui, il n’y a pas vraiment de besoin pour cette idée de recherche ».
Eclairage Inyulface :
dans notre métier d’analyse d’affaires, nous pourrions aussi dire que la première étape indispensable est d’identifier le problème et de l’énoncer dans une analyse de cas pertinente.
2. Apprentissage – Réflexions sur l’apprentissage efficace.
« Un conseil particulièrement important pour les sujets complexes : créez une « mind map » carte mentale de la grande diversité des problèmes, des tâches et des approches existants dans votre domaine de recherche pour obtenir une perspective d’ensemble.
Un conseil qui vaut aussi pour les projet d’entreprise complexes. Les découper en sous-sujets avec de plus petites tâches permettra de rendre le projet plus digeste. Pour la mind map un des nombreux outils disponible est Miro, que nous utilisons aussi chez Inyulface comme tableau blanc virtuel.
3. Apprentissage par renforcement – Difficultés rencontrées avec ce sujet de recherche.
Jet New liste de nombreux conseils ayant trait aux algorithmes, leur paramétrage et les bugs de codage. Nous retenons aussi ce conseil pratique adapté à la vraie vie et aux difficultés de passer de l’expérimentation à la mise en œuvre à grande échelle. « Définissez l’étendue de votre projet de recherche en fonction des ressources disponibles. En vous concentrant par exemple sur les problèmes qui nécessitent fondamentalement moins de calculs. Par exemple l’apprentissage par renforcement efficace en données (Data-Efficient RL).
Si ce sujet vous intéresse, sachez que la Commission Européenne a financé un programme nommé DESIRE (pour Data-Efficient Scalable Reinforcement Learning for Practical Robotic Environments). DESIRE a produit un algorithme de prise de décision robuste basé sur les données, pour aider les chercheurs en robotique à passer du « sim-to-real» (de la simulation à la réalité.
4. Flux de travail – Leçons durement acquises qui ont entraîné des coûts importants.
« Investissez du temps dans l’amélioration de votre flux de travail à tous les niveaux, par exemple en mettant en place des cadres de prise de notes, des sprints de temps de pause et de temps de travail, ou simplement en débarrassant votre bureau à la fin de chaque journée. »
On vous conseille de lire toute cette partie de l’article dédié aux workflows (flux de travail), car l’organisation du travail est au cœur de la réussite d’un projet, numérique ou autre ! Pour gérer nos flux de travail chez Inyulface nous utilisons la plateforme Jira, dans une démarche agile avec suivi d’un tableau kanban. Mais il existe de nombreux autres outils. Pour en savoir plus, notre article « 5 outils de gestion de projets (gratuits) ».
5. Motivation – Introspections sur la manière de progresser durablement.
« N’oubliez pas d’examiner et de reconnaître les progrès que vous avez réalisés et les succès que vous avez obtenus ».
C’est un conseil qui semble évident, mais dans l’urgence d’un projet les équipes peuvent oublier de prendre le temps de reconnaitre leurs réussites, et le stress peut monter insidieusement. D’autres conseils concernent l’importance de la santé physique et mentale. Alors n’hésitez pas à vous féliciter des progrès réalisés et à faire un petite pause de temps en temps. Pour un petit moment zen de déconnexion du cerveau, vous pouvez sortir marcher, en suivant les conseils des physiothérapeutes du Québec. Ou rester au chaud explorer la carte du monde internet dessinée par Halcyon Maps.
6. Soutien
« Une communauté facilite le parcours de la recherche ».
Un enseignement valable pour de nombreux projets d’entreprise. On réussit rarement seul dans son garage mais plutôt en échangeant avec sa communauté directe et étendue (voire avec ses concurrents !). En complément, notre article « Stratégie d’innovation ouverte : mode d’emploi (entre ouverture et confidentialité) ».
7. État d’esprit – Les leçons de vie durement acquises à travers la recherche.
« Persistez à vous attaquer au problème et n’abandonnez pas avant d’avoir épuisé tous les modes d’échec possibles. C’est normal, car les problèmes de recherche sont difficiles ! » et « On ne cesse jamais vraiment d’apprendre et tirer des leçons. »
Une leçon de persévérance et un rappel que « l’apprentissage permanent » est une opportunité pour les entreprises et pour les collaborateurs. Apprendre et se renouveler, se réinventer au cours de sa vie c’est le meilleur moyen pour rester pertinent et irremplaçable ! Pour en savoir plus, cet article du cabinet spécialisé en ressources humaines LHH.
