Hors Normes #19
"Nous sommes dans l’œil de l’ouragan de l’IA générative", Yann Lechelle (Hub France IA)...7% des iPhones sont produits en Inde, ça valait bien une visite officielle de Tim Cook (Apple)...
L’Édito
5 ans
“Celui qui deviendra leader en intelligence artificielle sera le maître du monde" disait Poutine en septembre 2017, 5 ans avant l’invasion de l’Ukraine, et 5 ans avant la mise à disposition du grand public de ChatGPT. En une toute petite moitié de décennie, les rapports à cette technologie duale (l’IA) se sont radicalisés. La sphère business n’est pas épargnée, au contraire : Google rassemble ses armées de scientifiques en une seule faction (Google DeepMind); les hyperscalers (GAFAM) ont fait d’énormes stocks de “munitions”, les processeurs, pour maîtriser les Large Language Models (LLM); les sites de production de semi-conducteurs, à commencer par TSMC, font naître de nouvelles alliances. Pour ne pas dire de nouveaux rapports de force. Fort de ce constat, personne ne peut dire ce qu’il se passera dans 5 ans…Pas même Elon Musk 😳
Marion Moreau
LES NEWS
SOCIAL MEDIA
La radio suédoise quitte Twitter
La principale radio de Suède, Sveriges Radio, se retire de la plateforme sociale Twitter, sur laquelle elle était présente depuis 2009.
Sveriges Radio déclare sur son blog que Twitter a perdu de sa pertinence pour le public suédois. Le média de Stockholm est le 1er en Europe à suivre le mouvement des “quitters” aux USA: NPR, la radio publique nationale américaine, et PBS (Public Broadcast System), qu’Elon Musk avait qualifié de «médias financés par le gouvernement». Lire plus sur Le Monde.
CYBER/SPATIAL
Des agences internationales démantèlent un réseau de données d’identités
Le FBI, la police néerlandaise et la National Crime Agency du Royaume-Uni, avec l’appui de 18 pays, ont mis la main sur un vaste réseau criminel organisé comme un marché en ligne d’identités volées. Des données d’identification à des comptes bancaires, des comptes Facebook, Amazon, PayPal ou encore Netflix étaient à la vente. Au total, 80 millions de données personnelles ont été recensées, couvrant 2 millions de personnes. (source The Guardian)
La Chine construit des cyber-armes pour détourner des satellites ennemis, selon un document de la CIA
Le Financial Times révèle un document de la CIA qui indique que Pékin a l’intention d’utiliser une technique de brouillage et de contrôle sur les satellites ennemis en cas de conflit militaire. Le document qui a fuité dans la récente affaire des “leaks” américains et que le FT a analysé, précise cette technique par le fait d’imiter les signaux que les satellites reçoivent de leurs opérateurs, pour les détourner et provoquer des dysfonctionnements dommageables pour les communications terrestres, les armes ou les systèmes de renseignement. Ce procédé, qui daterait des années 1980, rappelle la cyber attaque du satellite américain Viasat juste avant l’invasion de l’Ukraine en 2022, rendant inopérants plusieurs systèmes de communication militaire et un réseau d’éoliennes en Europe de l’Est.
ÉLECTRIQUE
Foxconn prévoit d’investir 820 millions de dollars à Taiwan
Foxconn prévoit un investissement de 800 millions de dollars sur 3 ans dans le sud de Taïwan, pour installer des usines de fabrication de bus électriques et des batteries. La société va officiellement s’appeler Hon Hai Precision Industry Co Ltd, et prouve que Foxconn cherche à diversifier ses revenus. Il est aujourd’hui toujours le plus important fournisseur et assembleur de smartphones pour Apple.
Apple mise sur le cobalt recyclé
Apple a déclaré qu'il n'utiliserait que du cobalt recyclé dans ses batteries d'ici à 2025, et qu'il atteindrait la neutralité carbone de sa chaîne de production d'ici 2030. Les entreprises de la Tech ont été l’objet d’accusations d'être complices de la mort d'enfants congolais forcés à extraire du cobalt, un matériau essentiel dans la fabrication des batteries pour le secteur électronique et digital.
7 % des iPhones Apple sont désormais produits et assemblés en Inde, soit 7 milliards de smartphones entre 2021 et 2022 (source Bloomberg)
INTELLIGENCE ARTIFICIELLE
Google rassemble Brain et DeepMind
Alphabet, la maison-mère de Google, se réveille après l”’offensive ChatGPT” menée par Open AI et Microsoft. La division DeepMind, une société spécialisée en intelligence artificielle rachetée en 2014, va rejoindre les équipes de Google Brain. C’est Sandar Pichai lui-même, CEO de Google/Alphabet, qui l’a dévoilé sur le blog de Google.
La France et Singapour créent un labo de recherche dans l’IA de défense
Le Délégué général pour l’armement, Emmanuel Chiva, et son homologue singapourien, Chan Heng Kee, ont signé un accord portant sur la création d’un laboratoire spécialisé dans le domaine de l’intelligence artificielle de défense.
Cette structure de R&D sera chargée de « conduire des projets de recherche communs aux deux pays et systématiquement réalisés en équipe mixte franco-singapourienne », précise l’Agence de l’Innovation de Défense (AID).
La France et Singapour ont déjà des liens dans le secteur de la défense. Depuis 1998, les pilotes de chasse singapouriens se forment sur la base aérienne française de Cazaux. (source opex360)
Décryptage
Yann Lechelle: “Nous sommes dans l’œil de l’ouragan de l’IA générative”
Membre du board du HUB France IA et ex-CEO de Scaleway, Yann Lechelle livre sa vision de la folle ruée vers l’or de l’IA générative.
Peut on considérer que L’IA générative (ChatGPT) est déjà un marché ?
Il y a un avant/après ChatGPT, le conscient collectif s’est emparé de ces technologies génératives. Il est certain qu’on ne reviendra pas en arrière et nous nous demanderons bientôt comment nous faisions avant et sans.
Mais aujourd’hui, le marché s’emballe, nous sommes en plein dans l’œil de l’ouragan de l’intersaison des hivers de l’IA, en particulier de l’IA générative. Plus spécifiquement, il y a une frénésie autour de la création de LLM (large language models). Ces modèles sont issus d’une technique de deep learning maitrisée par les scientifiques depuis 2018 (Transformers), mais nous avons dépassé un seuil critique il y a 6 mois avec la mise à disposition de tous par Open AI de ChatGPT sur la base d’un modèle massif GPT3.
Toutes les grandes nations et toutes les grandes entreprises tentent aujourd’hui de développer leur propre modèle. La grande difficulté n’est pas tant de créer le modèle, qui nécessite certes énormément de puissance de calculs, notamment grâce aux GPU (Graphics Processing Unit) Nvidia, mais plutôt la capacité de collecter le meilleur corpus linguistique (ou d’images) nécessaire en entrée pour entraîner ces modèles d’une part, et d’autre part de composer avec les barrières qui sont en train de s’ériger contre ces modèles qui sont opaques, et jugés inacceptables du point de vue de la régulation, du RGPD, des droits de la propriété etc…
Il y a donc une inflation, une surenchère et une course contre-la-montre pour créer ces modèles parce que tout le monde envie et craint l’alliance entre Open AI et Microsoft. Meta et Google ont vite voulu démontrer qu’eux aussi savaient faire. AWS vient tout juste de lancer sa contre-offensive avec sa solution Bedrock. Mais cette course effrénée va se ralentir, au niveau de l’inflation de la taille des modèles déjà, mais aussi au niveau de la quantité des giga modèles à créer puisque déjà, certains sont disponibles en accès libre, open-source et libres de droits ; depuis une semaine, Databricks a sorti son modèle Dolly 2, et Stability.ai son modèle StableML.
L’ouragan devrait se transformer en tempête. En effet, la performance des modèles ne va pas nécessairement être exponentielle ou linéaire, au contraire elle risque d’avoir déjà atteint un plateau asymptotique. J’ai cru comprendre que GPT4 requiert autour de 1000 milliards de paramètres, donc six fois plus que GPT3 pour un gain de performance d’un ordre de grandeur bien inférieur. Il n’est pas évident que plus de paramètres encore améliorent la performance d’un GPT4 ou équivalent de manière significative.
Vous voulez dire l’inflation autour des composants (GPU, CPU) ?
Pour créer un modèle géant qui rivaliserait avec ceux d’Open AI, environ 3000 GPU très haut-de-gamme NVidia A100 sont nécessaires. Et il faut les entraîner pendant plusieurs semaines, voire mois. Chaque fois que l’on itère, cela coûte plus d’1 million et demi d’euros en location de matériel, disponible chez les hyperscaleurs en général (Amazon, Google, Microsoft par exemple). Il faut donc dépenser environ 10 millions d’euros pour aboutir à un modèle fondationnel comme GPT 3 ou 4. Le coût pour acheter ce matériel correspond à un investissement de plusieurs dizaines de millions d’euros… utile quelques mois seulement par modèle. Ce coût d’investissement n’est pas inabordable, y compris pour nos hyperscaleurs régionaux comme OVH ou Scaleway, avec la promesse hypothétique d’une rentabilité rapide. Mais combien de clients sont capables de payer jusqu’à 10 millions d’euros pour un « simple » modèle fondationnel généraliste alors qu’il en existe déjà plusieurs en accès libre ?
La pénurie des cartes GPU est un véritable sujet en ce moment, les gagnants sont encore les mêmes hyperscaleurs US, ceux qui les ont en stock. Cette pénurie est temporaire, et n’est qu’une seule des composantes de la problématique actuelle.
Il est probable que le grand gagnant de cette période soit l’américain Nvidia, qui va réussir à vendre sans aucune difficulté la totalité de son stock, répondre à l’inflation de la demande avec leur H100 encore plus puissant et coûteux, jusqu’au moment où la demande va s’estomper, mais uniquement au niveau de la création de modèles géants fondationnels. À court terme Nvidia est un bon investissement, à long terme, ce n’est pas si sûr, même si ces cartes graphiques resteront essentielles pour le deep learning de manière générale, et surtout pour l’inférence, c’est à dire pour l’utilisation des modèles stables (une fois l’entrainement fini), mais pour un facteur d’usage de plusieurs ordres de magnitude plus faible.
Qui maîtrise réellement les LLM, les Large Language Models ?
Il y a donc plusieurs niveaux: les LLM géants, fondationnels et généralistes en amont, maîtrisés par peu d’acteurs en raison des coûts d’entrainement, et les modèles dérivés en aval, maîtrisés par de nombreuses entités.
En guise d’exemple, Meta (Facebook) à publié un modèle qui s’appelle LLaMA, que l’Université de Stanford a réussi à decliner avec Alpaca, un modèle dérivé basé sur ce qui était disponible “sur étagère”. Ils ont donc réussi à créer un modèle LLM digne de ce nom pour moins de 25 000 dollars.
Ces modèles dérivés ne nécessitent donc pas du tout de la même puissance de calcul que les premiers modèles évoqués. Cette catégorie de modèles sera donc monnaie courante, la maîtrise sera disséminée et l’usage va s’envoler. Les LLM, spécialisés ou non, seront loués as-a-service (LLMaaS) et feront partie de l’arsenal de toutes les startups et entreprises cherchant à mettre à contribution l’IA générative. Il faut donc s’attendre à un raz-de-marée d’une ampleur conséquente au niveau de l’usage ; l’IA générative va pénétrer nos vies de manière massivement distribuée alors que nous ne sommes peut-être pas encore prêts à en accepter les conséquences.
Les Américains ont acheté énormément de matériel, avec la capacité de pré-empter les stocks puisqu’ils sont déjà les meilleurs clients des fournisseurs de puces : AWS, Google et Microsoft Azure ont tout ce qu’il faut en puissance de calcul, de manière massive et mutualisée, ayant déjà capté voire enfermé la grande majorité des clients sur leurs plateformes. Avec cette nouvelle vague d’usage, ils ne font que confirmer leur position d’acteurs dominants dans la chaîne de valeur.
Pour les autres, la pénurie des composants les force à travailler avec les hyperscaleurs. Cette dépendance est d’autant plus critique qu’il existe un risque géopolitique majeur avec Taïwan. Si la Chine décide d’agir de manière musclée dans la région, l’impact sur la chaîne de valeur de l’IA générative sera immédiat (mais aussi toute l’industrie informatique dépendant de l’approvisionnement de nouvelles puces).
Et nous, les européens ?
Nous les Européens ne disposons ni d’entreprises capables de fournir ce type de puces de manière massive (il faut saluer le Chips Act Européen qui vise à changer cette situation, et soutenir le développement de nos quelques pépites comme SiPearl), ni de data centers ayant suffisamment de stock de ces mêmes puces. Nous ne sommes donc pas vraiment dans la course en amont, disons du côté de l’infrastructure massive de l’IA générative.
En revanche, nous avons des entreprises qui maîtrisent la science des LLM et qui sont capables, en louant la puissance de calcul à des tiers, de créer des LLM ou de les spécialiser. Je pense à LightOn qui vient d’annoncer son offre de LLM qui est proposée sous forme de licence « on premises » pour une exploitation sur site en B2B.
Nous devons donc au moins soutenir cette filière, mais surtout se saisir de l’opportunité de maîtriser l’usage qui ne fait que commencer. De l’ouragan à la tempête au raz-de-marée. Equipons nous rapidement pour ne pas nous faire engloutir !
Yann Lechelle est entrepreneur en résidence à l’INSEAD Business School et investisseur. Il a auparavant créé et revendu 5 sociétés technologiques et a été le CEO de l’opérateur Cloud Scaleway (Groupe Iliad)
