Le mot de la semaine : LLM

Traduisons en mots ce qui est sur toutes les lèvres. LLM, ou “Large Language Models”, c’est donc la recette de ChatGPT. Ce sont bien ces large language models qui forment le nouveau capacitaire de l’IA. Je vous invite sur le sujet à lire (en anglais) les essais du chercheur en IA François Chollet, un Français travaillant au sein de la division IA de Google (DeepMind). Il est l’auteur de Keras, une bibliothèque libre de deep learning mondialement utilisée.

En 2018, François écrivait ceci : “Malgré nos progrès sur la perception de la machine, nous sommes encore très loin de l'IA au niveau humain : nos modèles ne peuvent effectuer que des généralisations locales, s'adaptant aux nouvelles situations qui doivent rester très proches des données passées, tandis que la capacité cognitive humaine permet une généralisation extrême, s'adaptant rapidement à des situations radicalement nouvelles, ou planifier des situations futures à très long terme”.

5 ans après, les LLM ont-ils dépassé les capacités limitées décrites par François? Nous lui poserons la question.

Le chiffre de la semaine: 78%

C’est le pourcentage d’entrepreneurs de startups qui ont fui la Biélorussie en 2020, selon une enquête réalisée l'été dernier par Imaguru Hub. Ainsi, des dizaines de milliers d’entrepreneurs sont partis, dans un contexte de fraude électorale et de violence policière contre les manifestants en 2020. Un exode exacerbé par le fait que la Biélorussie a facilité l'invasion de l'Ukraine par la Russie.

→ Lire l’enquête du journaliste Clément Girardot sur l’exode de la Tech biélorusse.

Les News

Semi-conducteurs : la Corée du Sud accélère

Samsung Electronics, l’un des leaders mondiaux de puces-mémoires, va investir 228 milliards de dollars d’ici à 2042 pour soutenir la création d’un gigantesque complexe industriel de 5 usines de semi-conducteurs, a annoncé le Ministère du Commerce de Séoul mercredi. Le complexe accueillera jusqu'à 150 entreprises de matériaux, de composants et de conception de puces, selon le ministère.

Cet investissement ambitieux de Samsung dans les technologies électroniques, s’inscrit, comme le dit le WSJ, dans la politique du gouvernement sud-coréen qui s’est engagé à investir près de 418 milliards de dollars dans le secteur high-tech, en particulier des semi-conducteurs, de la production d’écrans et de batteries. Le gouvernement va procéder, comme ses concurrents étrangers, à une série d’allègements fiscaux, de subventions, et de crédit d’impôts, à l’instar des États-Unis qui ont budgété 53 milliards de dollars d’aides à la fabrication de semi-conducteurs. L’union Européenne a budgété quant elle environ 46 milliards de dollars via l'European Chips Act annoncé en février 2022.

→ Derrière cet investissement massif, il faut y voir la concurrence acharnée avec TMSC, leader mondial des puces les plus sophistiquées, indispensables dans l’économie numérique et du militaire. TMSC construit actuellement deux usines sur le sol américain (relire “Le pari risqué de TMSC aux USA”)

Baidu lance son ChatGPT maison

C’est donc officiel, le “Google chinois” Baidu a lancé son IA générative, baptisée Ernie Bot ( 文心一言, or Wenxin Yiyan), présentée hier par Robin Li, CEO de la firme. MIT Review nous donne quelques indications sur les potentiels visiblement encore imparfaits de l’IA '“made in China”, mais il n’aura fallu que 4 mois à la Chine pour répliquer après le lancement de ChatGPT par OpenAI et Bard par Google.

Foxconn veut diminuer sa dépendance à la Chine

L’assembleur d’iPhones Foxconn a déclaré que 70% de ses revenus provenaient de Chine, comme on le lit dans le Wall Street Journal. Mais l’entreprise taïwanaise, qui annonce un chiffre d’affaires de 215 milliards de dollars, compte bien revoir sa dépendance à la Chine, comme le laisse entendre son Président Young Liu. Foxconn avait connu un épisode très houleux avec les manifestations et l’arrêt de sa chaîne de production due à la politique zéro Covid de Xi Jinping. L’entreprise Foxconn a depuis déplacé certaines plusieurs centres de production au Vietnam, au Mexique et en Inde.

Romain Serman, Bpifrance USA : “le pic de la puissance chinoise est dépassé”

Auparavant Consul de San Francisco, Romain Serman pilote les activités de la banque publique d’investissement française depuis 2014. Interview sans fard de celui qui connaît la Silicon Valley comme sa poche.

Comment expliquer l’incroyable faillite de Silicon Valley Bank ?

On ne sait pas encore tout de cette affaire. Mais mon avis est que nous ne devons pas pointer trop vite les coupables, en particulier les VC’s (venture capitalists, nldr). On a reproché à certains investisseurs, comme Peter Thiel par exemple, d’avoir créé un bank Run, en retirant très rapidement les dépôts bancaires. Personnellement, je ne les pointerais pas du doigt, c’était plus une démarche de protéger les avoirs des startups.

Ceci étant, l’une des erreurs de la Silicon Valley Bank, c’est le cash management, et surtout d’avoir tenté de recapitaliser en faisant appel, entre autres, à des VCs. Imaginez que votre banque vous appelle et vous demande si vous voulez investir dans votre propre banque. Ça pose forcément des questions sur la profitabilité et la liquidité… Les VCs qui ont été contactés par la banque ont donc provoqué le bank run, et ils ont fui. Cela a entrainé un mouvement de panique, mouvement le plus rapide de l’Histoire, puisque 42 milliards de dollars ont été retirés en un jour !

La vraie leçon de SVB, c’est qu’on change de cycle. Depuis 13 ans, on était dans un cycle où les banques centrales (Europe et la FED aux USA) ont arrosé de cash l’ensemble de l’économie. L’argent ne coûtait rien. Et le premier symptôme de la fin de cycle, c’est l’effondrement du Nasdaq, 30% de baisse de l’indice en 2022. Aujourd’hui, il n’est pas étonnant que des banques comme SVB aient commis plusieurs petites erreurs, peu de temps après la hausse des taux qui est remontée très fort et surtout très vite.

Romain Serman, Paris 2014 (crédit photo Marion Moreau)

Quel peut être l’avenir de Silicon Valley Bank ?

Mon hypothèse est double: soit SVB disparaît après liquidation des actifs. Soit il y a un repreneur : Goldman Sachs, JP Morgan, une banque régionale, un fonds de private equity comme BlackRock ou Apollo ( Fonds basé à New York, nldr) par exemple. Ce qui est certain, c’est que personne ne sait rien de l’avenir de cette banque…

Parlons de la folie qui entoure ChatGPT… Phénomène de mode ou nouveau paradigme?

La réalité de l’intelligence artificielle (IA), c’est que l’IA est une évolution incrémentale, qui va s’accélérer. Il va y avoir plusieurs vagues et nous n’en sommes qu’à la première. Aujourd’hui, les startups vendent des produits IA avec une nouvelle expérience utilisateur. La deuxième vague qui commence à peine, c’est de vendre un produit qui répond à un problème plus rapide, moins cher et plus facilement. La troisième vague…personne ne sait ce que cela va être, mais ce sera probablement ce que je considère comme le 3eme pilier d’un cycle qui a démarré avec l’arrivée du mobile. Donc une rupture.

La tectonique de fond de la tech ici à San Francisco, c’est l’IA. Ceux qui avaient fui la région dite “zombie zone”, partis à Miami ou New York après la crise du Covid, reviennent en Silicon Valley, parce que c’est ici qu’il y a la masse critique. Quelques milliers de personnes expertes en IA sont à San Francisco et pas ailleurs. Elles y sont parce que les GAFAM rachètent depuis des années des équipes d’ingénieurs, en particulier ceux qui maitrisent les LLM (Large Langage Models). Google a absorbé ces dernières années 70% des diplômés de computer science en machine learning.

Mais le vrai sujet pour moi, au-delà de l’IA, c’est la voiture autonome. En décembre dernier à San Francisco, je roule en voiture et je m’arrête au feu rouge. Une Cruise sans chauffeur me dépasse à côté d’une piste cyclable. Le feu passe au vert, la Cruise démarre aussi, il y a un vélo, la Cruise met son clignotant en se plaçant derrière moi, tout en évitant le vélo…! Donc, ça marche. Beaucoup disait que la voiture autonome, ça ne marcherait jamais… Je pense au contraire que dans 2 ou 3 ans ça va très bien fonctionner. On va avoir de nouvelles infrastructures, on n’aura plus ces parkings géants, on va y construire des immeubles… Le coût du foncier va s’effondrer. Le secteur du BTP va se transformer, les retailers vont devoir changer…

Comment voyez-vous la guerre froide entre la Chine et les USA ?

Je pense qu’il faut voir l’Amérique autrement, et notamment dans son rapport à la Chine. D’abord, il y a la psyché américaine dans tout le pays qui consiste à se dire “on a été sympas avec les Chinois, maintenant c’est terminé”. Certes, cela a pris un peu de temps pour se rendre compte de la puissance chinoise, mais les USA, c’est comme un immense paquebot diesel…L’heure est à l’offensive et tous les coups sont permis. La Chine est maintenant devenue l’adversaire des USA et dans tous les domaines. Et quand les Américains décident d’y aller, ça tape fort, ils n’ont pas peur. On le voit dans les mesures prises par Joe Biden, qui sont extrêmement violentes. Par exemple, un citoyen américain qui travaille dans l’industrie chinoise des semi-conducteurs doit quitter le pays ou perd sa nationalité américaine ! Je ne sais pas si on se rend bien compte de ce que cela veut dire…

Comment peut évoluer cette rivalité sino-américaine ?

Je pense que le pic de la puissance chinoise est dépassé. Je pense que le XXIème siècle était le “sacrifice américain”, notamment en raison du libre-échange et la sécurité sur les mers qui ont été assurés par les Américains. Le XXIème siècle sera le siècle américain, et pas chinois. D’abord parce que la Chine va affronter un crash démographique, dont je pense qu’on le sous-estime. La génération « GenZ » chinoise ne va pas faire d’enfant, notamment à cause de la crise immobilière. Par ailleurs, il n’a y a pas de système de retraite en Chine, la moitié de la population va avoir plus de 60 ans. Et dernièrement, la Chine a un sujet d’immigration. Qui a envie d’émigrer en Chine…? A contrario, qui a envie d’émigrer aux USA? Tout ça est un vrai défi.

Pourtant la Chine innove…elle a un coup d’avance sur certains secteurs stratégiques, notamment dans l’automobile et l’électrique ..

Oui, la Chine a quelques secteurs sur lesquels elle a pris de l’avance. Je ne dis pas qu’elle n’est pas performante. Mais je pense qu’elle n’ira plus aussi vite.

→ “Romain Serman, connecteur d’entrepreneurs”, portrait de Marion Moreau paru en septembre 2014 sur FrenchWeb

Subscribe now

Hors Normes

Hors Normes #14