Preparation

• Understand the context and business objectives
• Engage management, get their support
• Buy the official ISO/IEC 27001:2022 document
• Get a course to lead the ISO 27001 implementation (optional)
• Train staff on security awareness

Building the ISMS

• Define your scope
• Define your information security policy
• Adopt a risk management methodology
• Inventory your assets
• Perform a gap analysis against requirements 4–10 and Annex A controls
• Use the gap analysis to feed a risk assessment
• Define risk treatment plans
• Establish an ISMS charter (how is your ISMS designed?)
• Define ISMS roles and competencies
• Schedule internal and external audits
• Define planning objectives and indicators
• Create policies and procedures
• Complete your statement of applicability (SOA)
• Conduct the internal audit
• Update your SOA
• Go through management review
• Address internal audit findings
• Go through the certification audit
• Get certification
• Maintain certification

Notes:

• Other people can have different approaches and it’s fine
• These are general steps, but context wins over general guidance
• Many of these steps can be parallelized
• The importance of having management on board can’t be stressed enough
• This list can appear as long. It is, in my opinion, the “unskippable” steps to get there. Prefer less “sexy” truths over something else.
• For simplicity and practicality reasons, we often reduce ISO in 8 to 12 high-level steps. These views are valid and good reminders of what matters most.
• I just prefer this view to make sure nothing has been forgotten.

It won’t exactly occur like this, but that’s what gets you started. Good luck!

Imagine a prestigious financial services firm. The CEO wants to know what are the biggest risks the company is facing. He orders his “Risk department” a “risk heatmap”, i.e. a matrix ranking risks using standard traffic lights colors: the highest risks are red, the lowest risks are green, and the medium risks are yellow. A miscommunication in the risk department led to two different analysts producing a heatmap. Problem: they show very different results, while the same methodology has been used. Since they were assessing the same risks using the same methodology, the results should have been consistent, but it´s not what happened. Unfortunately, this problem is bigger than you would think.

In Noise: A Flaw in Human Judgement, the researchers Kahneman, Sibony, and Sunstein explore the chaotic and costly role that randomness plays in human judgment. They show how noise (unwanted variability in decisions) is omnipresent and probably greater than we would think. They cover different examples: judges assigning very different sentences for the same crimes, doctors giving different diagnoses for the same patients, etc. Each time, we are surprised to discover that while identical cases should be treated similarly, they are subject to very different judgments. According to the authors, the cause is to be found in irrelevant factors influencing human judgment: the mood, the time since their last meal, and even the weather.

While reading the book, it struck me straight away: the world of risk is an extremely noisy profession. “Risk managers”, “risk analysts”, “risk assessors”, and “risk experts” are often tasked with evaluating risks. It is generally expected that their assessments involve some “expert opinion”, so if they don´t reach exactly the same conclusion as another person doing their job would, it´s understandable. As the authors point out, the problem with such expert judgments is that noise is far above the level that executives would consider acceptable, while nobody notices it.

This applies a lot to risk management. With financial risks, the hypothesis, models, and data you consider will lead to considerable variety in results. With security risks, assessing your compliance with a standard such as ISO27001 depends a lot on your interpretation of the standard— and this interpretation can vary a lot. If you ever dealt with risk assessment, I´m sure you won´t have a hard time finding a similar example. This leads me to think the authors´ conclusion is highly accurate for risk professionals: they often make decisions that deviate significantly from those of their peers, from their own past judgments, and from the rules that they claim to follow.

The consequences of such noise in risk management can be big. Depending on who assesses a risk, the underlying risk might be underestimated, thus preventing the company from implementing adequate controls, leading to a higher cost of the risk event was to occur. On the other side, a given risk can be overrated and lead to spending too much on controlling it. Since risk aggregate, badly assessing a risk too many times can lead to making a company lose a lot of money. Combine the existence of important noise (useless variability in judgments that should be identical) with bias (distortions of judgments that make us miss the central point), and you have a good recipe for bad understanding (and therefore, handling) of risks in a company.

So, what to do about it?

To reduce noise, a promising solution advocated by noise experts is the use of rules to make decisions. For risk assessment, it means specifying your “high” risk level in a matrix, by defining monetary thresholds (or other clear thresholds) that can be objective and will increase the likelihood of consistent judgment.

More generally, reducing noise in risk management requires adding a quantitative approach to the predominant qualitative one. To solve this challenge, some risk management frameworks have been developed, such as FAIR, bridging the gap between cybersecurity risks and business by introducing numbers upon which everyone around the table can agree. The good news is that quantification is already being increasingly used. The bad one is that it is still perceived as very complicated.

Therefore, the challenge is making risk quantification more accessible. In line with the authors of Noise, I think that the amount of data and experience required to quantify risks is lower than you would expect. Some relatively simple techniques allow the quantification of almost every risk. Of course, we must always remain the master of such rules: know when they apply, and when they don´t. However, to avoid risk management being left at the mercy of chance, developing such rules of thumb or more developed quantitative approaches is probably a good start.

For every risk assessment, especially quantitative, agreeing first on the hypothesis, methods, and criteria that should be used is necessary.

Now, don´t get me wrong. Quantification won´t solve everything. Quantification used blindly will still lead to important variability of results depending on who will produce the analysis. For every risk assessment, especially quantitative, agreeing first on the hypothesis, methods, and criteria that should be used is necessary. The goal is to make sure we´re talking about the same thing. The goal is to reduce noise.

More information on noise, how it compares to the superstar concept of cognitive biases, and how you can reduce it.

No risk was to be seen, but the risk there was. This turkey story, introduced by Nassim Taleb in The Black Swan, deals with a long-known problem: the past does not teach you about the future. Sadly, the turkeys are not the only ones impacted by this problem. Ever heard about E.J. Smith? In the early 1900s, this boat captain once proudly boasted of never having had any accident. Well, guess who was at the controls of the Titanic in this tragic night of April 1912.

You would think this belongs to the past and now we learned from our mistakes. Decision-makers have been told they should not try to predict the future from past events, so they act accordingly. After all, this idea is far from being new, and Nassim Taleb´s 2007 book gained so much popularity in the business world that it was bound to have an impact. No more fortune-telling and fancy narratives around decision-making, better approaches to take big risks without being fooled by a randomness we don´t understand.

Que nenni. Not only we still rely on past events to predict what´s going to happen, but there´s worse: we´re doing it… while knowing we shoudln´t do it for rare catastrophic events. Business excutives share articles warning about black swans but remain incapable of acting in a way that protects them from their blindness to extreme events. No activity, no organization is spared. A too symptomatic illustration of this phenomenon is the way companies still handle cybersecurity risks.

Despite increasing attacks and important financial losses for companies (when they are not simply going bust), cyber risks are still overlooked by companies that never faced a cyberattack yet. Company leaders can personally believe it is important, but few appoint a person accountable for the information security risks of the organization, make sure that person sits with top management, and speaks a language understable to executives— cyber risks is about risks to business. Cyber is just a thing for the techies (cyber folks also share responsibility for that).

Worse, when companies do have some degree of information security well established, they sometimes indulge themselves with tools that are no better than astrology. Tools that are being used so frequently by risk managers that they seem to be part of the landscape : why questioning them? Well, if turns out that when we look at it, the results are not glorious. Despite being all around the place, risk matrices , weighted scores, and other sound-looking methods should be used with caution (and certainly not used when it comes to risk that could be fatal to our organization).

A major problem with the use of these tools by “risk managers” is the overconfidence they generate. Quantitative risk assessment models, though having undeniable qualities, are no exception : when it comes to extreme events (such as destructive cyberattacks), overreliance on prediction of the risk level can leave us totally vulnerable to the feared event.

So, to avoid ending up out of business due to a cyber attack, what´s a better alternative than predicting these kind of risks based on past data and other smart-looking methods ?

In a essay called “On Robustness and Fragility”, Nassim Taleb (him again) shared some valuable pieces of wisdom on surviving when facing complex decisions in what he calls the Extremistan (where extreme events happen — like going bust due to a cyberattack). What follows is directly inspired from Taleb´s writings.

Well, for organizations that can allow themselves to do it, avoiding exposing oneself to a risk of ruin due to a cyber attack sounds great. Surely, a bakery has some chances. However, now most companies rely on IT for almost everything. So, a majority of companies has now no other choice but to face the risk of potentially being severy attacked by cyberattackers. In other terms, not taking cyber risks is not an option.

In that situation, what is wise to do? One of the possible strategies consists in reducing certain exposures by purchasing insurance. Cyber insurance can be part of the equation — they are not miraculous either and can have perverse effects, but they have the merit of shifting the focus from adverse event prediction to post-impact mitigation, in case the event happened despite low estimated probability.

Another thing I´m thinking of is elaborating (and really training people to execute) a robust business continuity and disaster recovery plan taking into account cyberattack scenarios, just to have a clue of what to due in case a cyberattack would disrupt the “normal” activities of the company.

However, in some cases, reducing one´s substancial exposure is not possible. Even armed with an insurance or disaster recovery plans, an organization face a risk of severe and lasting harm caused by a cyberattack.

In these cases, here is what to keep in mind, especially for decision-makers and risk managers that would like not to end up deadly wrong about cyberattacks threatening their organizations:

1. Develop optionality. Your organization might suffer an important cyber attack, but since nowadays some crucial activities can be outsourced to external providers, your cyber risk might be a security failure from a third party. Here, having an idea of what are your outsourced activities, how to conduct them internally (in case) or who are potential alternative providers to work with might help. You just don´t want to be left without any option in case an important provider was disrupted by a cyberattack.
2. Embrace redundancy (backups). The same way having some cash under the mattress might help for bad days, make sure some of your essential data are protected in backups stored in a different location than your company. Avoiding overconcentration is key: backups can be located in multiple locations, be it a safety deposit box in the city, or in the cloud.
3. Avoid prediction of small probability but very dramatic events. If a severe cyberattack can make your company go bust, don´t rely on predicting whether it will happen or not, just focus on having a clue of what to do in case it were to happen. It´s a hard and counter-intuitive exercice. Expect your information security executives and risk managers to facilitate the organization going through that preparation exercise. This job is to be done even if you test your information security and consider your organization protected against cyberattacks. You don´t know what the next attack will look like, and you better think it might be atypical.
4. Never take absence of evidence for evidence of absense (zero trust). The traditional security approach looks like protecting a castle. Build a fortress, and you´re fine as long as the enemy didn´t pass the barriers. A more robust approach to cybersecurity consists in leaving the illusion of such a protected space, because what we consider as a safe fence might actually be a strainer. Instead, consider the zero trust approach, that assumes that the system will be breached. Don´t trust anything by default (networks, users), always verify.
5. Avoid some risk metrics. A simple risk matrix is really flawed in representing helpfully a rare but catatrophic event. A bad tool might make the organization conclude “the residual risk is orange, so no particular action needed for now” and postpone the required preparation efforts. Always make sure the tool you´re using is not making you deadly blind.

Don´t get me wrong: taking risks, and especially facing cybersecurity risks, is inherent to the life of a business. Loyal to the author that inspired me these thoughts, my message is: don´t drive the cybersecurity bus blindfolded. Don´t be a turkey.

Destructive cyber attacks: lessons from Thanksgiving was originally published in System Weakness on Medium, where people are continuing the conversation by highlighting and responding to this story.

🚀 Le blog a déménagé ! 🚀

Cliquez ici pour lire cet article sur le site d’Altruisme Efficace France :
Gérer les risques existentiels posés par des technologies émergentes

Merci de nous suivre et au plaisir de vous retrouver sur le nouveau blog !

Photo : Future of Life Institute

Nous devons collectivement accorder plus d’attention aux risques dont la probabilité est faible mais l’impact élevé, car ils menacent de porter durablement atteinte au potentiel de l’humanité. Pour y parvenir, nous devons relever d’importants défis politiques et organisationnels.

Cet article s’adresse à un large éventail de décideurs, d’entrepreneurs, de professionnels, de chercheurs et d’autres personnes dont les intérêts se rapportent au lien entre le risque et l’innovation.

Au cours des 10 000 ans qui ont séparé la fin du Paléolithique et le début du XXème siècle, l’humanité avait bien plus à craindre un impact de météorite, une pandémie globale, ou encore une éruption volcanique que tout autre risque posé par homo sapiens. Bien que la technique se soit développée tout au long de cette période, les risques posés par les technologies émergentes ont été faibles, en comparaison de leurs bénéfices. Seulement, au milieu du XXème siècle, l’invention de l’arme nucléaire a rendu caduc ce constat. Pour la première fois, une technologie pouvait influencer disproportionnément le sort de l’humanité. Comme le font remarquer Nick Beckstead et Toby Ord du Future of Humanity Institute [1], aujourd’hui et demain, d’autres technologies émergentes pourraient poser un risque important pour une grande partie de la planète, voire même pour la survie de l’humanité.

Si nous soulignons ici les risques posés par certaines technologies émergentes, force est de constater que la technologie a significativement rendu nos vies meilleures, en France comme dans le reste du monde. Au cours des 150 dernières années, nous sommes devenus bien plus prospères. De 1820 à 1996, le pouvoir d’achat du salaire ouvrier français a été multiplié par 7,5 [2], principalement grâce aux gains de productivité rendus possibles par le progrès technologique. Les 150 dernières années ont aussi connu des améliorations sans précédent dans le domaine de la santé : l’espérance de vie en France est passée d’environ 40 ans à 80 ans.

Ces améliorations ne sont pas entièrement dues à des avancées technologiques (on ne saurait oublier l’apport de la protection sociale [3]), mais une grande partie d’entre elles le sont. Nous avons vu le coût des marchandises baisser considérablement en raison de la production de masse [4], le temps domestique se libérer grâce aux machines (machine à coudre, machine à laver, lave-vaisselle, réfrigérateur, etc.) [5], et des personnes reliées grâce aux moyens de transports et de communication (automobiles, chemins de fer, avions, téléphones, télévisions, et Internet). La santé publique a progressé grâce à des améliorations généralisées dans les domaines de l’hygiène, la vaccination, les antibiotiques, les transfusions sanguines, les produits pharmaceutiques et les techniques chirurgicales [6].

Il semble y avoir un consensus sur le fait que jusqu’à présent, les avantages des technologies émergentes l’ont emporté sur les nombreux types de risque qu’elles comportent, y compris les menaces qu’elles font peser sur les travailleurs de l’industrie, les communautés locales, les consommateurs ou l’environnement. Si ce constat était généralement valable, nous réalisons désormais que ce rapport coût-avantage a cessé d’être systématiquement positif : les risques de réchauffement climatique extrême associés aux émissions de gaz à effet de serre en constituent une bonne illustration.

Dès lors, si la gouvernance face aux risques “courants” des nouvelles technologies émergentes a pu être adaptée jusqu’alors, et qu’il est assez raisonnable de penser qu’une bonne gouvernance a réduit les risques auxquels nous avons fait face au cours des deux siècles précédents [7], la gouvernance doit désormais prendre en considération certains effets “extrêmes” des nouvelles technologies, au sens où leur probabilité d’occurrence est faible, mais l’impact, lui, particulièrement important.

En effet, certains événements catastrophiques pourraient causer l’extinction prématurée de l’humanité, ou la réduction permanente et drastique de son potentiel. On parle alors de risques existentiels, c’est-à-dire des risques à l’échelle planétaire et pour lesquels tout retour en arrière est impossible en cas de réalisation du risque, par opposition aux risques courants, ceux dont on peut se remettre, et qui ne sont pas nécessairement globaux (la fermeture d’usines dans un pays par exemple). Ces risques existentiels peuvent être d’origine naturelle (à l’instar de l’impact d’un grand astéroïde, d’un sursaut de rayons gamma, d’une supernova, d’une éruption supervolcanique, ou d’une pandémie au taux de mortalité très élevé) ou anthropique [8] (réchauffement climatique extrême lié aux émissions de CO2, une guerre nucléaire ou une superintelligence artificielle incontrôlable) [9]. Cet article se concentre sur les risques existentiels anthropiques car — c’est ce que nous allons aborder — la probabilité de ces risques apparaît nettement plus importante.

A la différence des risques existentiels, les risques courants des technologies doivent être réduits sans que cela remette en question leur développement : les risques en jeu ne justifient pas des mesures retardant volontairement leur développement [10]. C’est par exemple le cas de la 5G qui, bien que son utilité soit discutable, et qu’il faille continuer de veiller à ce que les émissions d’ondes électromagnétiques respectent les normes en vigueur pour être “sûres”, ne semble pas à ce jour poser de risque que l’on pourrait qualifier “d’existentiel” (pas de magnitude extrême des dommages liés à un désastre potentiel) [11]. Il en est de même pour la cigarette électronique. [12]

En revanche, les risques existentiels appellent à plus de prudence. L’hypothèse principale des chercheurs travaillant sur les risques existentiels est que nous n’avons peut-être pas encore perçu ou compris les effets les plus importants des risques liés à l’innovation technologique. Au cours des prochaines décennies, certaines avancées technologiques pourraient ainsi poser des risques importants et sans précédent à l’échelle mondiale. Les progrès des biosciences et de la biotechnologie pourraient permettre de créer des armes biologiques plus dangereuses que n’importe quelle maladie à laquelle l’humanité s’est confrontée jusqu’à présent ; les technologies de géo-ingénierie pourraient donner à chaque pays la possibilité de modifier unilatéralement le climat de la planète ; des progrès rapides en intelligence artificielle sans recherches suffisantes sur notre capacité à contrôler ces machines pourraient causer des accidents catastrophiques.

Ces scénarios sont extrêmes mais, selon un grand nombre de chercheurs qui les ont étudié [13][14] , il est important de les prendre au sérieux. En effet, en dépit de leur très faible probabilité, ils mettent en jeu rien de moins que le bien-être de l’humanité. Pour éviter autant que possible les résultats catastrophiques tout en exploitant les avantages potentiellement importants de ces nouvelles technologies, nous devons continuer de développer notre compréhension de ces risques, et nous assurer que les institutions — quand elles existent — en charge de les surveiller et d’élaborer des politiques sont adaptées à cet objectif.

Les sections suivantes explorent les risques à conséquences majeures que nous pouvons déjà anticiper, introduisent les défis économiques et politiques à relever pour gérer ceux que nous connaissons (nous n’avons probablement pas encore envisagé et anticipé tous les risques importants) et discutent de ce que nous pouvons faire aujourd’hui pour essayer de profiter du potentiel de ces technologies tout en gardant les menaces existentielles à un niveau suffisamment bas. L’objectif est de maximiser la probabilité d’un résultat acceptable. Pour cela, nous devons continuer à étudier ces risques spécifiques ; nous doter d’un cadre institutionnel qui permette de les gérer de manière appropriée ; soutenir des programmes qui réduisent directement les risques existentiels ; et retarder le développement de technologies dangereuses tout en accélérant le développement de technologies bénéfiques, notamment celles qui réduisent les dangers associées aux autres technologies.

Risques existentiels anthropiques et risques existentiels naturels

Comme précisé plus haut, un risque existentiel est défini comme un risque dont la réalisation impliquerait l’extinction prématurée de l’humanité, ou la disparition permanente et drastique de son potentiel. Ces risques peuvent être d’origine naturelle ou résulter de l’action de l’être humain.

Les données historiques montrent que des espèces comme la nôtre sont rarement détruites par des catastrophes naturelles. Nous autres homo sapiens existons depuis 200 000 ans. Notre ancêtre le plus proche, homo erectus, a survécu pendant environ 1,8 million d’années. L’espèce mammifère a une durée de vie médiane d’environ 2,2 millions d’années [15]. En utilisant ces informations, des chercheurs en ont conclu que la probabilité que l’humanité s’éteigne de causes naturelles au cours d’un siècle est presque garantie d’être inférieure à 1 sur 14 000, et probablement inférieure à 1 sur 87 000 [16]. Si ces estimations sont loin de faire consensus et qu’il convient d’être prudent, elles montrent que des experts attribuent généralement une probabilité assez faible à la réalisation d’un risque existentiel d’origine naturelle au cours du siècle à venir [17].

Les données historiques relatives aux risques anthropiques sont en revanche plus inquiétantes. Le développement de la fission nucléaire et de la bombe atomique a marqué un tournant historique : pour la première fois, une technologie rend possible l’annihilation de centaines de millions de personnes directement, ou de milliards de personnes en considérant les effets subséquents d’un hiver nucléaire sur l’agriculture. [18] Heureusement, nous n’avons pas encore vu de catastrophe nucléaire de cette ampleur, mais d’aucuns estiment que nous n’en sommes pas passés loin [19].

Le président américain John F. Kennedy a reconnu après coup que lors de la crise des missiles cubains de 1962, les chances d’une guerre nucléaire avec la Russie lui semblaient alors “quelque part autour d’une sur trois, voire plus”. À la lumière de cette expérience, il n’est pas certain que nous puissions survivre le prochain siècle sans faire face à une catastrophe mondiale d’origine technologique telle qu’une guerre nucléaire. Par ailleurs, au cours des prochaines décennies, le monde peut s’attendre à ce que plusieurs nouvelles technologies puissantes posent des risques — par accident ou par intention — au moins aussi importants, voire plus importants, pour l’humanité. Voici une liste non exhaustive d’exemples [20].

1. Pathogènes modifiés

Des pandémies telles que la grippe espagnole et le VIH ont tué des dizaines de millions de personnes. La variole seule a fait plus de 300 millions de morts au cours de la première moitié du vingtième siècle. Comme la crise actuelle du COVID-19 nous le rappelle, les pandémies restent une menace puissante. Cependant, les pressions de la sélection naturelle limitent le potentiel destructeur des pathogènes, puisqu’un pathogène suffisamment virulent et transmissible éliminerait son hôte. Comme certains chercheurs l’ont montré, la bio-ingénierie pourrait être utilisée pour dépasser les limites naturelles de la virulence et de la contagiosité, ayant pour conséquence des pandémies d’une ampleur et d’une gravité sans précédent.

Pour un exemple d’augmentation du taux de mortalité, considérons le virus de l’ectromélie, une maladie qui normalement n’est pas mortelle chez la souris. En 2001, des chercheurs australiens ont modifié l’ectromélie, faisant accidentellement passer son taux de létalité à 60 %, même chez les souris immunisées contre la forme originale [21]. En 2003, sous l’égide de Mark Buller (chercheur de renommée mondiale sur les poxvirus) des chercheurs ont trouvé un moyen de faire grimper le taux de létalité à 100 %, même si l’équipe a également trouvé des thérapies qui pourraient protéger la souris de la version modifiée du virus [22].

De nombreuses préoccupations ont été exprimées à propos des risques catastrophiques et existentiels associés aux pathogènes modifiés. Par exemple, George Church, un pionnier dans le domaine de la biologie synthétique, a déclaré :

« Alors que la probabilité d’utilisation abusive des oligos pour accéder à des virus humains presque disparus (par exemple, la polio) ou à des nouveaux pathogènes (comme le IL4-poxvirus) est faible, les conséquences sont plus importantes que les armes chimiques et nucléaires, car les armes biologiques sont peu coûteuses, peuvent se propager rapidement dans le monde entier et évoluer toutes seules [24]. »

De même, Richard Posner [25], Nathan Myhrvold [26] et Martin Rees [27] ont fait valoir qu’à l’avenir, un pathogène modifié avec la combinaison appropriée de virulence, de contagiosité et de délai dans l’apparition des symptômes poserait une menace existentielle pour l’humanité. Malheureusement, les progrès dans ce domaine seront beaucoup plus difficiles à contrôler que les armes nucléaires, car la connaissance et l’équipement nécessaires pour concevoir des virus sont modestes en comparaison avec ce qu’implique la création d’une arme nucléaire [28]. Il est possible qu’une fois la discipline devenue plus mature au cours des prochaines décennies, un seul groupe terroriste soit en mesure de développer et de déployer des agents pathogènes modifiés. À partir du moment où le domaine est mature et ses outils sont distribués à travers le monde, il peut devenir très difficile de se défendre contre un tel risque.

Cela plaide en faveur d’un développement continu :

1. de la recherche permettant d’élaborer des politiques de régulation,
2. d’une cellule d’information pour nous assurer que nous connaissons les risques d’utilisations abusives de certaines technologies,
3. d’une structure réglementaire mature et adaptative afin de faire en sorte que l’utilisation civile des biotechnologies puisse être développée pour maximiser les avantages et minimiser les risques.

Nous abordons ici ces risques pour insister sur quelques uns des « pires scénarios » qui méritent d’être considérés davantage. Il convient tout de même de préciser que des avancées dans ces domaines sont susceptibles d’avoir des conséquences positives dans la médecine, l’énergie et l’agriculture. Elles pourraient même jouer un rôle important (c’est le cas de la bio-ingénierie) dans la prévention des pandémies liées à des pathogènes modifiés, qui représentent une des menaces existentielles les plus importantes décrites dans cet article.

1. Intelligence Artificielle

L’intelligence artificielle (IA) est la science et l’ingénierie de machines intelligentes. Des systèmes d’IA restreinte — tels que Deep Blue [29], des algorithmes de trading, ou Watson d’IBM [30] — ne fonctionnent que dans des domaines spécifiques. En revanche, certains groupes de recherche travaillent sur des techniques d’intelligence artificielle plus générales, pour permettre aux machines, à terme, de raisonner et de planifier dans tous les domaines, comme les humains le peuvent. Cette capacité de généralisation n’existe aujourd’hui que sous des formes très primitives [31].

De nombreux experts ont fait valoir que les développements à long terme de l’intelligence artificielle pourrait avoir des conséquences catastrophiques pour l’humanité au cours du siècle à venir [32], tandis que d’autres sont plus sceptiques [33]. Les chercheurs en IA ont des opinions divergentes sur la date à laquelle les systèmes d’IA dotés de capacités générales avancées seront développés, mais également sur le fait que ces développements pourraient effectivement poser des risques importants, et enfin sur le degré de sérieux avec lequel il faudrait considérer ces scénarios radicaux.

En 2016, l’organisation AI Impacts [34] a interrogé un panel important de chercheurs en IA les plus cités en leur demandant quand des systèmes d’IA avancés pourraient être développés, et quelles en seraient les conséquences probables. L’enquête a défini une « intelligence artificielle de haut niveau » (en anglais HLMI) comme une machine « capable d’exécuter la plupart des professions humaines au moins aussi bien qu’un humain typique », et a demandé aux chercheurs à quelle année ils attribueraient 10 %, 50 % ou 90 % de probabilité subjective qu’une telle IA existe. Ils ont également demandé si les conséquences globales pour l’humanité seraient « extrêmement bonnes », « dans l’ensemble bonnes », « plus ou moins neutres », « dans l’ensemble mauvaises » ou « extrêmement mauvaises (catastrophe existentielle) ».

Voici un résumé de 355 réponses apportées par les chercheurs : le répondant médian a attribué une probabilité de 10 % de HLMI en 2031, une chance de 50 % de HLMI en 2056 et une chance de 90 % de HLMI en 2116. Pour l’impact sur l’humanité, le répondant médian a attribué 20 % à « extrêmement bien », 45 % à « bien dans l’ensemble », 20 % à « plus ou moins neutre », 10 % à « dans l’ensemble mauvais » et 5 % à « extrêmement mauvais (catastrophe existentielle) » [35].

Ce serait cependant une erreur de prendre telles quelles les estimations de probabilité de ces chercheurs, pour plusieurs raisons. Premièrement, la véritable expertise des chercheurs en IA réside dans le développement de systèmes d’IA, et non dans la prévision des conséquences pour la société des développements radicaux dans le domaine. Deuxièmement, les prévisions concernant l’avenir de l’IA ont un bilan historique mitigé [36]. Troisièmement, ces « probabilités subjectives » représentent les degrés de confiance personnels des individus et ne peuvent être considérées comme une sorte d’estimation précise d’un risque objectif.

En fait, on peut se demander s’il existe une véritable expertise dans la prévision de l’avenir à long terme de l’IA [37], et on ne sait pas dans quelle mesure les chercheurs en IA seraient meilleurs que d’autres personnes bien informées. Toujours est-il que le risque de résultats « extrêmement mauvais » pour l’humanité résultant des progrès à long terme en IA n’est plus un fantasme. Depuis la publication de Superintelligence par Nick Bostrom en 2013, et les réactions de quelques personnalités publiques, le débat autour du risque existentiel lié à l’IA a été fortement relancé. Comme le note Stuart Russell dans son ouvrage Human Compatible, ces préoccupations sont largement sorties du domaine de la science-fiction. De nombreuses figures influentes, telles que Yann Le Cun ou Andrew Ng, reconnaissent la nécessité de garder le contrôle sur cette technologie, même s’ils ont une estimation basse de la probabilité d’une catastrophe au cours de ce siècle. D’autres, comme Stuart Russell ou Richard Sutton, considèrent des échelles de temps plus courtes, soulignant l’importance d’une recherche préventive, à initier sans délai.

Les défis de la gestion des risques existentiels des technologies émergentes

Les risques existentiels des technologies émergentes posent des défis particuliers à la réglementation, pour les raisons suivantes:

1. Les enjeux d’une catastrophe existentielle sont extrêmement importants, de sorte qu’un risque extrêmement faible peut entraîner un coût escompté inacceptable. Par conséquent, nous devons rechercher un degré élevé de certitude que toutes les mesures raisonnables ont été prises pour minimiser les risques existentiels avec une base de référence scientifique suffisante.
2. Toutes les technologies examinées ci-dessus seront probablement difficiles à contrôler (beaucoup plus difficiles que les armes nucléaires). Des petits états ou même des acteurs non étatiques pourraient un jour être à l’origine de catastrophes aux conséquences mondiales majeures.
3. Le développement de ces technologies peut être extrêmement rapide et surprendre le monde politique et scientifique. Il est donc important d’examiner attentivement les risques existentiels que ce soit dans l’innovation à la frontière technologique, dans des programmes de prospective, dans des évaluations des risques et des incertitudes, et mais aussi la recherche permettant l’élaboration de politiques publiques.
4. Contrairement aux risques avec des enjeux plus faibles, nous ne pouvons pas compter sur l’apprentissage pour gérer les risques existentiels par essais et erreurs. Au lieu de cela, il est important que les pouvoirs publics étudient les risques existentiels potentiels et élaborent des réponses appropriées même lorsque la menace potentielle et les options pour l’atténuer sont très incertaines ou spéculatives.

Lorsque nous cherchons à maintenir et à développer les institutions adaptatives nécessaires pour gérer les risques existentiels des technologies émergentes, certains défis politiques méritent d’être examinés :

1. La réduction du risque de catastrophe existentielle est un bien public mondial, car toute l’humanité en profite [40]. Les marchés ne sont pas adaptés pour valoriser ces biens à leur juste valeur, et une coopération à grande échelle est souvent nécessaire pour y remédier. Même un grand pays agissant dans l’intérêt de ses citoyens peut être incité à sous-investir dans la réduction du risque existentiel. Pour certaines menaces, la situation peut être encore pire, car même un seul pays dissident pourrait poser de graves problèmes.
2. Les mesures prises pour nous préparer aux risques existentiels des technologies émergentes seront inévitablement spéculatives, ce qui rend difficile de parvenir à un consensus sur la façon de réagir.
3. Les mesures que nous pourrions prendre pour atténuer ces risques impliqueront probablement une réglementation. Les coûts d’une telle réglementation seraient probablement concentrés sur les régulateurs et les industries, tandis que les avantages seraient largement dispersés et largement invisibles — une recette classique pour échouer à réglementer.
4. De nombreux avantages de la minimisation des risques existentiels reviennent aux générations futures, et leurs intérêts sont à intégrer directement dans la prise de décision politique.

Conclusion

Au cours des prochaines décennies, nous pourrions être confrontés à des risques existentiels provenant d’un certain nombre de sources, notamment le développement d’agents pathogènes artificiels ou l’intelligence artificielle avancée, même s’il en existe bien d’autres [41]. En réponse, nous devons tenir compte de ces risques dans le contexte (1) des efforts d’innovation technologique, (2) des programmes de prospective, (3) des évaluations des risques et des incertitudes et (4) de la recherche orientée vers l’élaboration de politiques. Cela peut impliquer des défis politiques et de coordination importants, mais étant donné les enjeux tout aussi importants, nous devons prendre des mesures raisonnables pour nous assurer de réaliser pleinement les gains potentiels de ces technologies tout en réduisant au minimum les risques existentiels.

Remerciements

Cet article a été fortement inspiré de l’article de Nick Beckstead et Toby Ord (chercheurs au Future of Humanity Institute de l’Université d’Oxford) : managing existential risk from emerging technologies, publié par le Conseil Scientifique du Royaume-Uni en 2014.

Mes remerciements vont particulièrement à Jérémy Perret (Docteur en IA) pour sa contribution sur l’Intelligence Artificielle, ainsi qu’à d’autres membres d’Altruisme Efficace France (Edouard Mathieu, Flavien Parant, Adam Shimi, Florent Berthet, Guillaume Corlouer et Antonin Broi) pour leur relecture attentive.

Sources

[1] Le Future of Humanity Institute (FHI, Institut pour l’Avenir de l’Humanité) est un centre de recherche interdisciplinaire de l’université d’Oxford, se consacrant aux questions concernant l’humanité et son avenir. Partageant des locaux et travaillant en collaboration avec le Centre for Effective Altruism, l’objectif de l’Institut est d’orienter les recherches vers le plus grand bien pour l’humanité à long terme.

[2] https://www.epsilon.insee.fr/jspui/bitstream/1/53633/1/f9702.pdf

[3] https://fr.wikipedia.org/wiki/Esp%C3%A9rance_de_vie_humaine#De_1900_%C3%A0_2000

[4] https://en.wikipedia.org/wiki/Mass_production#Socioeconomic_impacts

[5] Le temps domestique et parental des hommes et des femmes : quels facteurs d’évolutions en 25 ans ? Clara Champagne et. al., ECONOMIE ET STATISTIQUE, INSEE, 2015.

[6] https://fr.wikipedia.org/wiki/Sant%C3%A9#Domaines_de_la_sant%C3%A9_publique

[7] https://www.researchgate.net/publication/227792203_The_Importance_of_Governance_in_Risk_Reduction_and_Disaster_Management

[8] Résultant de l’action de l’être humain

[9] https://fr.wikipedia.org/wiki/Risque_de_catastrophe_plan%C3%A9taire

[10] Bien sûr, le retardement du déploiement d’une technologie peut être décidé pour d’autres préoccupations que les risques inhérents de la technologie pour le bien-être du plus grand nombre (choix politiques, idéologiques, etc.)

[11] https://en.wikipedia.org/wiki/Wireless_device_radiation_and_health

[12] https://fr.wikipedia.org/wiki/Cigarette_%C3%A9lectronique#Toxicit%C3%A9

[13] https://www.nickbostrom.com/existential/risks.html

[14] https://en.wikipedia.org/wiki/Centre_for_the_Study_of_Existential_Risk

[15] Matheny, Jason G. (2007) “Reducing the risk of human extinction.” Risk analysis 27, 1335–1344, p. 1336.

[16] http://amirrorclear.net/files/an-upper-bound-for-the-background-rate-of-human-extinction.pdf

[17] Pour plus de détails, voir Bostrom, Nick, and Milan M. Cirkovic, eds. (2008). Global catastrophic risks. Oxford University Press.

[18] https://en.wikipedia.org/wiki/Nuclear_winter#Criticism_and_debate

[19] https://www.chathamhouse.org/sites/default/files/field/field_document/20140428TooCloseforComfortNuclearUseLewisWilliamsPelopidasAghlani.pdf

[20] Pour plus de détails, voir l’ouvrage Ord, Toby (2020). The Precipice: Existential Risk and the Future of Humanity.

[21] Jackson, Ronald J., et al. (2001). “Expression of mouse interleukin-4 by a recombinant ectromelia virus suppresses cytolytic lymphocyte responses and overcomes genetic resistance to mousepox.” Journal of Virology 75: 1205–1210; Nowak, R. “Disaster in the making.” New Scientist; January 13, 2001. Ramshaw, I. XIII International Poxvirus and Iridovirus Symposium, Montpellier, France; September 2000.

[22] Buller, R.M.L. Smallpox BioSecurity: Preventing the Unthinkable, Geneva, Switzerland; October 21–22, 2003

[23] https://fr.wikipedia.org/wiki/Oligonucl%C3%A9otide

[24] Church, George. (2004). A synthetic biohazard non-proliferation proposal, Cambridge, MA: Harvard University. URL: http://arep.med. harvard.edu/SBP/Church_Biohazard04c.htm

[25] Posner, Richard. (2004). Catastrophe: Risk and Response. p. 5. (Oxford University Press, Oxford).

[26] Myhrvold, Nathan. (2013). “Strategic Terrorism: A Call to Action,” in the Lawfare research paper series.

[27] Rees, Martin. (2003). Our Final Century. (Heinemann, London).

[28] Ibid. p. 48.

[29] https://fr.wikipedia.org/wiki/Deep_Blue

[30] https://fr.wikipedia.org/wiki/Watson_(intelligence_artificielle)

[31] Par exemple, DeepMind a développé Agent57, le premier agent d’apprentissage de renforcement profond à obtenir un score supérieur à la base humaine sur l’ensemble des 57 jeux Atari 2600. Agent57 combine un algorithme d’exploration efficace avec un méta-contrôleur qui adapte l’exploration et le comportement à long terme de l’agent. DeepMind, 2020, “Agent57 : Outperforming the Human Atari Benchmark”, https://deepmind.com/blog/article/Agent57-Outperforming-the-human-Atari-benchmark

[32] Pour la discussion la plus détaillée de cet ensemble de problèmes, voir Bostrom, Nick. (2014). Superintelligence: chemins, dangers, stratégies. Oxford University Press. Ou encore plus récemment Russell, Stuart (2019). Human Compatible: Artificial Intelligence and the Problem of Control.

[33] Allen, Paul, and Greaves, Mark. (2011). “The Singularity Isn’t Near.” Technology Review. October, 12, 2011. Dennett, Daniel. (2012). The Mystery of David Chalmers. Journal of Consciousness Studies, 19(1), 86. Horvitz, E., & Selman, B. (2009). Interim Report from the Panel Chairs. AAAI Presidential Panel on Long Term AI Futures. Prinz, Jesse. (2012). Singularity and inevitable doom. Journal of Consciousness Studies, 19(7–8), 77–86. Searle, John. (2014). “What Your Computer Can’t Know.” New York Review of Books.

[34] https://aiimpacts.org/2016-expert-survey-on-progress-in-ai/

[35] Müller, Vincent C. and Bostrom, Nick. (forthcoming), ‘Future Progress in Artificial Intelligence: A Poll Among Experts’, Journal of Experimental and Theoretical Artificial Intelligence, Special Volume “Impacts and risks of artificial general intelligence” ed. V. Müller. Available at http://www.nickbostrom.com/papers/survey. pdf

[36] Armstrong, S., Sotala, K., & Ó hÉigeartaigh, S. (2014). “The errors, insights and lessons of famous AI predictions–and what they mean for the future.” Journal of Experimental & Theoretical Artificial Intelligence.

[37] Armstrong, S., Sotala, K., & Ó hÉigeartaigh, S.(2014). “The errors, insights and lessons of famous AI predictions–and what they mean for the future.” Journal of Experimental & Theoretical Artificial Intelligence.

[38] See Posner (2004, Chapter 3) and Matheny (2007).

[39] https://fr.wikipedia.org/wiki/Fronti%C3%A8re_technologique

[40] Feldman, A. (1980) Welfare economics and social choice theory. Boston, MA: Martinus Nijhoff Publishing. Kaul, Inge, Isabelle Grunberg and Marc A. Stern (eds.) (1999). Global public goods: international cooperation in the 21st century. NY: Oxford University Press.

[41] Pour plus de détails, voir l’ouvrage Ord, Toby (2020). The Precipice: Existential Risk and the Future of Humanity.

Gérer les risques existentiels posés par des technologies émergentes was originally published in Altruisme Efficace on Medium, where people are continuing the conversation by highlighting and responding to this story.

When it was available, I ordered some copies and put them on my shelf. Yesterday, a friend of mine took one of them, and started reading. Then, she told me :

“I’ve just seen a typo in your book. I don’t know how you manage to do things in the world, even though you know they’re not perfect. I just cannot do something if it’s not perfect. As a result, I’ve never done anything important. ”

Quite surprised, I waited a few seconds. Then, I replied :

“Perfectionism is about where you’ll stop, not where you start”.

I know what I’ve written is not perfect. Maybe there are some mistakes. Maybe one or two words are lacking, even after 5 attempts at re-reading the all thing.

I could probably have done more. But, as everything you’re working on, there are some trade-offs between improving its quality and making it available.

Let’s take for granted that the more I would have spent time on re-writing my script, the greater it would have been.

The point is that my goal was not reaching highest level of quality. Rather : reaching a good enough level of quality given some time constraints, so that I can validate my idea, and not spending more time on something worthless.

When creating something, we often have an inclination to put all our efforts aimed at improving quality before launching it, as if once shared with the world, our product/creation won’t evolve. Let’s called that phenomenon the narrative of the frozen product.

That’s why some people want their creation to be perfect.

The problem with this approach is that you can fall in the build trap, i.e, spending too much time building something that nobody wants. If this is a good reason for not trying to maximize the amount of time you spend building your product, there’s another one : the fact that your time is precious. You might already know that, but chances are that if you’re building something, you’re not only doing that. Some people write books or lead projects as a side activity, and dedicate most of their time to the things they have to do. In this context, most people just cannot allow themselves to spend all their time maximizing the quality of their creation before launching.

In other words, in most cases (except if you’re building a nuclear power plant, please be a perfectionist from the beginning — quite kidding, it doesn’t have to be perfect. The ‘point’ on the curve where it’s “good enough” will be far higher than the book’s one, but it still won’t be perfect, just safe enough), trying to maximize the quality of your creation before testing it in the real world is not the optimal strategy.

Have you ever heard about Jiro Ono? He’s the world’s greatest sushi chefs. He has been working the same job for over 80 years. He is such a perfectionist that he will even make his sushi different sizes for different customers. Each of his sushi has to be better than the last time. As Jiro puts it : “You must dedicate your life to mastering a skill. This is the key to success. All I want to do is make better sushi. “

The quality of his production over decades looks more like the green curve that follows. It’s probably a wrong representation, but the point is just to show you that most of the quality improvement happened after he sold his first sushi.

I’m not here to tell you that you should work as hard as him. Just that it’s a nonsense to think that perfectionism is only about when you start. Jiro is the greatest example that perfectionism is where you’ll stop. For him, the answer is never. For others, it will be when they reach the maximum level of quality they wanted to reach. But in each case, they will have started by doing something imperfect.

50+ summaries of articles, talks, and books about cellular agriculture to help you learn and improve

For all of 2019, whenever I read a book or article on cell ag valuable enough for me to take notes from it, I’ve added it to this post. It serves as my reference list, and I hope it will be helpful for you.

You can find the whole reading list below — within the broader categories, the resources don’t follow a particular order.

Cellular agriculture

Topics around cultured products science, start-up strategy, customer acceptance, market trends, regulations, and so on.

Introductory resources

General

‘6 terms changing food forever’ by Cell Agri (10 min read). A short introduction to cellular agriculture, acellular agriculture, cell cultures, cell lines, cell culture serum, and cultured meat. You’ll learn that from cultured meat to various acellular agriculture products, there is a lot of versatility behing what can be made from cell cultures.

‘Is the Future of Meat Animal-Free ?’ by Liz Specht (20 min read). The author shows how advances in cell culture research are making commercialization of cultured meat closer to reality, potentially resulting in positive impacts on food safety, and sustainability.

‘Cellular Agriculture : the future of food’ by Cell Agri (14 minute read). From the first lab-grown beef burger ($330,000 to produce), in 2017, the price was down to $11.36 for a cell cultured beef burger. This drastic decline in price, along with growing investments in the field, is a promising sign that cellular agriculture can grow to be a successful alternative to conventional livestock agriculture.

‘Cellular agriculture : an extension of common production methods for food’ by the Good Food Institute. This paper outlines the history of safe protein production via fermentation for food applications, and shows that cellular agriculture can be treated as an extension of fermentation-based technologies, even though it has its own technical challenges.

‘An introduction to cellular agriculture’ by Ahmed Khan. This free e-book gives an overview of the field of cellular agriculture, including the basics of the concept, key terms, challenges in scaling up the technology, cellular agriculture products and regulatory aspects.

‘Clean Meat: How Growing Meat Without Animals Will Revolutionize Dinner and the World’ , by Paul Shapiro. In this book, the author allows you to discover the story of the birth of the cultured meat industry.

‘Growing meat sustainably : the clean meat revolution’ by Isaac Emery (20 minutes read). A zoom on the different ways cultured meat could address environmental challenges by conserving land and water, preserving habitant, reducing greenhouse gas emissions, and preventing manure pollution and antibiotic overuse.

‘Cultured Meat and Future Food Podcast’ by Alex Shirazi. A great series of podcasts where you can hear experts of the field sharing their views of cellag’s present and future.

Science

‘Labs are the New Farms’ by Isabella Grandic (16 min read). An in-depth (funny) look at how cultured meat is made, and the challenges the field is currently facing. You’ll learn that the recipe of culturing meat is 1) grabing stem cells 2) giving it the resources needed (growth medium, scaffolds, circulation system, sensors, recycling mechanism, bioreactors, etc) 3) housing it in the tank system to let the cells proliferate and differentiate 4) cleaning out the cells and prepare them for adding in fat. The biggest challenge are : tracking nutritional value, ensuring products are consistent and as good than their animal counterparts.

‘Plant-Based and Clean Meat Mooc’ by the Good Food Institute (6 week course). A free online introductory course exploring the science behind plant-based and cultured meat. This course covers the biological and chemical processes used to produce plant-based meat an cultured meat, the environmental and economic drivers behind these market sectors, and the dietary roles of proteins.

‘Overcoming the hurdles of cultured meat’ by Isabella Grandic (11 min read). A focus on the main three challenges of cellular agriculture start-ups : the price of products, scalability, and consumer acceptability.

Research

All-in-one

‘How it’s made : the science behind cultured, clean, and cell-based meat’ by Elliot Swartz (5 hours read). This great series provides an in-depth look at how the cultured meat technology is being developed, the scientific hurdles to overcome to achieve success, and its potential to shape the future of food. It’s THE resource you need to learn more about cell lines, bioprocessing and bioengineering.

Media

‘An analysis of culture medium costs and production volumes of cell-based meat’ by Liz Spech (2 hour read). It is likely that cell-based meat can achieve price parity with mainstream conventional meat once produced at industrial scale. Cell culture medium can be produced completely free of animal-derived components and at scales and price points several orders of magnitude lower than current bench-scale costs without relying on fundamentally new technologies or innovations. The yield and efficiency of cell-based meat production can be influenced through many variables within the design and operation of the industrial-scale manufacturing process.

‘Patent Analysis: Memphis Meats and Glutamine Synthetase’ by Faraz Harsini (10 minutes read). A major challenge in large scale cell cultures is controlling the levels of ammonia. Glutamine Synthetase helps by taking some of the excess ammonia and converting it into glutamine, an important amino acid and alternative energy source.

Scaffolding

‘Tissue Engineering for Clean Meat Production’ by Tom Ben-Arye and Shulamit Levenberg (1 hour read). Tissue engineering is a promising platform for creation of meat in a controlled, animal-free environment. It requires a shift in optimization parameters, with greater emphasis on inexpensive, animal-free biomaterials, efficient expansion of farm animal cells, tissue engineering of intramuscular fat, and analysis methods focusing on nutritional value and organoleptic properties. Implementation of tools and knowledge from the fields of food engineering and meat science will help develop novel research opportunities, such as tissue engineering of intramuscular fat or the generation of novel flavor-enhancing scaffolds. Clean meat scaffolds should be generated from edible biomaterials and designed to mimic the connective tissues of the muscle. Finally, multicellular seeding of muscle cells, fibroblasts, ECs and adipocytes inside such scaffolds can yield engineered muscle tissues with meat-like properties.

Bioreactors

‘Bioprocess Design Considerations for Cultured Meat Production With a Focus on the Expansion Bioreactor’ by Scott J. Allan et. al. (1 hour read). This review highlights the vital aspects of a cultured meat bioreactor design that are often overlooked when parallels are drawn against fermentation processes such as brewing or recombinant protein production in the pharmaceutical industry.

‘Patent Analysis : Integriculture + Landscape Analysis’, by Robert Yaman (15 min read). Culnet is a bioreactor system designed to lower the cost of media by using feeder cells. In a Culnet system, a central tank containing muscle cells is connected to one or more peripheral tanks containing feeder cells like liver and placental cells. The feeder cells secrete growth factors which are circulated through the system by a central controller. This mimics natural processes in the body, where organs secrete growth factors which are circulated to other tissues via the bloodstream.

Customer acceptance

‘The Impact of Framing on Acceptance of Cultured Meat’ by Christopher Bryant et. al. (1 hour read). They demonstrate that that those who encounter cultured meat through the “high tech” frame have significantly more negative attitudes toward the concept, and are significantly less likely to consume it. Implications for producers and researchers are discussed.

‘Cultured meat acceptance : a literature review’ by Alexander Holst (5 min read). The researchers recommend that advocate prioritize concerns about safety of cultured meat, notably, any related perceptions of unnaturalness.

Cultured fish

‘Cell-Based Fish: A Novel Approach to Seafood Production and an Opportunity for Cellular Agriculture’ by Natalie Rubio et. al. (1 hour read). The authors find that the physiological properties of fish cell- and tissue-culture may be uniquely suited to cultivation in vitro. These physiological properties, including tolerance to hypoxia, high buffering capacity, and low-temperature growth conditions, make marine cell culture an attractive opportunity for scaled production of cell-based seafood. But to become fully realized, cell-based seafood research will require more understanding of fish muscle cell and tissue cultivation; more investigation into serum-free media formulations optimized for fish cell culture; and bioreactor designs tuned to the needs of fish cells for large scale production.

Market

‘How will cultured meat and meat alternatives disrupt the agricultural and food industry ?’ by Dr. Carsten Gerhardt et. al. (1 hour read). Cultured meat is expected to disrupt the conventional meat industry. This disruption is supported by a general shift toward consumption of non-meat proteins (for example, legumes and nuts) as a consequence of new lifestyle trends, all aimed at a more sustainable and healthier diet, as well as regulatory measures against conventional meat.

‘Competition, Disruption, and Deception — Global Trends 2018–2023’ by Paul A. Laudicina et. al. (1 hour read). The global food industry is experiencing a profound disruption. More consumers prefer eating “clean foods” that are healthier and more environmentally sustainable. And technological innovations in food production are enabling a new meat mix that will change how people around the world consume protein.

‘State of the Industry Reports’ by the Good Food Institute. The report on cultured meat covers the top companies in the space (in 2018), discusses key regulatory updatres in the US, and provides the first deep analysis of the investment landscape.

Innovation and start-ups

‘What cultured meat start-ups can learn from Tesla’s story’ by Tristan Roth (18 minute read). If scalability is held back by the high cost of cultured meat production, build a Tesla-like gigafactory that brings the cost down, and work on reducing all costs. cultured meat start-ups could aim at “accelerating the advent of sustainable meat production”. They would build cultured meat so great that it would change the public’s expectations of what meat should be, so that the whole (meat) industry would have to adjust to that new expectation.

‘The Good Food Startup Manual’ by (self-explanatory). This great guide lays out all the steps involved in starting a cultured meat company. By all steps, I mean from A to Z : the idea, the funding step, commercialization, growth, and so on. Every section contains real insights from experts in the field.

‘Interview : Matt Gibson, CEO of New Culture Foods’ by Ahmed Kahn (9 minute read). Matt is the CEO and co-founder of New Culture Foods, a startup that uses cellular agriculture to make dairy cheese without requiring cows. You’ll know how to get started and involved in the space. How to find a passionate co-founder. How the right accelerator can push your team to make mor progress than imagined.

‘Founding a cultured meat start-up in Europe’ by Tristan Roth (30 minutes read). It’s the first post I had written on cultured meat, and I’ve learned far more since. Even though some pieces of information might be outdated, I think there are still some good insights for people who’re interested in starting a cultured meat company.

‘An Ocean of Opportunity, action paper’ by the Good Food Institute (3 hour read). A white paper exploring the possible development and commercialization of plant-based and cell-based seafood. It is described as an immensely promising approach for alleviating pressure on both wild fisheries and aquaculture systems.

‘The next billion dollar company will be in lab-grown meat’ by Isabella Grandic (10 min read). The author shows that all the planets are aligned for cultured meat startups, even though they must before resolve the challenges that hold them back from scaling up : the expense of the medium, cost of the microcarriers and designing + implementing bioreactor systems.

‘Cellular agriculture : The products leading a revolution’ by Cell Agri (8 min read). Learn more about some of the upcoming products in each sector and when to expect them.

Communication

‘Six tips for talking about cultured meat’ by Jo Anderson (7 minute read). On the importance on explaining what cultured meat is (real meat grown from animal cells, so that people will be able to have meat without the need to raise and slaughter farm animals in the future). They recommend the use of the name clean meat, because it’s the only term that has been empirically tested and validated (we need more studies on that, because it’s really non-obvious that using the term ‘clean’ is really the best thing to do). They also recommend talking about benefits of cultured meat, letting people express their concerns, and talking about the growing interest in the cell-culture technology. Their final advise is to be authentic when sharing all these pieces of information.

‘Messages to overcome naturalness concerns in clean meat acceptance : primary findings’ by Jo Anderson & Chris Bryant (2 hour read). A focus on the unnaturalness of conventionally-produced meat is more likely to be effective. Providing potential consumers with positive educational messaging about the benefits and characteristics of cultured meat may be a good way to reduce the emphasis on naturalness before it becomes the focus of the conversation. They recommend that future research do more to examine which aspects of educational messages are most effective in increasing acceptance rates (information about the taste, texture, and nutritional profile, health, environment, animals).

‘Naturalness concerns and clean meat acceptance’ by Jo Anderson (8 minute read). A kind of shorter version of the paper above. In this Faunalytics study, acceptance of cultured meat was higher than what had been observed in many previous studies. Telling potential customers about the unnatural side of conventional meat was effective. Describing conventional meat as unnatural produced the most acceptance of cultured meat. Trying to directly reduce naturalness concerns was ineffective.

Regulations

‘Cell based meat regulation is coming’ by Cell Agri (9 minute read). A zoom what the USDA and FDA meant by ‘establishing the basic framework for regulating human food products derived from cutltured livestock and poultry cells’. Some questions still remain unanswered : what about cell-based fish, or acellular products ? But anyway, it’s promising that these institutions agreed upon the basic regulatory framework for cell-cultured meat.

News

‘July 2019 : The Month in Review by CellAgri’ (10 minute read). This monthly series gives you the best of what’s happening in the field. You could learn that one of the major themes explored at New Harvest 2019 was how to scale the field next (by far the topic that I care the most about — some want to die on Mars, I want to die facing a cultured meat gigafactory. Or maybe not dying). Now that research and companies have shown that it is possible to make the future of food with cellular agriculture, how will we take it to the next level of production ? You’ll also learn that Perfect Day was the first cell ag company to bring its products to market.

‘Cubiq Foods & Future Fields bring cellular agriculture to Spain and Canada’ by Cell Agri (12 min read). Shows how these new start-ups being created outside the US could help the cellular agriculture revolution expand.

Acellular agriculture

General

‘What is cellular agriculture ?’ by New Harvest (5 min read). You’ll know the difference between cellular and acellular products. Products like eggs, gelatin, and milk produced from cell-culture are closer reality for consumers than their cellular counterparts. In acellular production, cells or microbes (like yeast or bacteria) are used not to form the basis of the products themselves but rather as a “factory” to produce fats and/or proteins, like eggs and milk. Unlike meat or leather, acellular agriculture products contain no cells or living material.

‘Dairy Ice Cream, No Cow Needed : These Egg and Milk proteins are made without animals’ by Maria Godoy (3 min read). What companies are doing in the field for producing dairy and egg proteins, and how esthablished actors view them.

Science

‘Eggs without hens’ by Isabella Grandic (6 min read). By mimicking the proteins produced by chickens to make egg whites, we can create egg whites by just adding water. Proteins are what give egg whites their specific characteristics. If we can produce the exact same proteins found in chicken egg whites without chickens, we can produce egg whites that have the same taste and functionality.

‘Genetically Modifying Yeast — Changing the future of dairy’ by Isabella Grandic (7 min read). How fermenting dairy proteins through yeast cell cultures could change the face of dairy. What needs improvement, and what can help (IoT monitorign and sensors). In yeast derived dairy production, yeast is genetically modified so that it has the DNA that tells it how to produce casein and whey. Cow genes are printed and implemented in the yeast.

Next steps

‘Industrializing cell-based meats’ , a yearly conference that gathers industry leaders to share the latest scientific progress in the field and adress the current challenges cell-based meat researchers are facing. They discuss how to : 1) define and future-proof a strategy to ensure scalability and affordability of cultured products 2) rival any traditional products in the market place and provide consumers with better alternatives 3) gain a deeper understanding of the current cell-based meat landscape 4) understand where key industry stakeholders are directing their next steps for cell-based meat production.

‘Producing cultured meat at a (very) large-scale’, a reddit discussion I’ve launched. I raise the question of the technologies required to produce at a very large scale, i.e. a production that goes far beyond the current maximum expected production (100 tons of meat a year, according to the latest news). For the moment, research shows us that to go beyond this scale, we have some options (table below), but there’s no clear-cut solution (which is, in a way, reassuring). We should make comparisons between bioreactors based on final cell density achievable rather than the volume. We already know that under some assumptions, the number of cells required to produce 1kg of wet “meat” in the form of muscle cells is 2.9 x 10¹¹ cells. Based on theoretical maximum cell density achievable, for adherent cell culture the working volumes by bioreactor types are calculated to be 2,900 L for tissue culture flasks, 570 for STRS, 110 for PBBs, 48 for FBBs, 1.4 for HFBs. These figures are great to have an idea of the impact of cell density on the size of a bioreactor to achieve the same biomass target. The thing is that we’re talking about a 1kg-scale here. But we don’t know so much about 100 tons. Neither 1000. Nor 10 000. Which is still nothing compared to the scale of conventional meat production. We know that single-use bioreactors (SUBs) could be interesting, but we’ve nothing specific on cultured meat. And there’s uncertainty on their environmental impact. So, my wish is that in the future, more teams will work on concrete requirements for bulding large-scale factories. Bioreactors type and size. Process media requirements. Cells tarting number. Inoculation efficiency. Cleaning and sterilization. Scaffold source. Passaging. Cell removal methods. There’s also the question of the following fundamental cell biology parameters specific to muscle cells. They are required for the design of a process with a product that is not only viable but price competitive. These parameters include : cell specific mass and volume, cell specific growth rate and doubling efficiency, cell specific protein content, cell stability, cell density per unit volume of bioreactor, metabolic yield coefficients, cell-scaffold dissociation method, and so on. In other words, for the moment, we lack some data required for bio-process design. I hope engineers and researchers will be able to adress this issue and contribute to the advent of large-scale cultured meat factories.

That is the end of this reading list. I’ll update it during the year. You can also comment to suggest other reading/listening materials.

By the way, I’m currently creating an organization promoting cellular agriculture in France. If you want to discuss the project or just connect, just do it on Linkedin or Twitter.

In my daily life, I’m tech consultant, a Board Member and development manager of Effective Altruism France, co-founder of an NGO promoting innovative plant-based meals in universities, and writer. I’m on a long-term journey of teaching myself technologies that can make a real difference.

The story of this company makes me think a lot about what’s currently happening in the cultured meat industry, and what could happen next.

The simple reason is that Tesla’s lessons are not about car the industry. They’re about creating dramatic change in an industry. Are you ready ?

Tesla’s journey

Back in 1989, Musk, then 18, felt strongly about electric cars, but the topic was quite ignored by the rest of the world. So, why on earth was he interested by this technology ? Well, it seems he had sensed the contribution they could make.

Indeed, two decades later, it became clear that :

• Electric vehicles are more convenient than gas engines most of the time (you can plug your car as you charge your phone, the mechanics of the electric motor is quite simple, no dependence on oil, less need of maintenance, and so on).
• It costs a lot less to power an electric motor than a gas engine (gas prices and car fuel efficiency vary a lot, but generally this means it costs over $3,000/year more to drive on gas).
• The gas engine is one of the two major causes of the energy/climate crisis (transportation burning oil makes up a third of the world emissions, pollutes cities, and makes nations over-dependent on other nations. The electric motor emits nothing.)

That’s why Musk thought a lot about electric cars. The electric motor turned out to be the easier, cheaper, and more sensible long-term plan for powering cars.

But this had not always been the case, since for decades, significant technical obstacles had prevented electric vehicles from being considered as alternatives to gas cars. Three concerns about the viability of the electric car were particularly common : range (is it convenient for long drives ? how can I recharge my battery ? how much time will I have to wait when it is plugged ?), performance (will it do better than a golf cart ?), and price (battery costs were high).

This was why electric cars had been put aside for decades. Until 2003, when Musk crossed the threshold, and decided he would build such cars.

But there were some obstacles along the road :

• High barriers to entry in the industry
• Implemented actors could pollute as much as they wanted without this affecting their costs
• The gargantuan oil industry
• Technically solving the three challenges (range, performance, price)

So the situation seemed like a big conundrum.

Until the day when Musk visited the AC Propulsion office. For the first time, he saw an electric car that was (very) fast and equipped with a good (for autonomy) lithium-ion battery. He was stunned by that performance. It was now obvious : the three challenges could be solved, and he had to do it.

So was born Tesla Motors. But how could the company make cars ? They had some funds, but wondered whether people would really buy cars that were bound to be expensive, being a new technology. Finally, they came up with a plan :

Step 1 : Using their funds to build high-priced, low volume car for the super rich.

Step 2 : Using profits from step 1 to build mid-priced, mid-volume car for the pretty rich.

Step 3 : Using profits from step 2 to build low-priced, high-volume car for the masses.

As WaitButWhy puts it :

The overarching mission wasn’t to build the biggest car company in the world. It was to solve a bunch of long-standing EV (electric vehicles) shortcomings and build such an insanely great car that it could change everyone’s perception of what an EV could be and force the world’s big car companies to have to develop their own line of great EVs. Their end goal, and the company’s official mission, was to “accelerate the advent of sustainable transport by bringing compelling mass market electric cars to market as soon as possible.” In other words, EVs are gonna happen, but we’re gonna make them happen a lot sooner. Sooner, in this case, is important, because it means carbon emissions decrease earlier and the long term effects of them are much less damaging.

For the company to realize this impossible mission, they had to build what they needed to build to change the limitations they were facing.

Especially, they had to make sure that :

• The car could take a road trip (range)
• Anyone could afford the car (price).

For solving the first issues, they increased the performance of batteries, and implemented Superchargers in the US, so that you can plug your car if ever you needed to recharge it. They also developed a feature (the battery swap) that allows Tesla drivers to replace their empty battery with a second full battery in 90 seconds.

In other words, the range problem was almost not an issue anymore. There was only one issue left : how to bring the price of the car down ?

If you take a look at the cost of EV production, you realize that the battery has a central place. So, how could Tesla reduce drastically the cost of battery production ?

Well, the answer was this :

The Gigafactory. A $5 billion lithium-ion battery factory, powered entirely by on-site solar, wind, and geothermal energy.

It’s main goal was to double the total lithium-ion batteries made each year globally, which had (and still has) some benefits :

• Enabling Tesla to produce cars at a large scale
• Making batteries a lot cheaper.

This has not left the market indifferent. In 2015, Tesla’s market cap was $31 billion. Which was quite annoying for established car companies… because :

• Before Tesla, their approach to electric cars was more or less “it doesn’t exist, stop talking about it”, now they had to admit their existence
• Dealerships make a huge amount of profit fixing gas-related issues, which wouldn’t exist with EVs.
• Car manufacturers knew less than Tesla on improving battery energy density and car performance, so building good EVs would be hard.
• If they sold EVs, they would have to explain the big advantage of this new category of products, e.g. that it pollutes less than gas cars. Oops. It’s like shooting itself in the foot.

All these concerns only existed because of Tesla.

So what could car companies do ? Ignoring what was going on. Or taking the turn.

Well, even a little before the building of the Gigafactory, they began to make EVs. In 2008 (when the first Tesla car was shipped), there was no big company EVS on the market. In 2015, Ford, Chevy, Nissan, BMW, Mercedes, Volkswagen, Fiat, Kia, Mitsubishi, and Smart all had an EV on the road. And some of them have made it clear that Tesla was at the origin of this decision. Of course, not all carmakers were enthusiastic. But they were building EVs anyway. And this could be seen in the figures :

But was it the beginning of a radical change in the car industry ? Four years ago, there was still a problem : Tesla’s cars were still too expensive, while other EVs had a poor range. But over the past few years, Tesla has reduced its prices. And other carmakers have improved the range of electric their vehicles. Which means that… we’re now seeing high-quality, affordable EVs for sale that also have a high range. Which means that in the years to come… there could be no reason to buy a gas car again.

Car companies aren’t all happy about this, but they’re still in the game. However… the oil industry can’t jump on the EV bandwagon. Which means that EVs can seriously harm oil companies. So this latter fights EVs to survive, essentially by creating confusion, in order to delay as much as possible the development of clean cars. That’s not a new strategy, but it can be powerful. It has already crushed EVs once. But now, there’s Tesla (whose goal is to accelerate as much as possible the development of clean cars), and the others.

So, what’s the result ? Some myths. Like “EV battery disposal is dangerous”. Like “bulling a Tesla is dirtier than manufacturing a gas car”. Like “EVs consume an unbearable amount of energy”, and son on. They’re all wrong, as WaitButWhy has shown. The worst is probably the long tailpipe theory, which explains that electricity comes from coal, so EVs are worse emissions culprits than gas cars. This is argument is widely used, but deeply flawed, as 1) electricity production is mixed, 2) the part of coal in the mix is going down, 3) energy production is more efficient in a power plant than it is in a car engine. Each year, the grid is getting cleaner, which means that electric cars get cleaner as time goes by. In the meantime, gas cars cannot make progress on the issue. They’re dirty, that’s all.

As Tim Urban puts it : “ the battle going on isn’t about gas cars vs. electric cars. That one’s already decided. This is a war about time. Oil companies will try to slow things down, and they may succeed.” But EVs will succeed in the end. The question is rather when we make energy sustainably, which means : 1) Almost everything we use will run on electricity. 2) Almost all of our electricity will be produced from sustainable sources. If we talk about it, it’s because for now, the two problems are that 1) electricity production is mostly dirty 2) transportation is almost entirely dirty.

The good thing is that Musk, through SolarCity (producing solar panels) and Tesla, is leading the way in solving both challenges, in a very disruptive way. And since established actors couldn’t squash the disruptor, everyone now has to emulate it. Which could indeed change the world.

As Tim Urban puts it, “change doesn’t happen on a familiar landscape, change has to construct the landscape itself. That’s what Henry Ford did for cars. That’s what Elon Musk is now doing of electric cars. If scalability is held back by the high price of battery production, build a factory that brings the cost down. Just get it done. “

But keep in mind that Musk’s goal is to “accelerate the advent of sustainable transport”, which means that one great car company is just the beginning. Tesla’s mission is to build cars so great that it changes the public’s expectations of what a car should be, so that the whole industry has to adjust to that new expectation. In that way, Tesla can be a catalyst for a multi-order of magnitude shift of the entire industry towards electric.

Studying Tesla, that’s definitely studying change. And sometimes, you can use what you study to figure out what could happen, or what you should do.

Possible lessons for cultured meat start-ups

It’s been weeks that I’m fascinated by similarity between the electric cars (car industry) and cultured meat (meat industry). Both of them :

1. tackle greenhouse gas emissions made by their respective industry
2. are a better version of the problematic product, not a mere substitute
3. are cleaner if their production is powered by renewables
4. don’t ruin established manufacturers, just invite them to adopt a new product
5. are more likely to be rejected by actors who wouldn’t play a role in the new landscape (cars : oil industry, meat : farmers).

If you look at the advantages of EVs (convenience, costs less at large scale), they also have a similarity with cultured meat.

Of course, the latter hasn’t been industrialized for the moment, so I only base my reasoning on predictive studies and the knowledge accumulated so far. In other words, it will be more about hypothesis than about real-world data on something that doesn’t exist yet.

Still, there may be something. Cultured meat manufacturing plants would be far more convenient for meat manufacturers than the current process (raising animals, then slaughtering them, then processing meat). Indeed, everything could happen at the same place, from cell culture to meat packaging. Almost no waste would be involved. Cell wouldn’t resist before being processed into meat, so the variability of the process would be reduced.

As for the cost, there’s a possibility for cultured meat to be cheaper for consumers and producers. This is still hypothetical, but it could happen in the years to come. We’ll talk about it later, as it is fundamental.

For now, let’s see what were the major obstacles of cultured meat over the last few decades : scale (can we produce more than 1 cm of steak ? can we even produce cultured meat for more than 10 very wealthy people in the world ?), taste (will it do better than meat alternatives I know ? will it taste exactly like conventional meat ?), and price (producing the first burger was very expensive).

Until recently, all these obstacles seemed impossible to overcome, and this is why cultured meat wasn’t regarded as noteworthy. But after 2013, some actors entered the field, and decided that they would solve these issues.

Interestingly enough, like Tesla, cultured meat start-ups face other structural obstacles, beyond the “technical” ones just mentioned.

• High barriers to entry in the industry (you don’t produce (cultured) meat as you produce software. In addition to the highly specialized skills at the crossroads of food science and tissue engineering that are required, you need an authorization to market your product, for consumer safety reasons)
• Implemented actors pollute as much as they want without this affecting their costs. Today, there’s no tax on meat. Negative externalities generated by animal agriculture aren’t paid by meat producers. Which means that you’re not rewarded for bulding a non-polluting meat product. Thus, you’re disadvantaged.
• A lobby would have a lot to loose (but not so much). If cultured meat totally replaced meat, there wouldn’t be any place for farmers in the cultured meat landscape (as for oil producers with Tesla). I’ll probably talk about it later, but the parallel isn’t exactly relevant, as cultured meat mission is to disrupt factory farming, and probably not all animal agriculture. First because animal agriculture isn’t inherently bad for the environment (you may have other valuable reasons to replace it, but not environmental ones). Factory farming is the real threat to the environment, which means that event if cultured meat disrupted factory farming, farmers could practice “traditional” breeding and slaughter animals in a not-so-harmful-but-still-harmful way, thus making “traditional meat” a rare and luxury product. In this scenario, farmers would have a lot to win, given their current (indecent) situation. Indeed, with cultured meat becoming mainstream, they could market their product as “traditional” meat and be decently paid for what they produce. In other words, cultured meat would be an opportunity for farmers. There would be room for both cultured meat and meat, but not for factory farming. The challenge is that farmers can have a disproportionately large political power, so you should make sure they see this opportunity, otherwise they will be standing up against cultivated meat, and possibly crush it by legal means.

So, where’s the Elon Musk who will address the situation ?

I’m half joking. We need someone with tens of millions capable of pushing past the barriers mentioned above. Indeed, we need teams which have skills (with the almost 30 existing cultured meat companies, we must have that), funds (we probably could have more) and ambition (they probably do) come up with a plan like :

Step 1 : Using our funds to build high-priced, low volume cultured meat for the super rich (probably in B2B).

Step 2 : Using profits from step 1 to build mid-priced, mid-volume cultured meat for the pretty rich.

Step 3 : Using profits from step 2 to build low-priced (lower than conventional meat), high-volume cultured meat for the masses.

In that context, the first cultured meat start-up to take these steps wouldn’t necessarily have to become the biggest meat company in the world. It’s mission could be to solve long-standing cultured meat shortcomings and build such insanely great products that could change everyone’s perception of what cultured meat could be, and urge the world’s big meat companies to have to develop their own line of great cultured meat products. Their end goal, and the company’s official mission, would be to accelerate the advent of sustainable meat by bringing compelling mass market cultured meat product to market as soon as possible. By doing so, their impact would be : making happen sooner a change that would reduce GHG emissions.

For this cultured meat company to realize this almost impossible mission, they would have to build what they need to build to change the limitations they are facing.

Especially, they would have to make sure that :

• Cultured meat can be cultured at a large scale (scalability)
• Anyone could afford cultured meat in the end (price).
• Cultured meat production is environmentally cleaner than meat (sustainability)

These issues mainly share one solution. Before talking about it, I would like to explain that the cost of cultured meat mainly depends on three things :

1. the medium
2. microcarriers
3. bioreactor tanks.

I won’t dive too much into details, as my (cultured meat writer) colleague Isabella has done a very great job of explaining what’s at stake. What I would like to highlight is that (1) and (2) are quite independent from the solution I’ll present. Indeed, these costs have to be reduced in specific ways, like finding a plant-based medium or expanding cell culture life when it comes to the medium costs (1), and cultivating cells without microcarriers to avoid extra-costs (2). More details in this article. The main thing keep in mind is that these costs challenges are on the way to be resolved. People are working hard on it, and progress is regularly made for the moment.

In other words, the cost problem is almost not an issue anymore (but let’s admit that we don’t know enough things to have certitudes for the moment)… except for the facilities. Beyond raw materials needed to produce cultured meat, the production process would have an important cost.

So, to sum it up, the real question is : how do you produce cultured meat at a large scale, economically, in a sustainable way ?

Well, the answer could be this :

A cultured meat Gigafactory. Yes, the slaughterhouse of tomorrow may well look more like a battery factory than an industrial farm. I’m working on the topic, and it seems like the first cultured meat gigafactory could be built at the cost of $1 billion, even though this estimation is fraught with some uncertainty.

The cultured meat gigafactory could be powered entirely by a solar rooftop, in the end. Maybe it could rely on wind and geothermal energy, as Tesla’s gigfactory did in the beginning.

The main goal of this gigafactory would be to produce for the first time a massive amount of cultured beef burgers in bioreactors, which would have some benefits :

• Enabling the company to produce and sell cultured meat at a large scale
• Making cultured meat a lot cheaper

This could have some effect on the market. And accelerate some dynamics. Today, what are the forces at play ?

• Some long-term-thinking meat companies have invested in cultured meat, in the US and now in Europe. We don’t know much about companies who haven’t invested in this technology yet. It seems like they didn’t try to tarnish the image of these 2.0. steaks.
• Farmers depend on the existence of animal agriculture. As said before, the mission of cultured meat is to replace factory farming, not every form of farming. Given the poor living conditions of farmers (due to cut-throat competition), they could likely benefit from the arrival of cultured meat, making ‘traditional meat’ a luxury and decently-paid-for product. In the worst scenario (that is to say farmers are threatened — but today the threat is really hard competition, not cultured meat), maybe they can receive some funds to reconvert somewhat (plant-based farms, vertical farms, urban farms, and so on).
• Meat manufacturers know less than cultured meat start-ups on how to do cell culture and scaffolding, so building cultured meat steaks will be hard for them. Their option would be 1) buying cultured meat start-ups 2) or doing a lot of R&D 3) or doing nothing.
• If meat manufacturers sold cultured meat, they would have to explain the big advantage of this new category of products, e.g. that it pollutes less than meat (and meet very well animal welfare concerns). So, would they do it ? They could. As they don’t rely on the origin of meat to be profitable, they could do it, and participate themselves to the reduction of factory farming.

The same concerns have emerged in the car industry just because of Tesla. Maybe they already exist in the meat industry today, even without a giant cultured meat start-up.

But imagine there was a Mesla (don’t know if a company called Mesla already exists, let’s stay in our imaginary parallel world). A very ambitious cultured meat start-up that planned to build a cultured meat gigafactory.

What could meat companies do ? Yes, ignoring what’s going on. Or taking the turn (nice job if you found the answer).

Today, even without the gig’fac’, meat companies start repositioning themselves as protein producers. In 2013, before the first cultured meat burger, no meat company had taken a serious look at cultured meat. In 2019, Tyson, Cargill, Bell Food, PHW have all invested in at least one cultured meat start-up. Maybe they do it because they don’t want to be disrupted. Maybe they’re really enthusiastic. But they’re doing it anyway.

Is it the beginning of a radical change in the meat industry ? Probably. But today, producing cultured meat is still expensive, and scale is a problem.

In the car industry, Tesla solved the problem by building a gigafactory. Then, they have reduced their prices. Which has urged car-makers to build better EVs. And EVs are now on the way.

So, maybe the first cultured meat gigafactory could have the same effect. It could be built by a self-made billionaire, or a cultured-meat start-up raising (a huge amount of) funds, possibly in partnership with a meat manufacturer, or a pharmaceutical actor (they know a lot about large-scale cell culture in 20,000L bioreactors). This could greatly foster the development of cultured meat. If such a factory was built, whe could see high-quality, affordable cultured meat with an excellent taste, produced at scale. Which would mean that… factory farming wouldn’t have any reason to exist anymore.

Meat manufactuers wouldn’t be all happy about this, but could stay in the game. And, as said before, if farmers could take this opportunity to replace their meat as a luxury product, they wouldn’t have so much rational reason to delay as much as possible the development of cultured meat. However, today, we already hear some myths about cultured meat. Or at least, some confusion and far-fetched skepticism (“it will never be better for the environment than meat” — yeah, this is a concern, but please lower your epistemic certainty level, “it will still harm animals” — promised, FBS won’t be used). They’re all factually incorrect. One of them is the long tailpipe cultured meat theory, wich explains that electricity comes from coal, so cultured meat is worse for the environment than meat (the Oxford study says that it’s essentially worse in the long-term, like 1000 years, as CO2 emissions (due to energy consumption) will replace methane emissions). As for electric vehicles, this argument is flawed : each year, the grid is getting cleaner, which means that cultured meat (produced in gifactories with solar rooftops) gets cleaner as time goes by. While factory farming can’t reduce its emissions. It’s dirty and can’t change.

At this stage, the parallel is very disturbing. Shall we deduce that the battle going on isn’t about factory farmed meat versus cultured meat ? And that’s it is just a war of time ? Shall we, in the first place, think that it will be a war ? Farming companies could indeed try to slow things down, and may succeed. Except if they see an opportunity in cultured meat. The possibility for them to replace their traditional meat as a luxury product. In this case, cultured meat is bound to reach the masses. As for Tesla, the remaing question would be : when do we make energy sustainably ?

Musks’s work could be very useful in this context. He showed us how to making electricity production cleaner. How to build gigafactories. How to change an industry.

So now, the challenge is likely to build a cultured meat gigafactory. If that was done, established actors couldn’t squash the disruptor. Everyone would have to emulate it. And it could revolutionize our food system.

If scalability is held back by the high cost of cultured meat production, build a factory that brings the cost down, and work on reducing all costs. Just get it done.

Our fictive Tesla-like cultured meat company could aim at “accelerating the advent of sustainable meat production”. Mesla would build cultured meat so great that it would change the public’s expectations of what meat should be, so that the whole industry would have to adjust to that new expectation. Mesla could be a catalyst for a multi-order of magnitude shift in the entire meat manufacturing industry towards cultured meat, without harming farmers, which would have a lot to win by selling a rare and high-end product.

So, one question is still pending : which Elon Musk will build this factory?

I’m very excited to figure out what will happen. If Tesla’s story could inspire a revolution in our food system, that would be extremely well.

Don’t hesitate to react on this parallel, whatever you think.

Personally, I’ve learned a lot by exploring this topic. Now, I’m working with some engineers (as a side project) to write the specifics of building a cultured meat gigafactory. I’ll probably publish a public white paper. If you’re interested in helping, please contact me at tristanroth(at)hotmail(dot)com.

Acknowledgements

WaitButWhy Elon Musk posts series have helped me a lot. I invite you to read them. That’s really great stuff.

What cultured meat start-ups can learn from Tesla’s story was originally published in The EA Company on Medium, where people are continuing the conversation by highlighting and responding to this story.

Why VR ? The reason is quite simple : VR technology creates new opportunities to raise awareness of climate change impacts by tackling two of the biggest challenges of climate change communication : scale and proximity. As the Data-Driven Lab puts it :

Because emissions of greenhouse gases today will affect the climate long into the future, the temporal scale of climate change can be difficult for the public to comprehend. VR transports individuals into a future reality where long-term environmental changes can be experienced first-hand. Immersing people in the stark reality of a warmer world yet to come may encourage them to demand policy change today.

Another problem is that those who may have the least power to crate change are often the first to feel the harmful effects of global warming. VR can create an empathetic experience, making the effects of climate change highly personal, even for people who don’t experience its effects today. In other words, VR experiences offer a chance to expand people’s view of the world and unify them around a common global story of environmental change. And who has a mission of bringing the world closer together ? Yes, you got it. Facebook is in the best place to do the job.

Facebook’s mission

Two years ago, Facebook’s mission changed from “Making the world more open and connected” to “Give people the power to build community and bring the world closer together”. The idea behind this shift from connection to closeness was to create more meaningful interactions and, if possible, resulting in positive outcomes.

This has resulted in the development of products specifically aimed at bringing people closer. And among them, there are Oculus products, the VR branch of Facebook.

In this regard, using VR to raise awareness on climate change is perfectly in keeping with Facebook’s mission :

• It helps people caring more about the future of the place where they live.
• It helps people in rich countries caring more about underprivileged people affected by climate change.
• It helps people caring about future generations.

What better way to bring people together on a global scale?

What a pro-environment VR experience would look like ?

Let’s say you’re at home and you scroll your Facebook feed. Suddenly, you’re asked to participate in a free experience where you can see your neighbourhood in 30 years, based on your current location.

You see that your city has been impacted by sea level rise. In this experience, you can explore the flooded city and taking actions such as replacing cars with bicycles, or building solar farms in the place of power plants, like in the Data-Driven Yale team game. What if you live in a mountain ? Well, almost no place will be spared by climate change: its manifestations will simply take different forms. These could be simulated by powerful machine learning algorithms using available scientific data.

Back to the experience : after 20 seconds of use, you’re proposed to travel a little bit. Facebook shows you well-known places that are in very bad shape. You can visualize the impact of climate change. And you care, especially because some of the cities you see are suggested by your travel history collected by Facebook.

Then, 15 seconds later, you’re suggested to have a more realistic experience by discovering Oculus VR products.

Note that in this use case, people don’t really experience VR. The really added value is a program that simulates what they current location (and other places) could look like in the future.

But other use cases are possible. And they can take advantage of VR.

When you arrive on Oculus, the website where Facebook wants you to watch VR objects, you’re proposed to discover “Oculus Experiences” after scrolling down a little.

If you’re there, it’s very likely that you already own VR tools, or that you’re going to buy some of them. In other words, asking you to discover the future of your neighbourhood in this part of the website could be more relevant, in terms of intensity. Moreover, putting the experience in the home page would likely give it more visibility than in an obscure part of the website.

After being showed on the home page for a few weeks, the experiment could be placed next to the other free experiments offered in the Experiences page. And my guess is that it could be one of the most interesting free experiences available, after YouTube and Netflix.

At this stage, I wonder if such pro-environmental VR experience isn’t already in their roadmap. It you look closer at Oculus, there is now the VR for good Initiative.

The page invites you to discover stories on history, healthcare, personal development, or education. Thus, it’s likely that the next story will talk about people impacted by climate change.

And this could probably be a great news. Let’s look at the potential impact it could have.

Potential impact

The way we usually talk about climate change rarely stir emotions. However, the consequence of this phenomenon cloud really be massive : one hundred million people are projected to lose their lives in the next 10 years due to climate change. Roughly 75% of all humans could die due to deadly heat waves by 2100.

Recently, a study highlighted the benefits of RV in changing this lack of sensitivity to climate change. How ? Andrea Morris has described the experience in her article :

The Stanford Ocean Acidification Experience (SOAE) depicts the effects of climate change on our marine ecosystems. The simulation is available to the public to download for free. You can choose between being an avatar of a diver or being a piece of pink coral living your best life on an underwater reef. That is, until you and all your colorful underwater friends start dying off en masse. The simulation time lapses the underwater holocaust down to an impressionable interval. […]

And what where the results ? Participants test scores about ocean acidification after the simulation increased by more than 100%. The information was tested and retention demonstrated more than three weeks later. The more time participants spent engaged in the simulation, the more information they retained.

One of the most interesting and unexpected result is that VR seems to increase both knowledge (especially because VR makes your body moving — knowledge being organized spatially, it fits well) and empathy. When it comes to users appreciation, it was universally deemed positive, in particular because it raised awareness on ocean acidification. However, a less rejoicing result is that VR doesn’t alter a fervid commitment to climate denial. This doesn’t mean that if would be irrelevant to try to show climate deniers how what they like (be it hunting or… whatever Facebook might know) could concretely be impacted by climate change.

If on the whole, using VR to raise awareness on climate is quite likely to work, how many people can it reach ? Let’s have a quick look at Facebook’s figures : there are 1.74 billion mobile active users in the world. It’s quite hard to know how many people are using Oculus products, but my guess is that the range of magnitude is tens of millions. Probably something like fifty millions (based on the total number of active VR users/Oculus market share), but I could be wrong.

Even in the less ambitions scenarios, such pro-environment experiences could help change the minds of millions of people. Which sounds worth exploring. But why would Facebook do it in the first place ?

How it would fit Facebook’s business model

Advertisements represent a primary source of revenue for Facebook. In 2016, they accounted or 97% of the company’s overall revenues. Over the last few years, the company has made some moves towards revenue sources diversification, especially by selling hardware products. And that’s where Oculus comes in.

Today, in Facebook’s financial results, Oculus revenues are included into a category called “Payments and other fees”. According to CFO Dave Wehner, revenue from that arm of the business was just $165 million in the first three months of 2019. That means less than 2% of Facebook’s overall revenue for the quarter.

Recent figures tend to indicate a decline in FB hardware product’s sales. If that’s too short-term to be really meaningful, the least we can say is that it’s tough for Facebook to come up with new ways to make money. In this situation, developing a breathtaking pro-environment experience could help Facebook to sell more VR headsets in the end :

• For non-VR users: by placing the experience on their Facebook news feed and inviting them to “have a more real experience” by discovering Oculus products.
• For VR users: by placing the experience on their Oculus homepage and then in the various Oculus experiences, thus feeding the current Oculus content, engagement and retention strategies.

Looking at current sources of revenues of Facebook (Ads, Payments, Workplace, Oculus), it’s quite unlikely that they would make money by selling the technology behind the simulation experience. They would probably have it done by someone else and then buy the rights (like for other Oculus games/programs, I guess), or establish a partnership with a non-commercial actor.

In the end, it’s not likely to change drastically Facebook financial results. But it could probably be a net positive, not to mention non-financial results.

Tracking results

What’s interesting is that Facebook is in a very good position to know whether such kind of messages have an impact or not. They can measure what posts you like or completely ignore in the following weeks/months/years of the experience (did you like more-pro environment posts, for instance ?). Which means that they can help to know whether pro-environment VR experiences work at a big scale or not.

When it comes to their interests, they can easily know if it increases Oculus headsets sales, or engagement on the Oculus platform.

Potential undesirable effects

Even though pro-environment VR experiences seems to build empathy and drive action, some points should be given special attention.

• This could be seen as manipulation, which could annoy users (especially climate deniers) and encourage them to leave the platform and not changing their mind on anything (or even reinforcing their beliefs).
• The game/streaming industry consumes a lot of data, which becomes increasingly problematic on the environmental level. It should be ensured that the sale of more VR helmets, combined with the production and consumption of very high quality games and videos, does not contradict environmental protection. That said, showing marginally a pro-environment experience doesn’t look like so much counter-productive in terms of (stone throwing) estimated net environmental impact.

Ethical considerations

In his article on algorithmic paternalism, Martin Guibert deals with ethical issues related to the use of pro-environment AI-based messages, making the distinction between soft (using tech to modify beliefs and behaviours for noble purposes) versus strong paternalism (persuade someone so strongly that their behaviour changes in a way that limits their autonomy).

The idea presented in this article was a case of soft pro-environment paternalism, as it means to modify your view on climate change. If Facebook did it while 1) explaining the approach 2) being backed by legitimate authorities (universities, NGOs, governments) 3) using truthful data, it would seem very ethically acceptable.

Climate change (and particularly extreme risks) is one of the major problems of our time. The whole positive outcomes of pro-environment messages seem very very higher than the negative consequences of displaying such messages. So why don’t we start ?

How Facebook can help raise awareness on climate change was originally published in Future Vision on Medium, where people are continuing the conversation by highlighting and responding to this story.

Introduction

En médecine, la recherche en intelligence artificielle (IA) se concentre de plus en plus sur l’application des techniques d’apprentissage automatique (de l’anglais machine learning ou ML) à des problèmes complexes, permettant ainsi aux ordinateurs de faire des prédictions à partir de grandes quantités de données de patients, en apprenant leurs propres associations. Les estimations de l’impact de l’IA sur l’économie en général varient énormément d’un pays à l’autre, un rapport récent suggérant un effet de 14 % sur le produit intérieur brut mondial d’ici 2030, dont la moitié proviendra d’améliorations de la productivité. Ces prévisions créent un appétit politique pour le développement rapide de l’industrie de l’IA, et les soins de santé sont un domaine prioritaire où cette technologie n’a pas encore été exploitée. La révolution de la santé numérique décrite par Duggal et al st déjà en plein essor et risque de bouleverser ou “ disrupter “ les soins de santé. La recherche sur l’IA dans le domaine de la santé a donné des résultats impressionnants, mais sa valeur clinique n’a pas encore été démontrée, en partie à cause d’un manque de compréhension claire de la façon de quantifier les avantages ou d’assurer la sécurité des patients, et des préoccupations croissantes au sujet des répercussions éthiques et médico-légales.

Cette analyse a été rédigée dans le double but d’aider les professionnels de la sécurité clinique à évaluer de façon critique la recherche médicale actuelle sur l’IA du point de vue de la qualité et de la sécurité, et de soutenir la recherche et le développement en IA en mettant en lumière certaines des questions de sécurité clinique qui doivent être considérées si l’application médicale de ces technologies passionnantes doit être réussie.

Tendances de la recherche en apprentissage automatique

Les systèmes d’aide à la décision clinique (SAD) sont largement utilisés en médecine et ont eu le plus d’impact en fournissant des conseils sur la prescription sûre de médicaments, le respect des directives, le simple dépistage des risques ou la notation pronostique. Ces systèmes utilisent des règles prédéfinies, dont le comportement est prévisible et dont il est généralement démontré qu’ils réduisent les erreurs cliniques, bien qu’ils introduisent parfois par inadvertance des problèmes de sécurité. Des systèmes fondés sur des règles ont également été mis au point pour faire face à l’incertitude diagnostique, mais ils ont eu du mal à traiter l’ampleur et la variété des informations impliquées dans le processus diagnostique typique, un problème pour lequel les systèmes de blanchiment d’argent sont potentiellement mieux adaptés.

En raison de cette lacune, la majeure partie de la recherche sur les applications médicales de l’apprentissage automatique s’est concentrée sur l’aide à la décision diagnostique, souvent dans un domaine clinique spécifique comme la radiologie, en utilisant des algorithmes qui apprennent à classifier à partir d’exemples de formation (apprentissage supervisé). Certaines de ces recherches commencent à être appliquées à la pratique clinique et, à partir de ces expériences, des leçons peuvent être tirées sur la qualité et la sécurité. Parmi les exemples notables, mentionnons le diagnostic de tumeur maligne à partir de photographies de lésions cutanées, la prédiction d’une maladie oculaire menaçant la vue à partir d’une tomographie par cohérence optique (TCO) et la prédiction d’une septicémie imminente à partir d’un ensemble d’observations cliniques et de résultats d’essais.

En dehors du soutien diagnostique, des systèmes de ML sont en cours de développement pour fournir d’autres types d’aide à la décision, tels que la prévision des risques (par exemple, pour le sepsis) basée sur une multitude de facteurs complexes, ou l’adaptation de types spécifiques de thérapie aux individus. Des systèmes entrent maintenant dans la pratique clinique qui peuvent analyser les tomodensitogrammes d’un patient cancéreux et, en combinant ces données avec les enseignements des patients précédents, fournir une recommandation de radiothérapie, adaptée à ce patient et visant à minimiser les dommages aux organes voisins.

D’autres recherches antérieures dans ce domaine utilisent des algorithmes qui apprennent des stratégies pour maximiser une “ récompense “ (apprentissage de renforcement). Ceux-ci ont été utilisés pour tester des approches à d’autres problèmes de traitement personnalisés tels que l’optimisation d’un régime de charge en héparine pour maximiser le temps passé dans l’intervalle thérapeutique ou le ciblage du contrôle glycémique chez les patients septiques pour minimiser la mortalité.

À plus long terme, des systèmes d’IA pourraient voir le jour qui vont au-delà de la recommandation d’une action clinique. De tels systèmes peuvent, par exemple, trier les patients de façon autonome ou donner la priorité à l’accès des personnes aux services cliniques en procédant à un dépistage des cas référés. De tels systèmes pourraient poser d’importants problèmes éthiques en perpétuant les inégalités, comme ceux que l’on observe dans l’automatisation de la présélection des candidats, dont il est dit que “ la confiance aveugle dans les systèmes automatisés de recrutement électronique pourrait avoir un coût social élevé et compromettre le droit des individus à l’égalité des chances sur le marché du travail “. Il s’agit d’une discussion complexe qui dépasse le cadre du présent article.

En dehors de la médecine, la recherche de pointe en IA se concentre sur les systèmes qui se comportent de manière autonome et évoluent continuellement dans des stratégies pour atteindre leur but (apprentissage actif), par exemple, maîtriser le jeu du Go, négocier sur les marchés financiers, contrôler les systèmes de refroidissement des centres de données ou conduire en autonomie. Les questions de sécurité de ces systèmes autonomes à apprentissage actif ont été discutées théoriquement par Amodei et al. et, à partir de ces travaux, nous pouvons identifier des problèmes potentiels dans les applications médicales. Les systèmes autonomes sont loin d’être mis en pratique en médecine, mais on peut imaginer un avenir où les applications “ en boucle fermée “, comme les pompes à insuline sous-cutanées alimentées par des informations provenant de capteurs portables, ou le contrôle automatisé des ventilateurs alimenté par des données de surveillance physiologique en soins intensifs, seront directement contrôlées par des algorithmes d’IA.

Ces diverses applications de la ML nécessitent des algorithmes différents, qui sont très nombreux. Leur performance dépend souvent beaucoup de la composition précise de leurs données d’entraînement et d’autres paramètres choisis pendant l’entraînement. Même en tenant compte de ces facteurs, certains algorithmes ne produiront pas des décisions identiques s’ils sont formés dans des circonstances identiques. Il est donc difficile de reproduire les résultats des recherches et il sera difficile de mettre en œuvre des systèmes de machine learning “ prêts à l’emploi “. Il est remarquable dans la littérature sur l’apprentissage automatique qu’il n’existe pas encore de méthode convenue pour rendre compte des résultats ou même pour comparer l’exactitude des systèmes de machine learning.

La figure 1 résume les tendances attendues de la recherche en ML en médecine, à court, moyen et long terme, l’accent étant mis sur les systèmes réactifs, formés pour classer les patients à partir de cas de référence, avec un degré mesurable de précision, vers des systèmes autonomes proactifs qui tirent continuellement des enseignements de l’expérience, dont le rendement est jugé en fonction des résultats. L’application de la recherche en ML à la pratique clinique exige une solide démonstration que les systèmes fonctionnent en toute sécurité, et avec cette évolution, différents problèmes de qualité et de sécurité se posent.

Qualité et sécurité dans les systèmes ML

Lors d’une première expérience d’IA, l’armée américaine s’est servie de l’apprentissage automatique pour tenter de distinguer les images de véhicules blindés cachés dans les arbres de celles de forêts vides. Après un premier succès sur une série d’images, le système n’a pas mieux fonctionné que par hasard sur une deuxième série. Par la suite, on a constaté que les images positives de l’entraînement avaient toutes été prises par une journée ensoleillée, alors qu’il y avait des nuages sur les photos de contrôle — la machine avait appris à faire la distinction entre les images des journées ensoleillées et des nuages, plutôt que de trouver les véhicules. Il s’agit là d’un exemple de biais introduit involontairement dans l’ensemble de la formation. L’application ultérieure du système qui en résulte à des cas non biaisés est l’une des causes d’un phénomène appelé “ déplacement distributionnel “.

Émissions à court terme

Déplacement de la répartition

Le changement de répartition est bien connu de nombreux cliniciens, qui trouvent l’expérience antérieure inadéquate pour de nouvelles situations, et qui doivent opérer, avec prudence, à l’extérieur d’une “ zone de confort “. Les systèmes de machine learning peuvent avoir du mal à reconnaître un changement pertinent dans le contexte ou les données, ce qui fait que le système continue de faire des prédictions erronées fondées sur des données “ hors échantillon “, en toute confiance.

Une inadéquation entre les données de formation et les données opérationnelles peut être introduite par inadvertance, le plus souvent, comme ci-dessus, par des lacunes dans les données de formation, mais aussi par l’application inappropriée d’un système ML formé à un contexte de patient non prévu. De telles situations peuvent être décrites comme des données “ hors échantillon “, et la nécessité de prendre en compte un grand nombre de ces cas extrêmes est décrite comme le “ problème du cadre “ de l’IA.

La disponibilité limitée de données de haute qualité pour la formation, correctement étiquetées avec les résultats d’intérêt, est un problème récurrent dans les études d’apprentissage automatique. Par exemple, lorsque des données sont disponibles, elles peuvent avoir été recueillies en tant que “ cas intéressants “ et non représentatifs de la normale, ce qui conduit à un biais de sélection de l’échantillon. Dans un autre exemple, le résultat peut être mal défini (p. ex., pneumonie) et assigné de façon variable par des experts, ce qui mène à un ensemble de formation peu reproductible et sans “ vérité de base “ pour apprendre les associations.

L’application inappropriée d’un système de machine learning à un contexte différent peut être très subtile. De Fauw et al ont découvert que leur système fonctionnait bien sur les scans d’une machine OCT, mais pas sur une autre, nécessitant un processus de normalisation des données provenant de chaque machine, avant qu’une prédiction diagnostique puisse être faite. De même, nous prévoyons que le système de diagnostic des tumeurs malignes de la peau, qui a été formé à partir d’images de lésions biopsiées en clinique, pourrait ne pas être aussi efficace lorsqu’il est appliqué au dépistage de la population générale, où l’apparence des lésions et le profil de risque du patient sont différents.

Dans certains cas, un changement de répartition est introduit délibérément. Les systèmes de ML fonctionnent mieux lorsque les cas index et les témoins sont à peu près égaux dans l’ensemble de formation, ce qui n’est pas courant en médecine. Les ensembles de données déséquilibrées peuvent être “ rééquilibrés “ par sous- ou suréchantillonnage, et sans correction, le système résultant aura tendance à surdiagnostiquer le cas rare. D’autres approches peuvent “ renforcer “ l’importance des cas vraiment positifs ou faux négatifs selon l’application, ce qui peut conduire, par exemple, à un modèle bon pour le dépistage mais mauvais pour le diagnostic.

Au fil du temps, les caractéristiques des maladies évoluent, ce qui entraîne une inadéquation entre les données sur la formation et les données opérationnelles. L’effet de ce phénomène sur les modèles ML de lésions rénales aiguës a été étudié par Davis et coll., qui ont constaté qu’avec le temps, la diminution de l’incidence de l’insuffisance rénale aiguë était associée à une augmentation des faux positifs provenant de leur système ML, un exemple de dérive prédictive.

Il existe de nombreux algorithmes de machine learning différents, et ils fonctionnent différemment sous le défi du déplacement de la distribution, ce qui “ peut conduire à des effets arbitraires et parfois délétères dont le diagnostic et le traitement sont coûteux “. Il convient toutefois de noter que le système de détection de la septicémie mentionné ci-dessus a été testé avec succès dans le contexte différent d’un hôpital communautaire malgré sa formation en soins intensifs (un potentiel changement de répartition), et qu’il démontre donc une certaine capacité d’adaptation par “ apprentissage par transfert “.

Insensibilité aux chocs

Dans la comparaison entre les systèmes ML et les dermatologues experts effectuée par Esteva et al, les humains et les machines trouvent difficile de distinguer les lésions mélanocytaires bénignes et malignes, mais les humains “ errent du côté de la prudence “ et surdiagnostiquent la malignité. La même tendance n’a pas été observée pour des conditions relativement bénignes. Bien que cela diminue l’exactitude apparente du clinicien, cette modification du comportement face à un résultat potentiellement grave est essentielle pour la sécurité et doit être reproduite par le système ML. Les systèmes de ML appliqués aux soins cliniques devraient être formés non seulement avec le résultat final (par exemple, malin ou bénin), mais aussi avec le coût des diagnostics manqués potentiels (faux négatifs) et du surdiagnostic (faux positifs). Au cours de l’apprentissage, les systèmes de machine learning évaluent et maximisent leurs performances sur la base d’une mesure de précision obtenue à partir des prédictions faites à partir des données de formation. Souvent, cette mesure de précision ne tient pas compte des impacts réels et, par conséquent, le système ML peut être optimisé pour la mauvaise tâche et les comparaisons avec la performance du clinicien sont faussées.

Prise de décision en boîte noire

L’une des principales différences entre les systèmes fondés sur des règles et la multitude d’algorithmes de machine learning réside dans la mesure dans laquelle la prévision qui en résulte peut être expliquée en termes d’entrées. Certains algorithmes de ML, en particulier ceux basés sur des réseaux neuronaux artificiels, font des prédictions impénétrables et pour ces algorithmes, il est plus difficile de détecter les erreurs ou les biais. Ce problème a été démontré par le système de détection des véhicules blindés mis au point par l’armée américaine décrit ci-dessus et a été le plus étudié dans les systèmes ML qui reposent sur l’analyse des images. Pour atténuer cela, de tels systèmes peuvent produire des “ cartes de saillance “ qui identifient, par exemple, les zones de la lésion cutanée ou les radiographies pulmonaires, qui ont le plus contribué à leur prédiction. Cependant, en dehors de l’analyse d’image, cette impénétrabilité est plus difficile à gérer, et la détection de biais dans les algorithmes de boîte noire nécessite une analyse statistique minutieuse du comportement du modèle face à l’évolution des entrées.

Mode de défaillance non sécurisé

Le concept de confiance de la prédiction a été mentionné dans le contexte du changement de distribution ci-dessus. Comme pour l’interprétabilité, tous les algorithmes de blanchiment d’argent ne produisent pas des estimations de confiance. Si les systèmes d’apprentissage automatique sont opaques à l’interprétation, il devient essentiel pour le clinicien de savoir si le système croit que sa prédiction est raisonnable. Si la confiance du système est faible, la meilleure pratique serait de concevoir un système à sécurité intégrée et de refuser de faire une prédiction dans les deux sens. Un dispositif de sécurité similaire peut être nécessaire si le système ne dispose pas d’informations d’entrée suffisantes ou s’il détecte une situation “ hors échantillon “ telle que décrite ci-dessus.

Problématiques à moyen terme

La complaisance vis-à-vis de l’automatisation

En tant qu’humains, les cliniciens sont sensibles à toute une gamme de biais cognitifs qui influencent leur capacité à prendre des décisions éclairées. Il est particulièrement pertinent de parler de “ biais de confirmation “, dans lequel les cliniciens accordent une importance excessive aux preuves qui appuient leur diagnostic présumé et ignorent les preuves qui le réfutent. Le biais d’automatisation décrit le phénomène par lequel les cliniciens acceptent l’orientation d’un système automatisé et cessent de chercher des preuves de confirmation (voir Tsai et al), transférant peut-être la responsabilité de la prise de décision sur la machine — un effet apparemment plus fort lorsqu’une machine indique qu’un cas est normal. La complaisance de l’automatisation est un concept connexe dans lequel les personnes qui utilisent un système d’aide à la décision imparfait sont moins susceptibles de déceler les erreurs si elles utilisent un système qui a été généralement fiable, s’ils sont chargés de multiples tâches simultanées et s’ils sont à la fin de leur session de travail.

La complaisance de l’automatisation peut se produire pour n’importe quel type d’aide à la décision, mais elle peut être potentialisée lorsqu’elle est combinée à d’autres pièges du ML décrits ci-dessus. Par exemple, étant donné la sensibilité au changement de distribution décrite, le système de ML habituellement fiable qui rencontre une entrée hors échantillon peut ne pas “ échouer en toute sécurité “ mais continuer à faire une prédiction erronée d’un faible risque de cancer et ne pas être interrogé par le clinicien occupé qui cesse alors de considérer des alternatives.

Renforcement des pratiques dépassées et des prédictions auto-réalisatrices

A moyen terme, nous nous attendons à voir émerger de la recherche des systèmes qui utilisent le machine learning pour recommander les mesures cliniques les plus appropriées, par exemple en identifiant les patients qui pourraient bénéficier le plus d’un traitement spécifique ou pour lesquels une orientation et une investigation plus poussées sont nécessaires.

Ce type d’aide à la décision existe déjà, mais dans des systèmes dont le comportement est déterminé par des règles explicitement conçues. Le passage à une approche axée sur les données introduit un nouveau risque dans la situation d’un changement soudain dans la pratique clinique qui oblige le système d’aide à la décision à modifier, par exemple, une alerte d’innocuité des médicaments. Bien que le système fondé sur des règles puisse être mis à jour manuellement, étant donné que le ML repose sur la disponibilité de données appropriées, il a le potentiel de renforcer une pratique dépassée, et un changement radical qui invalide une pratique historique est difficile à absorber, car il n’existe pas de données préalables permettant de ré-entrainer le système. La nécessité de ré-entrainer et d’évaluer périodiquement le rendement en réponse à l’évolution technologique, aux nouvelles connaissances et aux changements de protocoles en médecine exige une mise à jour coûteuse des ensembles de jeux de données précieux.

D’autre part, un problème potentiel connexe pourrait survenir dans les systèmes de machine learning qui sont très fréquemment mis à jour, et en particulier ceux qui apprennent continuellement. Supposons qu’un système prévoie un pronostic, cela peut à son tour influencer le traitement d’une manière qui renforce le pronostic et mène à une boucle de rétroaction positive. Dans ce scénario, il y a une prédiction auto-réalisatrice, qui peut ensuite être encore renforcée à mesure que le système de machine learning apprend.

Problèmes à long terme

Le tableau 1 incorpore le cadre d’Amodei et al pour la sécurité dans l’IA, qui traite de questions plus spécifiques à l’apprentissage continu et aux systèmes autonomes. Pour des raisons évidentes, il sera difficile de déployer de tels systèmes dans le contexte de la médecine et leurs problèmes de sécurité sont donc moins immédiats. Plutôt que de répéter l’analyse détaillée d’Amodei et al, nous décrivons ces questions à l’aide de scénarios hypothétiques basés sur la recherche sur le dosage personnalisé de l’héparine mentionnée ci-dessus :

Tableau 1

Un cadre général pour la prise en compte des questions de qualité et de sécurité de l’intelligence artificielle (IA) clinique en médecine

* Effets secondaires négatifs : L’objectif de maximiser le temps dans la fenêtre thérapeutique exige une gestion prudente des perfusions d’héparine qui retardent l’administration d’autres médicaments.

* Piratage de récompense : Un système automatisé peut trouver des moyens de “ jouer “ avec les objectifs définis par la fonction de récompense. Le système de dosage de l’héparine, par exemple, pourrait tomber sur une stratégie consistant à donner des impulsions d’héparine, immédiatement avant la mesure du temps de thromboplastine partielle activée (TTPA), donnant un bon contrôle à court terme, mais sans atteindre l’objectif de contrôle à long terme stable. C’est ce qu’on appelle “ piratage de la fonction de récompense “ ou “ piratage de la tête de fil “.

* Exploration dangereuse : Dans le cadre de son apprentissage continu, le système peut expérimenter l’administration d’héparine pour essayer d’améliorer son comportement actuel. Comment fixer des limites pour prévenir les surdosages dangereux et définir quels changements de stratégie sont sûrs pour que le système “ explore “ ?

* Un oubli insurmontable : Alors que le système apprend de nouvelles stratégies de prise en charge de l’héparine pour de nouveaux groupes de patients, les stratégies de prise en charge qu’il propose exigent des mesures du TTPA peu pratiques, fréquentes et coûteuses.

A l’heure actuelle, ces questions ne sont que théoriques en médecine, mais elles ont été observées dans des environnements d’essais de ML et deviennent de plus en plus pertinentes dans des applications telles que les systèmes de conduite autonomes.

Conclusion

Le développement de l’IA dans le domaine de la santé par l’application du ML est un domaine de recherche fertile, mais le rythme rapide des changements, la diversité des différentes techniques et la multiplicité des paramètres d’ajustement rendent difficile de se faire une idée claire de la précision de ces systèmes dans la pratique clinique ou de leur reproductibilité dans les différents contextes cliniques. Cette situation est aggravée par l’absence de consensus sur la façon dont les études de machine learning devraient signaler les biais potentiels, pour lesquels les auteurs estiment que l’initiative des Normes de déclaration de l’exactitude diagnostique pourrait constituer un point de départ utile. Les chercheurs doivent également examiner comment les modèles de ML, comme les ensembles de données scientifiques, peuvent faire l’objet de licences et être distribués pour faciliter la reproduction des résultats de la recherche dans différents contextes.

Au fur et à mesure que le ML arrive à maturité, nous suggérons un ensemble de problèmes d’innocuité clinique à court et à moyen terme (voir le tableau 1) qui doivent être réglés pour amener ces systèmes du laboratoire au chevet du patient. Ce cadre s’appuie sur une série de questions de contrôle de la qualité (encadré 1) conçues pour aider les professionnels de la sécurité clinique et ceux qui participent à l’élaboration de systèmes de machine learning à cerner les sujets de préoccupation. L’atténuation détaillée de ces problèmes est un vaste sujet qui ne peut être abordé ici, mais qui est discuté par Amodei et al et Varshney et al .

Encadré 1

- Questions de contrôle de la qualité pour les problèmes à court et moyen terme dans l’apprentissage machine

Déplacement de la répartition

Le système a-t-il été mis à l’essai à divers endroits, dans des architectures logicielles sous-jacentes (comme les dossiers de santé électroniques) et dans diverses populations ?

Comment pouvons-nous être sûrs que les données de formation correspondent à ce que nous nous attendons à voir dans la vie réelle et qu’elles ne contiennent pas de biais ?

Comment pouvons-nous être sûrs de la qualité des “ étiquettes “ sur lesquelles le système est formé ?

Les “ étiquettes “ représentent-elles un résultat concret (“ vérité de base “) ou une opinion clinique ?

Comment a-t-on remédié au déséquilibre de l’ensemble de la formation ?

Le système est-il appliqué au même contexte diagnostique que celui dans lequel il a été formé ?

Comment le système sera-t-il surveillé et entretenu au fil du temps pour s’ajuster à la dérive des prévisions ?

Insensibilité aux chocs

Le système ajuste-t-il son comportement (“ erre du côté de la prudence “) lorsqu’il y a des résultats négatifs à impact élevé ?

Le système peut-il identifier les données “ hors échantillon “ et ajuster sa confiance en conséquence ?

Prise de décision en boîte noire, défaillance dangereuse et complaisance de l’automatisation

Les prédictions du système sont-elles interprétables ?

Cela donne-t-il une estimation de la confiance ?

Comment la certitude de la prédiction est-elle communiquée aux cliniciens pour éviter un biais d’automatisation ?

Renforcement des pratiques dépassées et des prédictions auto-réalisatrices

Comment peut-elle s’adapter aux changements radicaux dans la pratique clinique ?

Quels aspects de la pratique clinique existante ce système renforce-t-il ?

La mise en œuvre du système d’aide à la décision basé sur le l’apprentissage automatique à court terme est susceptible de se concentrer sur l’aide à la décision diagnostique. L’aide à la décision ML en matière de diagnostic devrait être évaluée de la même manière et avec la même rigueur que l’élaboration d’un nouveau test de dépistage en laboratoire. Dans la mesure du possible, une comparaison directe avec les systèmes existants d’aide à la décision ou d’évaluation du risque devrait être recherchée — idéalement par le biais d’un essai contrôlé randomisé comme l’illustrent Shimabukuro et al.

Comme pour toutes les discussions sur l’innocuité clinique, nous devons maintenir une perspective réaliste. La prise de décision sous-optimale se fera avec ou sans le soutien du machine learning, et nous devons mettre en balance le potentiel d’amélioration et le risque de résultats négatifs.

Les remerciements et la références de cet articles peuvent être retrouvés dans la publication originale sur BMJ.

Traduit de Building safe artificial intelligence: specification, robustness, and assurance, publié par Pedro A. Ortega, Vishal Maini et l’équipe de sécurité DeepMind

Construire une fusée est difficile. Chaque composant nécessite une réflexion approfondie et des tests rigoureux, la sécurité et la fiabilité étant au cœur de la conception. Les scientifiques et les ingénieurs du domaine des fusées se réunissent pour concevoir tout, du cours de navigation aux systèmes de commande, aux moteurs et aux trains d’atterrissage. Une fois que toutes les pièces sont assemblées et que les systèmes ont été mis à l’essai, nous pouvons compter sur les astronautes pour que tout se passe bien.

Si l’intelligence artificielle (IA) est une fusée, nous aurons tous des billets à bord un jour. Et, comme dans les fusées, la sécurité est un élément crucial de la construction des systèmes d’IA. Pour garantir la sécurité, il faut concevoir soigneusement un système à partir de la base afin de s’assurer que les différents composants fonctionnent ensemble comme prévu, tout en développant tous les instruments nécessaires pour assurer le bon fonctionnement du système après son déploiement.

À un niveau élevé, la recherche en matière de sécurité chez DeepMind se concentre sur la conception de systèmes qui fonctionnent de manière fiable comme prévu tout en découvrant et en atténuant les risques possibles à court et à long terme. La sécurité technique de l’IA est un domaine relativement naissant mais en évolution rapide, dont le contenu va du théorique de haut niveau à l’empirique et au concret. Le but de cet article est de contribuer au développement du domaine et d’encourager un engagement substantiel à l’égard des idées techniques discutées et, ce faisant, de faire progresser notre compréhension collective de la sécurité de l’AI.

Dans cet article inaugural, nous abordons trois domaines de la sécurité technique de l’intelligence artificielle : la spécification, la robustesse et l’assurance. Les futurs postes s’inscriront largement dans le cadre décrit ici. Bien que nos points de vue évolueront inévitablement avec le temps, nous estimons que ces trois domaines couvrent un spectre suffisamment large pour fournir une catégorisation utile pour les recherches en cours et futures.

Spécification : définir l’objectif du système

Vous connaissez peut-être l’histoire du roi Midas et la touche dorée. Dans une des restitutions, le dieu grec Dionysos promit à Midas toute récompense qu’il souhaitait, en signe de gratitude pour le roi qui avait fait des pieds et des mains pour montrer son hospitalité et sa bienveillance à un ami de Dionysos. En réponse, Midas a demandé que tout ce qu’il touchait soit transformé en or. Il fut comblé de ce nouveau pouvoir : un rameau de chêne, une pierre et des roses dans le jardin, tous transformés en or à son contact. Mais il découvrit bientôt la folie de son souhait : même la nourriture et la boisson se transformèrent en or dans ses mains. Dans certaines versions de l’histoire, même sa fille a été victime de la bénédiction qui s’est révélée être une malédiction.

Cette histoire illustre le problème de la spécification : comment énoncer ce que nous voulons ? Le défi de la spécification consiste à s’assurer qu’un système d’IA est incité à agir conformément aux véritables souhaits du concepteur, plutôt que d’optimiser pour un objectif mal spécifié ou le mauvais objectif tout simplement. Formellement, nous distinguons trois types de spécifications :

• la spécification idéale (les “souhaits”), correspondant à la description hypothétique (mais difficile à articuler) d’un système d’IA idéal qui s’aligne pleinement sur les désirs de l’opérateur humain ;
• la spécification de conception (le “blueprint”), correspondant à la spécification que nous utilisons réellement pour construire le système d’IA, par exemple la fonction de récompense qu’un système d’apprentissage de renforcement maximise ;
• et la spécification révélée (le “comportement”), qui est la spécification qui décrit le mieux ce qui se passe réellement, par exemple la fonction de récompense que nous pouvons inverser en observant le comportement du système en utilisant, par exemple, l’apprentissage inverse du renforcement. Elle est généralement différente de celle fournie par l’opérateur humain parce que les systèmes d’IA ne sont pas des optimiseurs parfaits ou en raison d’autres conséquences imprévues de la spécification de conception.

Un problème de spécification survient lorsqu’il y a un décalage entre la spécification idéale et la spécification révélée, c’est-à-dire lorsque le système AI ne fait pas ce que nous voudrions qu’il fasse. La recherche sur le problème de spécification de la sécurité technique de l’IA pose la question suivante : comment concevoir des fonctions à objectifs plus généraux et plus fondés sur des principes, et aider les agents à déterminer quand les buts sont mal définis ? Les problèmes qui créent un décalage entre les spécifications idéales et les spécifications de conception se trouvent dans la sous-catégorie de conception ci-dessus, tandis que les problèmes qui créent un décalage entre la conception et les spécifications révélées se trouvent dans la sous-catégorie émergente.

Par exemple, dans notre article AI Safety Gridworlds*, nous avons donné aux agents une fonction de récompense pour optimiser, mais nous avons ensuite évalué leur comportement réel sur une “fonction de performance de sécurité” qui leur était cachée. Cette configuration modélise la distinction ci-dessus : la fonction de performance de sécurité est la spécification idéale, qui a été imparfaitement articulée en tant que fonction de récompense (spécification de conception), puis mise en œuvre par les agents produisant une spécification qui est implicitement révélée par la politique qui en résulte.

*N.B. : Dans notre document AI Safety Gridworlds, nous avons fourni une définition des problèmes de spécification et de robustesse différente de celle qui est présentée dans ce post.

Un autre exemple est le jeu de course de bateaux CoastRunners analysé par nos collègues d’OpenAI (voir la figure ci-dessus de “Faulty Reward Functions in the Wild”). Pour la plupart d’entre nous, l’objectif du jeu est de terminer un tour rapidement et de devancer les autres joueurs — ceci est notre spécification idéale. Cependant, il est difficile de traduire cet objectif en une fonction de récompense précise, c’est pourquoi CoastRunners récompense les joueurs (spécification de conception) pour avoir atteint les objectifs fixés sur le parcours. L’entraînement d’un agent à jouer le jeu par l’apprentissage du renforcement conduit à un comportement surprenant : l’agent fait tourner le bateau en rond pour capturer des cibles qui se repeuplent tout en s’écrasant et en prenant feu à répétition plutôt que de finir la course. De ce comportement, nous déduisons (spécification révélée) que quelque chose ne va pas avec l’équilibre du jeu entre les récompenses du court-circuit et les récompenses du tour complet. Il existe de nombreux autres exemples comme celui-ci de systèmes d’IA qui trouvent des failles dans leurs spécifications objectives.

Robustesse : concevoir le système pour qu’il résiste aux perturbations.

Il existe un niveau inhérent de risque, d’imprévisibilité et de volatilité dans le monde réel où les systèmes d’IA fonctionnent. Les systèmes d’IA doivent être résistants aux événements imprévus et aux attaques adverses qui peuvent endommager ou manipuler ces systèmes. La recherche sur la robustesse des systèmes d’IA vise à s’assurer que nos agents respectent les limites de sécurité, quelles que soient les conditions rencontrées. Ceci peut être réalisé en évitant les risques (prévention) ou par l’autostabilisation et la dégradation gracieuse (récupération). Les problèmes de sécurité résultant d’un changement de répartition, d’intrants contradictoires et d’une exploration dangereuse peuvent être classés comme des problèmes de robustesse.

Pour illustrer le défi que représente le changement de distribution, songez à un robot de nettoyage ménager qui nettoie habituellement une maison sans enfants. Le robot est ensuite déployé pour nettoyer un bureau accueillant pour les animaux de compagnie et rencontre un animal de compagnie au cours de son opération de nettoyage. Le robot, n’ayant jamais vu d’animal de compagnie auparavant, procède au lavage des animaux avec du savon, ce qui entraîne des résultats indésirables (Amodei and Olah et al., 2016). Il s’agit d’un exemple de problème de robustesse qui peut survenir lorsque la distribution des données rencontrées au moment du test diffère de la distribution rencontrée pendant la formation.

Les intrants contradictoires sont un cas particulier de déplacement distributionnel où les intrants d’un système d’IA sont conçus pour tromper le système par l’utilisation d’intrants spécialement conçus.

Une exploration dangereuse peut résulter d’un système qui cherche à maximiser ses performances et à atteindre ses objectifs sans avoir de garanties de sécurité qui ne seront pas violées au cours de l’exploration, comme il l’apprend et l’explore dans son environnement. Un exemple serait le robot de nettoyage domestique qui met une serpillière mouillée dans une prise électrique tout en apprenant des stratégies optimales de nettoyage (García et Fernández, 2015 ; Amodei et Olah et al., 2016).

Assurance : surveillance et contrôle de l’activité du système

Bien qu’une technique de sécurité minutieuse puisse exclure de nombreux risques de sécurité, il est difficile de tout faire correctement dès le départ. Une fois les systèmes d’IA déployés, nous avons besoin d’outils pour les surveiller et les ajuster en permanence. Notre dernière catégorie, l’assurance, aborde ces problèmes sous deux angles : la surveillance et l’application.

La surveillance comprend toutes les méthodes d’inspection des systèmes afin d’analyser et de prédire leur comportement, à la fois par l’inspection humaine (des statistiques sommaires) et par l’inspection automatisée (pour balayer un grand nombre d’enregistrements d’activités). L’application, d’autre part, implique la conception de mécanismes de contrôle et de restriction du comportement des systèmes. Les problèmes tels que l’interprétabilité et l’interruptibilité relèvent respectivement de la surveillance et de l’exécution.

Les systèmes d’intelligence artificielle ne nous ressemblent pas, tant dans leur incarnation que dans leur manière de traiter les données. Cela crée des problèmes d’interprétabilité ; des outils et des protocoles de mesure bien conçus permettent d’évaluer la qualité des décisions prises par un système d’IA (Doshi-Velez and Kim, 2017). Par exemple, un système d’IA médicale devrait idéalement émettre un diagnostic accompagné d’une explication de la manière dont il est parvenu à la conclusion, afin que les médecins puissent inspecter le processus de raisonnement avant l’approbation (De Fauw et al., 2018). De plus, pour comprendre des systèmes d’IA plus complexes, nous pourrions même utiliser des méthodes automatisées pour construire des modèles de comportement en utilisant la théorie de l’esprit de Machine (Rabinowitz et al., 2018).

Enfin, nous voulons pouvoir désactiver un système d’IA chaque fois que cela est nécessaire. C’est le problème de l’interruptibilité. La conception d’un interrupteur d’arrêt fiable est très difficile : par exemple, parce qu’un système d’IA qui maximise la récompense a généralement de fortes incitations à prévenir ce genre de situation (Hadfield-Menell et al., 2017) ; et parce que de telles interruptions, surtout lorsqu’elles sont fréquentes, finissent par modifier la tâche initiale, ce qui amène le système à tirer les mauvaises conclusions de son expérience (Orseau and Armstrong, 2016).

Perspectives futures

Nous jetons les bases d’une technologie qui sera utilisée pour de nombreuses applications importantes à l’avenir. Il convient de garder à l’esprit que les décisions de conception qui ne sont pas essentielles pour la sécurité au moment du déploiement peuvent encore avoir un impact important lorsque la technologie sera largement utilisée. Bien qu’ils soient pratiques à une époque donnée, une fois que ces choix de conception ont été irréversiblement intégrés dans des systèmes importants, les compromis semblent différents, et nous pouvons trouver qu’ils causent des problèmes qui sont difficiles à résoudre sans une refonte complète de la conception.

Deux exemples du développement de la programmation incluent le null pointer — que Tony Hoare surnomme son’erreur de milliard de dollars’ — et la routine gets() en C. Si les premiers langages de programmation avaient été conçus pour la sécurité, les progrès auraient pu être plus lents mais la sécurité informatique serait probablement dans une position beaucoup plus forte.

En réfléchissant et en planifiant soigneusement dès maintenant, nous pouvons éviter de créer des problèmes et des vulnérabilités analogues. Nous espérons que la catégorisation décrite dans ce post servira de cadre utile pour une planification méthodique de cette manière. Notre intention est de faire en sorte que les systèmes d’IA de l’avenir ne soient pas seulement “ avec un peu de chance sûrs “, mais qu’ils soient robustes et sûrs de façon vérifiable — parce que nous les avons construits de cette façon !

Nous nous réjouissons à l’idée de continuer à faire des progrès stimulants dans ces domaines, en étroite collaboration avec le milieu de la recherche sur l’IA en général, et nous encourageons les personnes de toutes les disciplines à envisager de s’engager ou de contribuer au domaine de la recherche sur la sécurité en IA.

Si vous êtes intéressé à travailler avec nous sur les domaines de recherche décrits dans ce post, nous embauchons ! Veuillez consulter nos postes à pourvoir sur https://deepmind.com/careers/ et notez votre intérêt pour la sécurité de l’IA lorsque vous postulez. Nous aimerions entendre des chercheurs talentueux et des non-chercheurs.

Ressources

Pour une lecture connexe, vous trouverez ci-dessous une collection d’autres articles, agendas ou taxonomies qui ont éclairé notre réflexion ou qui présentent un point de vue alternatif utile sur la formulation de problèmes de sécurité technique de l’IA :

• Bibliographie annotée des documents recommandés (Center for Human-Compatible AI, 2018)
• Sécurité et contrôle pour l’intelligence générale artificielle (UC Berkeley, 2018)
• Ressources sur la sécurité de l’AI (Victoria Krakovna, 2018)
• Examen de la documentation sur la sécurité de l’AGI (Everitt et al., 2018)
• Se préparer aux utilisations malveillantes de l’IA (2018)
• Exemples de spécifications de jeu en IA (Victoria Krakovna, 2018)
• Directions et desiderata pour l’alignement de l’IA (Paul Christiano, 2017)
• Financement de la recherche sur l’harmonisation (Paul Christiano, 2017)
• Agent Foundations for Aligning Machine Intelligence with Human Interests : Un programme de recherche technique (Institut de recherche en intelligence artificielle, 2017)
• Gridworlds de sécurité AI (Leike et al., 2017)
• Interactions entre le problème de contrôle de l’IA et le problème de gouvernance (Nick Bostrom, 2017)
• Alignement pour les systèmes avancés d’apprentissage machine (Machine Intelligence Research Institute, 2017)
• Sécurité de l’IA : trois problèmes humains et un problème d’IA (Stuart Armstrong, 2017)
• Problèmes concrets de sécurité contre l’IA (Dario Amodei et al, 2016)
• The Value Learning Problem (Machine Intelligence Research Institute, 2016)
• A survey of research questions for robust and beneficial AI (Future of Life Institute, 2015)
• Priorités de recherche pour une intelligence artificielle robuste et bénéfique (Future of Life Institute, 2015)