Risques des robots tueurs, armes autonomes et les solutions pour y faire face

Les robots associés à l’intelligence artificielle promettent de révolutionner notre monde en simplifiant notre vie en s’occupant de tout ce qui est "Dirty, Dangerous, Dull" ( Sale, Dangereux et Ennuyeux) parfois trop d’ailleurs…

 

For English Speakers - Google Translation 

 

En ces temps, où guerres larvées ou déclarées, terrorisme, attentats percutent notre quotidien, Elon Musk avec 115 autres experts redemandent à interdire les robots tueurs alors que l’ONU vient de reporter sa réunion sur le sujet (novembre 2017, initiée en 2013).

 

En parallèle, la Russie a annoncé le développement de missiles capables de choisir leur propre cible (« À ce jour, certains succès sont disponibles, mais il faudra plusieurs années de développement pour obtenir un résultat précis. » dixit Boris Obsonov PDG de Tactical Missiles Corp.)

 

Je suis extrêmement inquiet des risques de surenchère et de propagation incontrôlée qui risquent d’advenir avec les armes autonomes et robots tueurs car ils risquent de donner à un individu lambda la capacité de tuer une multitude de personnes extrêmement facilement sans se faire prendre. Si on se réfère à l’anneau de Gygès, une vieille fable de Platon (République, Livre II - Wikipedia), ce n’est pas bon signe.

 

Ce sont des milliers voire des millions de Kim Jong-un en puissance qui risquent d’apparaître. On voit à quel point il est difficile de contrôler quelqu’un qui joue à balancer des allumettes dans la poudrière mondiale, imaginez si vous multipliez leur nombre ... Et nous n’avons que quelques années avant d’éteindre la mèche car il sera très difficile de revenir en arrière une fois que les armes autonomes commenceront à apparaître.

.

Plutôt que d’attendre de voir les missiles et armes autonomes passer, je préfère réfléchir, faire réfléchir et dire

  • en quoi les armes autonomes et ce que j’appelle les assbots (version robotisée des troufions, pardonnez-moi pour mon langage !) sont un danger majeur pour l’humanité par rapport aux armes traditionnelles,
  • en quoi « Imagine a war with no dead people ...with no wounded people too » grâce aux armes autonomes est un non-sens,
  • quels sont les problèmes majeurs pour les interdire (choix cornélien : se protéger Vs désarmer tous) tout en posant la question à partir de quand dit-on qu’un robot prend la décision de tuer,
  • le duo avec la cyberguerre et
  • quelques pistes et recommandations pour interdire / freiner leur développement.

Je n’ai aucune compétence et expérience dans le domaine de l'armement, j'ai juste souhaité anticiper ce qui peut nous arriver comme je le fais sur d'autres sujets (e-santé, ville - smart city, futur du travail et de l'éducation…) qui impliquent des nouvelles technologies.

 

Alors si quelques idées germent et permettent de prévenir certains risques et de réduire le développement de ces armes, ce sera cela de gagné.

 

N’hésitez pas à partager et commenter cet article pour faire avancer ces idées complétées avec les vôtres.

Dérives possibles de l'IA et des robots avec les robots tueurs

Elon Musk avec 115 autres experts veulent interdire les robots tueurs (un premier appel avait déjà été lancé en 2015, par Elon Musk, Stephen Hawking, Noam Chomsky et Steve Wozniak, cofondateur d’Apple.. ) alors que l’ONU vient de reporter sa réunion sur le sujet (initiée en 2013).

 

L’objectif est d’interdire les armes autonomes capables de prendre la décision de choisir et de tuer des cibles sans intervention humaine (ex : armes automatiques, drones, tanks…).

 

Avec la baisse drastique des coûts des technologies robots, IA / intelligence artificielle, Internet des Objets/IoT…), cela entraîne aussi la baisse dramatique des coûts et une facilité accrue pour tuer un être humain. Nous fournissons un accès quasiment libre à des poudrières. Beaucoup s’en empareront et volontairement ou pas allumeront la mèche … déclenchant une réaction en chaîne avec des explosions dévastatrices, sans même qu’ils aient toujours imaginé l’impact de leur geste.

« Imagine a war with no dead people ...with no wounded people too »

Certains contradicteurs chantonneront sur l’air de John Lennon « Imagine a war with no dead people ...with no wounded people too » en imaginant une guerre propre avec une armée d’assbots. N’est-ce pas le rêve de tout général, de toute famille de soldat et d'une opinion publique de gagner une guerre sans verser le sang de ses compatriotes.

 

Aussi, une guerre sans victimes serait plus accessible, plus facile à déclarer, moins gênante vis-à-vis de l'opinion publique. En plus, remplacer un robot détruit par un nouveau robot ferait tourner l'industrie manufacturière, alimenterait des armées de data scientists, d’experts en IA …

 

D’autre part, avec les armes autonomes, la prime reviendrait à l'attaquant et non à la défense, nous pourrions ainsi assister à une multiplication des guerres préventives comme nous en avons connu avec la 2e Guerre en Irak, afin de détruire toutes les capacités offensives de nos rivaux potentiels.

Une guerre commencée sans douleur accélère l'escalade vers la guerre totale

Malheureusement, le risque est une surenchère à la guerre préventive où chaque Etat aurait intérêt à attaquer l'autre juste pour réduire le risque d'être attaqué.

   

Imaginons deux Etats qui s'affronteraient avec une armée d’Assbots  chacun, face à l’autre. Nous pourrions faire une analogie avec deux soldats sous morphine (les assbots étant la morphine car leur perte n’entraîne pas de douleur) qui ne sentant plus la douleur se battraient jusqu'au bout, l'un contre l'autre .

 

Jusqu'au bout mais jusqu'au bout de quoi ?

 

Jusqu'à ce que le seuil de douleur devienne inacceptable par la perte d’êtres humains ou jusqu'à ce que l'Etat prenne conscience qu'il a beaucoup plus à perdre en poursuivant la guerre qu'en acceptant d'être vaincu aux conditions de l'adversaire. 

Oui mais si votre adversaire a déjà détruit tant que vous n'ayez plus grand-chose à perdre, ne seriez-vous pas tenté d'emmener votre adversaire dans votre chute vers une guerre totale ?

 

Après deux bombes atomiques, les Japonais ont accepté de cesser la guerre. Que faudrait-il pour faire cesser une guerre de robots. Si a priori vos robots ne tuent pas pas hommes, femmes et enfants, les robots de vos adversaires risquent de passer à la vitesse supérieure pour vous faire céder, ils ne se contenteront pas de briser de la belle mécanique et électronique. 

 

A l'image de ces deux soldats sous morphine, le seuil de douleur devient plus élevé alors que leurs blessures seront nettement plus profondes. La douleur est une limite à franchir avant de poursuivre l’escalade, s'il n'y a plus de douleur, il n'y a plus de limites.

 

Les robots tueurs accélèrent l’escalade guerrière vers le point de non-retour et poussent à la guerre totale, à l’anéantissement de l’adversaire et … le sien. La différence entre les guerres passées et les guerres avec des robots tueurs est que les premières ont mis à genoux de nombreux pays, la France, l’Angleterre, l’Allemagne, le Japon …  mais ne les ont pas anéantis, les deuxièmes ne permettront pas à ces nations voire nos civilisations de se relever.

 

C’est une hérésie de croire à une guerre propre avec des robots tueurs car ce qui dissuade des pays de déclarer la guerre à d’autres ou les inciteraient à capituler et empêcher la guerre totale est l’insupportable douleur de sa population et ses pertes humaines.

 

Alors oui, il est d’une absolue nécessité de les interdire mais est-ce possible ?

Est-il possible d’interdire les robots tueurs et autres armes autonomes ?

Nous sommes face à ce choix cornélien : pour nous protéger vaut-il mieux être armé avec le risque d’armer nos adversaires ou que nous soyons tous désarmés sachant qu’il est de plus en plus facile de créer des armes autonomes, de les utiliser sans risquer de se faire détruire.

 

Nous pouvons faire le parallèle avec la convention sur l’interdiction et la destruction des armes chimiques (1997) et le récent traité d’interdiction des armes nucléaires adopté à l’ONU, voté par 122 Etats mais aucun des neuf pays détenteurs de la bombe, à savoir les six Etats « dotés » au sens des traités internationaux (Etats-Unis, Russie, France, Royaume-Uni, Chine et Inde), auxquels s’ajoutent les Etats non déclarés (Pakistan, Israël et Corée du Nord) ne l’ont signé ..). 

 

Cela vide quasiment de toute sa substance le traité, c’est comme si tous les citoyens n’ayant jamais porté d’arme s’engageaient à ne porter d’armes ! (même si cela n’influence les autres …)

 

 

La position de la France dans ce dernier cas est très instructive :

Mettant en avant la force dissuasive de l’arme nucléaire encadrée par le traité de non-prolifération, mais aussi ses efforts en matière de désarmement, Paris estime que « le désarmement nucléaire ne se décrète pas ». Selon le communiqué du ministère des Affaires étrangères, « un traité d’interdiction des armes nucléaires risque d’affecter la sécurité de la région euro-atlantique et la stabilité internationale », et il est « susceptible de fragiliser le traité sur la non-prolifération des armes nucléaires, pierre angulaire du régime de non-prolifération ».

Dilemme du prisonnier - O.K. Corral mondialisé, tous avec le doigt sur la gâchette

Nous sommes face à un dilemme du prisonnier sauf qu’au lieu d’avoir deux prisonniers vous en avez des milliers voire des millions (Etats, organisations terroristes, individus isolés…) si un seul trahit, il peut mettre en danger tous les autres. C’est à l’image d’un O.K. Corral mondialisé réunissant Etats, organisations, individus main sur le revolver, prêts à dégainer sur un malentendu ou un cliquetis suspect.

 

Personne n’ayant confiance en personne, cela risque de se traduire sous forme de guerre froide démultipliée où chaque Etat et organisation se gardent la possibilité d’utiliser ces armes de manière défensive … voire préventive en surveillant les autres, en essayant de réduire leur accès de technologies sensibles et en se donnant les moyens de les saboter (via des virus ou chevaux de Troie dormants activés si la menace se précise).

Robots tueurs - Prolongements physiques de la CyberGuerre

La cyberguerre collabore étroitement avec la guerre par les robots tueurs. Le robot tueur est le prolongement physique de la cyberguerre. Les nombreuses attaques récentes comme WannaCry ou Stuxnet peuvent être un moyen de tester et d’infiltrer des systèmes informatiques tiers pour devenir une arme de dissuasion ou saboter les systèmes adverses. 

 

Grosso modo, tout le monde se tient par la barbichette jusqu’au jour l’un d’eux n'ayant pas grand-chose à perdre et beaucoup à gagner fasse craquer l’allumette.

 

Il y a un intérêt additionnel d’avoir une armée de cyberguerriers. Autant retourner une armée de soldats, n'est guère aisée, vous trouverez toujours une backdoor comme on l’a vu dernièrement pour retourner une armée d'assbots contre son Etat d’origine. Le Brain Washing est bien plus efficace et facile sur des robots que sur des humains.

Hommes augmentés par Neuralink (Elon Musk) hackés ?

Il ne reste plus qu’à mettre en œuvre le projet d’Elon Musk (Neuralink … le même qui est contre les robots tueurs … il a dû certainement comprendre les risques de son projet dans ce domaine …) pour intégrer des puces dans le cerveau afin de l’augmenter.

 

Un petit court-circuit ou DDOS et vous pourriez éradiquer une armée entière d’humains augmentés. Cela rend les possibilités de destruction pardon d'auto- destruction quasi illimitées et surtout aussi faciles à déclencher qu'un jeu vidéo comme Call of Duty.

             

On voit donc que même s’il sera extraordinairement difficile d’interdire à tous les Etats d’utiliser des armes autonomes, il y a quelques arguments qui pourraient, je le souhaite, les faire réfléchir.

Pourquoi les armes autonomes / robots tueurs sont si dangereux ?

On pourrait se demander pourquoi une arme autonome est si dangereuse par rapport à une arme traditionnelle ?

 

 

 

 

 

 

 

 

Une arme conventionnelle

  • est difficile a priori d’accès et coûte chère (en particulier si elle a la capacité de faire beaucoup de victimes),
  • peut faire des victimes collatérales  qui peut dissuader
  • est facile généralement à associer avec son propriétaire (registre des armes à feu associées à des n° de série et des personnes, surveillance satellitaire pour les missiles)
  • donne suffisamment de temps (une fois que vous êtes identifié comme l’auteur) à l’adversaire pour vous détruire / neutraliser (ou votre organisation)
    • ce qui peut réduire le nombre de victimes

    • ce qui peut le dissuader à agir équilibre de la terreur / dissuasion avec l’arme nucléaire de son adversaire). Pour un homme armé, il risque d’être capturé, tué par des forces de polices et de mettre en péril son organisation et pour des missiles nucléaires, il risque d’être détruit par des anti-missiles en plus des attaques de rétorsion d’où l’équilibre de la terreur / dissuasion nucléaire.

Une arme autonome

  • est accessible à tous et peu chère (ex : associer quelques drones avec certains produits du commerce peut faire de nombreuses victimes),
  • peut de plus en plus facilement discriminer les cibles des personnes à ne pas tuer (via de la reconnaissance d’image, signature thermique, le smartphone de la cible, des objets connectés en Bluetooth)
  • peut être très difficile et long pour retrouver son auteur et donc rendre impossible de répliquer ou avec un risque élevé d’erreur (car autonomes et programmés à l’avance avec de l’IA pour s’adapter à la situation et donc ne nécessite pas de personne à proximité, interagissant directement avec l’arme)
  • ne donne pas de temps de réaction à l’adversaire pour les détruire et est difficile à neutraliser (en particulier s’il y a de nombreuses armes disséminées comme une myriade de drones ou des jumping sumo explosifs et non une arme centralisée)
  • Enfin, une des conséquences de ces éléments est leur capacité à faire beaucoup plus de victimes qu’une arme traditionnelle pour un coût et une facilité de mise en œuvre beaucoup plus faible.

Donc, OUI je me répète, les armes autonomes sont un danger absolu pour le futur des hommes.

Interdire aux robots de décider de tuer - Oui mais quelle décision accepterons-nous de déléguer ?

D’autres questions se posent aussi :

 

On veut interdire aux robots de prendre la décision de tuer, de quelle décision parle-t-on ? de tuer un individu, un groupe d’individus, un groupe d’individus ayant certaines caractéristiques … et quelle part délègue-t-on à la machine ?

 

Les bombes ou missiles lancées d’un avion après qu’un homme appuie sur un bouton ne sont pas considérés comme des robots tueurs même s’ils ont un dispositif qui détecte la chaleur ou un signal (ex : smartphone) et poursuivent leur cible en conséquence.

 

  • Si ce même homme appuie sur un bouton, et envoie des mini-missiles intégrant une mini-caméra capable de reconnaître les visages et de ne tuer que des barbus portant des chemises à fleurs (caractéristiques définies par l’homme avant d’appuyer sur le bouton), est-ce que le mini-missile est une arme autonome ou pas ?
  • Si cet homme appuie sur ce bouton, et que cela déclenche l’envoi de ces mêmes mini-missiles sur une période de plusieurs jours ou mois, est-ce que ce sont des armes autonomes ?
  • Si cet homme appuie sur ce bouton, et que cela déclenche l’envoi des mini-missiles dès qu’il détecte une cible ayant des caractéristiques définies à l’avance, est-ce que ce sont des armes autonomes ?
  • Si cet homme appuie sur un seul bouton, pour anéantir un pays grâce à une armée d’assbot, de missiles, de drones tueurs, est-ce que ce sont des armes autonomes ?

Un homme a pris la décision d’appuyer sur un bouton, donc on pourrait dire que ces armes ne sont pas autonomes car c’est lui qui l’a décidé et non l’arme de tuer…

 

En réalité, l’homme a délégué aux robots tueurs le choix de tuer. Celui qui décide de tuer peut avoir l’impression d’être dans un jeu vidéo et oublier que celui qui meurt n’a pas de deuxième vie après Game Over.

Robots détruisant des infrastructures vitales, est-ce des robots tueurs ?

D’autre part, à partir de quel moment on considère un appareil comme un robot ou une arme autonome, un pistolet intégrant de l’IA pour ajuster un tir à l’image des systèmes de stabilisation pour appareil photo, est-ce un robot tueur ?

 

Imaginons, un gilet pare-balle capable de tirer et tuer un assaillant s’il a été touché. Est-ce que cette arme défensive et autonome aurait le droit de tuer en cas de légitime défense de son propriétaire ?

 

Le débat ne s’arrête pas aux robots tueurs mais aussi aux robots de guerre en général (et tueurs indirects) qui peuvent transmettre des maladies, détruire toute une infrastructure d’énergie, d’accès à l’eau, à la santé, aux communications qui peuvent entraîner par impact une multitude de décès par maladie, faim, froid, déshydratation …

 

Il y a beaucoup de questions qui se posent, il est essentiel qu’en premier lieu le maximum de questions et de problématiques soient clairement posées afin de pouvoir prendre des décisions dessus. Il faut aussi inclure les licenciés de tir sportifs et chasseurs dans cette réflexion.

Comment les interdire / réduire leur propagation ?

Même si cela semble une gageure d’interdire des armes autonomes aux Etats (d’autant qu’elles commencent à exister comme le montre la récente déclaration de la Russie pour développer leurs missiles capables de choisir leur propre cible lors du salon aérien moscovite MAKS 2017… ), on peut avoir une approche pour restreindre au maximum leurs conception, vente, utilisation et propagation et au final parvenir à les interdire avant qu’il ne soit trop tard.

 

Pour cela, il faut augmenter au maximum la barrière à l’entrée pour accéder à ce type d’équipement afin de la rendre inaccessible.

 

Un des problèmes des armes autonomes, est qu’à la différence des armes nucléaires ou d’armes chimiques, nul besoin de s'approvisionner en uranium et de l'enrichir, ou de souches de virus et d’usines chimiques pour obtenir une arme de destruction massive  

La technologie peut se diffuser suffisamment rapidement pour qu’un Etat ou une organisation non terroriste ne puisse empêcher sa propagation vers des organisations criminelles ou terroristes. La guerre ne sera plus réservée aux Etats mais se démocratisera aux terroristes de toute confession et aux organisations criminelles de tout poil, voire même aux individus, hackers solitaires ou anonymes.

 

La réglementation pourrait a minima être nationale afin de servir d’exemple et proposer à nos partenaires européens et pousser sur le plan international, en particulier les Nations Unies. Je sais, certains d’entre vous, me taperont sur l’épaule, en m’indiquant que l’industrie de l’armement française est fortement exportatrice et il ne faut pas la brider. Le point n’est pas d’interdire la recherche sur l’intelligence artificielle mais d’éviter d’atteindre ce fameux dilemme du prisonnier où on aura à choisir entre anéantir l’adversaire et être anéanti grâce à l’IA et être anéanti car nous n’aurons pas utilisé l’IA.


Solutions et recommandations en fonction du type d’armes

Il faut distinguer deux types d’armes,

  • les armes par nature (pistolet, bazooka, poignards mais aussi bombe lacrymogène …) et
  • les armes par destination (chandelier, couteau de cuisine, bouteille de verre, mais pas la tarte à la crème comme l’avait demandé Jean-Pierre Chevènement lors de son procès contre Noël Godin qui l’avait entartré) dont la fonction première n’est pas d’être une arme mais qui sont utilisées, ou destinées à être utilisé, comme tel dans certaines situations. 

Armes par nature

Pour les armes en général possédées par des Etats (avions de combat, missiles, tanks…)

 

Idéalement, on pourrait interdire toute arme autonome dans le monde, le problème est qu’il faut être un peu réaliste et tenir compte que c’est plus facile d’interdire ce qui n’existe pas encore que ce qui existe, d’où l’urgence de la réglementation internationale compte tenu des avancées des fabricants d’armes.

 

D’autre part, il vaut mieux été concret, avoir des définitions précises quitte à les modifier plutôt que de partir sur des bonnes volontés qui sont inapplicables sur le terrain.

 

J’exclus dans mes recommandations ci-dessous les armes autonomes qui ont pour seul objectif de détruire une arme lancée par un adversaire (ex : batterie anti-missile dotée d’IA), celle-ci ayant un but uniquement défensif et n’ayant pas d’impact sur des personnes ou du matériel.

 

J’utilise à escient le mot cible plutôt que victime, car la cible peut être aussi une cible en carton … pour les armes utilisées par des tireurs sportifs par exemple.

Recommandation 1 – Interdire les armes autonomes à déclenchement différé ou conditionnel (hors si vise d’autres armes attaquantes) – Décision ONU

Cela signifie que toute action de mise à feu doit obligatoirement déclencher la mise à feu instantanément.

 

Par exemple, si on appuie sur le bouton Fire, le missile ne doit pas partir dans les 10 minutes qui suivent ou être programmé mardi matin à 8h45. De même, il ne doit pas y avoir un IFTTT (If This Then That) de mise à feu, style si la Corée du Nord a envoyé un missile, je tire automatiquement sans intervention humaine un missile visant la Corée du Nord. Comme je dis plus haut, en revanche, une arme anti-missile peut détruire le missile nord-coréen !

 

Se pose la question des combats par exemple un avion de chasse, un tank peut-il déclencher le feu automatiquement sans l’intervention d’un être humain s’il combat un avion de chasse ou tank adverse ? Difficile d’interdire cela à un avion de combat s’il est attaqué. Je pense que l’IA pourrait être utilisé que de manière défensive.

Mais qu’est-ce que défensif ? Si nous sommes plusieurs avions de combat, mon voisin est attaqué, est-ce que l’IA de mon avion peut attaquer les avions adverses. Plus largement, si mon pays est attaqué, est-ce que tous mes avions pourraient utiliser l’IA …

 

Et dans l’exemple précédent si les Etats-Unis sont attaqués, est ce interdit ou autorisé qu’une IA envoie un missile directement sur la base qui a lancé le missile voire d’autres qui pourraient menacer … même s’il y des populations civiles …

Recommandation 2 – Interdire aux armes autonomes de surenchérir à une attaque – Décision ONU

L’esprit est d’avoir une réponse proportionnée à l’attaque, l’IA ne doit jamais être capable de surenchérir.

 

Seul l’homme doit avoir le pouvoir de le faire sinon le risque est l’escalade jusqu’au double anéantissement total (cf. un vieux film Wargames de 1983 qui l’évite car l’IA comprend qu’il fait face au même problème que pour le Tic-Tac-Toe («  A strange game. The only winning move is not to play ;), et une version alternative où l’IA ne le comprend pas …)

 

L’homme a montré à quel point il était capable de bafouer les règles aux dépens de l’humanité lors des guerres, espérons qu’il ne l’enseigne jamais à l’IA. 

Recommandation 3 – Interdire l’intégration de code dans les armes et munitions discriminant les cibles des non-cibles. - Décision ONU

L’objectif est d’empêcher qu’une arme / une munition intégrant par exemple une caméra avec reconnaissance visuelle ou un autre signal puisse « choisir » sa cible. Il faut que le tireur prenne conscience qu’il peut tirer sur des innocents, des personnes à préserver afin de le dissuader de tirer.

 

Il existe déjà des missiles qui se dirigent en fonction du signal d’un smartphone (utilisés par les Etats-Unis notamment, la Russie travaille sur des missiles avec IA…).

 

Ce sera difficile d’interdire ces missiles néanmoins on peut au minimum interdire des armes et munitions qui visent des cibles non identifiées individuellement mais caractérisées ( ex : sur base d’habits, caractéristiques …)

 

Recommandation 4 – Intégrer dans les systèmes de commande actuels un système additionnel en open source - Décision Internationale

A l'image des avions actuels, les armes types missiles, tanks … ont des systèmes de commande résilients et redondants mais propriétaires.

 

L’objectif est d’ajouter un système de commande additionnel en open source strictement séparé du système propriétaire. Si deux ordres sont contradictoires entre les deux systèmes, cela empêche la mise à feu. Cela peut sembler contre-intuitif, néanmoins le code open source étant très challengé par des « bug bounty », des hackers… les failles peuvent être identifiées très rapidement à la différence de systèmes propriétaires (plus difficiles d’accès mais moins challengés et corrigées dans la foulée).

 

J’avais décrit aussi un système pour sécuriser les objets connectés en utilisant la blockchain et le hashage dans un article spécifique

 

Recommandation 5 - Interdire l’intégration de microprocesseurs dans le corps humain (hors cas médical si sans augmentation de capacité) – Décision Française pour l’étendre à l’Europe puis l’ONU

Interdire l’intégration de microprocesseurs dans le cerveau ou dans d’autres parties du corps hormis les cas médicaux spécifiques (épileptiques, malades d’Alzheimer, tétraplégiques…) et à condition que cela n’augmente pas la capacité de la personne au-delà des capacités normales humaines (ex : intégrer des chips dans le cerveau qui donnent à un malade d’Alzheimer, une mémoire dépassant celle d’un être humain normal, permettre à un aveugle de voir de l’infrarouge via des yeux électroniques). 

 

Tout dispositif qui permet d’augmenter les capacités d’un être humain (un smartphone, des lunettes infrarouges, un véhicule …) doit être externe au corps humain et non relié directement au système nerveux ou au cerveau.

 

L’objectif est d’éviter qu’un jour quelqu’un puisse prendre la main sur des êtres humains (soldats ou non) et les transformer en robots tueurs ou les tuer.


Pour les armes qui peuvent être possédées par des particuliers (dont certaines sont interdites)

II y a une réglementation en place qui scindent les armes en plusieurs catégories (de A à D) elle interdit, autorise sous condition, nécessite une déclaration et pour certaines autorise la vente libre (bombes aérosol, certaines armes à impulsion électrique…).

Recommandation 6. Interdiction de connecter à Internet ou d’intégrer du code logiciel dans ces armes et leurs munitions (au pire dans le système de mise à feu) - Réglementation au minimum européenne, si possible ONU

Il est indispensable d’intervenir auprès des fabricants d’armes pour leur interdire de connecter à Internet (directement ou via Smartphone) ou d’intégrer de l’intelligence artificielle, du code logiciel dans ces armes, au pire obliger ces fabricants à dissocier totalement le code intégré dans l’arme (par exemple pour identifier son utilisateur, et empêcher qu’un autre utilise son arme) de la partie mise à feu de l’arme (à l’image des systèmes critiques d’un véhicule) qui doit être exempte de tout logiciel et ne peut être déclenchée que manuellement.

 

L’objectif est d’interdire une mise à feu à distance sans la présence de son propriétaire ou d’un hacking des pistolets qui permettent de tirer sans la décision expresse de son propriétaire.

 

Ce sera aussi difficile d’imposer aux fabricants d’armes ces restrictions d’autant que les lobbys d’armes comme la NRA sont très puissants (cf. article ici) et les objets connectés sont pour eux une nouvelle source de revenus.

 

Recommandation 7.  Interdire la stabilisation mécanique d’une arme – Réglementation européenne puis internationale 

Il est nécessaire d’interdire l’intégration de code dans les armes et munitions permettant de stabiliser une arme (armes A à D) en fonction d’une cible.

 

L’objectif est d’éviter que l’arme facilite mécaniquement l’atteinte de la cible. La réglementation peut interdire la vente de ces armes en Union Européenne puis sur le plan international.

 

Il est en revanche difficile d’interdire des lunettes de visée stabilisées qui existent déjà.


Armes par destination

Est-ce possible d’interdire des robots tueurs alors qu’on pourrait imaginer un drone associé à des objectifs a priori inoffensifs et accessibles dans le commerce pour tuer, blesser … ?

 

Il est possible de limiter certains risques sans éliminer totalement les risques.

 

Recommandation 8. - Déclaration des objets autonomes mobiles – Réglementation européenne puis internationale 

Tout objet

  • capable de se mouvoir seul (par exemple si d’un poids supérieur à 800 g comme les drones et allant au-delà de 6 km/h, limite utilisée pour les transports autorisés sur les trottoirs comme les trottinettes électriques, et si va au-delà de 25 km/h, quelque soit son poids, limite utilisée dans les transports nécessitant la délivrance d’un numéro d’identification unique, qui devra être gravé sur une partie inamovible de l’engin et qui devra également figurer sur une plaque d’identification fixée sur celui-ci.… )
  • et capable d’emporter une charge de plus d’une centaine de grammes (à préciser mais plus compliqué à évaluer)
  • devrait nécessiter une déclaration obligatoire avec une pièce d’identité auprès du vendeur transmise à la préfecture.

 

Cela concernerait les robots, drones, véhicules télécommandés avec potentiellement des spécificités pour chacun. On le fait déjà pour acheter une carte Sim et dans le cas des drones cela va devenir obligatoire si le poids dépasse 800 grammes. Ces drones « lourds » devront être équipés de signaux lumineux et sonores afin d’être facilement identifiables dans le ciel. 

Recommandation 9. – Renforcer et sécuriser les limitations de vitesse  sur les véhicules autonomes à l'approche de personnes – Réglementation européenne puis internationale 

Il est nécessaire que les véhicules autonomes ne puissent perpétrer des attentats comme à Nice ou à Barcelone. Pour cela, on peut intégrer du code non modifiable qui réduit la vitesse puis met à l’arrêt un véhicule si un piéton, un obstacle est détecté dans une zone inférieure ou égale à la distance de sécurité de freinage. (voir l’article sur sécurisation des objets connectés)

 

Il y a d’autres risques à tenir compte comme le risque que des engins explosifs soit situés dans le coffre d’une voiture autonome.

 

Mais comment faire la distinction avec des bagages ? Cela me paraît difficile de demander aux constructeurs de mettre des capteurs d’explosifs dans les coffres ! Ce serait complètement disproportionné par rapport à la probabilité qu’un coffre contienne des explosifs. Compliqué aussi de pister chaque véhicule en temps réel, gardons encore les quelques libertés qu’ils nous restent.

 

Néanmoins, on peut imaginer des boites noires pour les véhicules autonomes (ou pour ceux qui sont utilisés par plusieurs utilisateurs comme les VTC), idéalement intégrées dans le véhicule (et ne transmettant pas les données sur un serveur) ou virtuelles (sur un serveur sécurisé, mais qui l’est vraiment ?). Ces données ne seraient accessibles que sur réquisition judiciaire (comme sur les appels téléphoniques).

 

Recommandation 10 - A l’image de la sécurité routière, vigilance citoyenne – France et Europe

Sans traumatiser tout le monde, c’est important que la population soit au fait des risques et soit vigilante par rapport à ceux-ci.

 

Cela peut se faire par des campagnes de presse, des ateliers dans les écoles… à l’image ce que se fait dans le domaine de la sécurité routière mais ici pour la sécurité de tous en expliquant aussi bien comment se protéger et protéger ses objets connectés (mots de passe, bases de sécurité informatique, les risques de certains appareils comme les drones…).

 

Recommandation 11 - Intégrer la sécurité des objets connectés dans le norme CE – Réglementation Européenne 

Il est nécessaire de sécuriser les objets connectés qui sont aujourd’hui des passoires pour la plupart. Dans ce cadre, il est nécessaire d’intégrer dans la norme de certification CE (nécessaire pour vendre des produits en Union Européenne), avec des principes tels que la Privacy by Design et Security by default. J’ai écrit un article donnant les principaux principes pour sécuriser un objet connecté.

 

La sécurité devrait être encore plus accrue pour les équipements médicaux comme les pompes à insuline qui peuvent devenir des armes par destination en injectant des doses mortelles.

 

L’objectif est de réduire les risques d’un hacking massif de drones, robots, objets connectés qui se transforment en armes par destination

 

Conclusion

Beaucoup d'autres recommandations pourraient être faites, ce ne sont que quelques idées, certaines sont applicables rapidement d’autres à long terme enfin d’autres ne le seront jamais pour de bonnes et mauvaises raisons. 

 

L’objectif est de participer à ce débat qui nous concerne tous (alors que je n’ai aucune expertise sur le sujet de l’armement) et de faire bouger le slignes avant qu'il ne soit trop tard.

 

Sans doute est-ce idéaliste de croire que ce type d'article puisse changer la donne, mais sans idéal il n'y a plus d'espoir.

 

Dimitri Carbonnelle - Fondateur de Livosphere

Agence Conseil en Nouvelles technologies : Internet des Objets, Intelligence artificielle 

 

Écrire commentaire

Commentaires: 1
  • #1

    evelyne (vendredi, 25 mai 2018 16:55)

    bien penser également au vrai danger actuel et bien concret des robots, multiplication des robots industriels qui expose les travailleurs à des risques pour leur sécurité : ceci est d’autant plus accentué dans les cas de ces nouveaux robots collaboratifs qui partagent un même espace de travail, en réalisant des travaux avec les opérateurs : La prévention des risques de la robotisation industrielle : http://www.officiel-prevention.com/formation/fiches-metier/detail_dossier_CHSCT.php?rub=89&ssrub=206&dossid=546