Этика ИИ борется с огненным ударом «один-два» как автономных систем вооружения на основе ИИ, так и с эксплуатацией автономных систем, управляемых ИИ, которые дьявольски вооружены

Эти удивительные танцующие четвероногие роботы.

Я уверен, что вы видели эти вирусные видеоролики о четвероногих роботизированных системах, которые танцуют и скачут, казалось бы, восхитительными и любимыми собачьими способами. Кажется, нам нравится наблюдать за тем, как роботы, управляемые искусственным интеллектом, перебираются через препятствия и, кажется, ловко закрепляются, когда взгромоздились на ящики или после того, как их ненадежно разместили на подвыпивших верхушках шкафов. Их дрессировщики-люди будут время от времени тыкать или толкать резвящихся четвероногих роботов, что кажется возмутительно несправедливым и может легко вызвать ваш гнев из-за грубого обращения со стороны этих гуманоидов-вдохновителей.

Однако мне интересно, видели ли вы не очень вирусные видео совершенно другого калибра.

Приготовься.

Широко распространены видеоролики, на которых показаны такие же четвероногие роботы, оснащенные тем или иным ярко выраженным вооружением.

Например, пулемет или аналогичное огнестрельное оружие устанавливается поверх знакомого танцующего и скачущего робота. Существует электронная связь между четвероногим роботом и ударно-спусковым механизмом оружия. Показано, что теперь вооруженное компьютерное приспособление для ходьбы шагает туда, где была размещена мишень в яблочко, а пулемет яростно стреляет по цели. Поражая впоследствии частично разрушенную цель, четвероногий робот танцует и скачет вокруг близлежащих препятствий и выстраивается в линию, чтобы снова и снова повторять одно и то же действие с другими новыми целями.

Не совсем то, что вы могли ожидать увидеть. Это, безусловно, лишает беззаботность и относительную радость откровенного наблюдения за тем, как эти приятные четвероногие роботы делают свое дело. Добро пожаловать в суровую реальность кажущегося безобидный автономные системы переделываются или трансформируются в резко вооружённые. Не прилагая особых усилий, вы можете за одну ночь переоборудовать считающуюся «невооруженной» автономную систему, чтобы она содержала полноценное вооружение.

В некоторых обстоятельствах это почти легко.

Я собираюсь обсудить эту жарко противоречивую тему и рассказать о довольно серьезных сомнениях в этике ИИ, которые возникают. Мы совершим путешествие в автономные системы, ИИ, автономные транспортные средства, вооружение и множество связанных с этим боевых вопросов этического ИИ. Мой постоянный и обширный обзор этики ИИ и этического ИИ см. ссылка здесь и ссылка здесь, Просто назвать несколько.

Начнем с некоторых основополагающих краеугольных камней.

Ради обсуждения примите, что есть два основных способа классифицировать автономные системы, которые были вооружены оружием:

1) Автономные системы вооружения (по дизайну)

2) Автономные системы, оснащенные оружием (по факту)

Между этими двумя категориями есть важное различие.

В первом случае мы определим автономная система вооружения быть с самого начала основанным на компьютере созданием, которое целенаправленно предназначено для использования в качестве оружия. Разработчики имели в виду, что хотели изобрести оружие. Их явный квест заключается в производстве оружия. Они знали, что могут интегрально сочетать вооружение с новейшими технологиями автономных систем. Это оружие, которое движется на волне высоких технологий, достигающих автономного движения и автономных действий (в ближайшее время я расскажу более подробно).

Напротив, во втором случае мы будем рассматривать вопрос об автономных системах, которые вообще не имеют особого отношения к вооружению. Это автономные системы, разрабатываемые для других целей. Представьте себе автономное транспортное средство, такое как самоуправляемый автомобиль, который будет использоваться для обеспечения мобильности для всех и поможет сократить тысячи ежегодных смертельных случаев, происходящих из-за автомобилей, управляемых людьми (см. в ссылка здесь). Кажется, что это не оружие для тех оптимистичных социальных усилий, направленных на то, чтобы убрать людей из-за руля и вместо этого посадить ИИ на место водителя.

Но эти безобидные автономные системы можно превратить в оружие, если люди захотят этого.

Я называю эту вторую категорию автономные системы, вооруженные. Автономная система изначально и тщательно создавалась для предположительно невоенных целей. Несмотря на это, мечтательная альтруистическая надежда переворачивается с ног на голову кем-то, у кого появляется коварная идея, что это изобретение может быть использовано в качестве оружия. Внезапно автономная система, которая казалась приятной, стала смертельным оружием, пометив какую-то форму оружия (например, четырехногих роботов, похожих на собак, упомянутых ранее, у которых есть пулемет или подобное огнестрельное оружие, добавленное к их функциям). .

К сожалению, эти две категории заканчиваются примерно в одном месте, а именно в обеспечении возможности использования автономных систем для оружия на потенциально летальной основе.

Процесс достижения этой конечной точки, вероятно, будет другим.

Для полностью вооруженных автономных систем, которые были привязаны к оружию, аспекты вооружения, как правило, находятся в центре внимания. Можно сказать, что аспекты автономной системы связаны с краеугольным камнем любого рассматриваемого оружия. Мыслительный процесс разработчиков несколько напоминает то, как оружие может использовать появление автономных систем.

Другая точка зрения, как правило, совсем не соответствует этому мышлению. Разработчики хотят вывести современную автономную систему, возможно, для улучшения человечества. Эти разработчики вложили самое искреннее сердце и душу в создание автономной системы. В этом суть их изобретения. Они не могли вообразить, что кто-то узурпирует или разрушит их чудесное благотворное устройство. Они блаженно очарованы социальными преимуществами, связанными с формируемой и производимой автономной системой.

Допустим, в какой-то момент третьи стороны осознают, что автономная система может быть перенастроена для использования в качестве оружия. Может быть, они обманывают разработчиков, заставляя их использовать автономную систему для якобы высоких целей. За закрытыми дверями эти злодеи решили незаметно добавить в автономную систему боевую способность. Вуаля, невинность превратилась в откровенное оружие.

Вещи не должны продолжаться таким образом.

Возможно, разработчикам сказали, что они разрабатывают невинную автономную систему, но те, кто финансировал или руководил разработкой, имели в виду другие цели. Возможно, усилия по созданию автономной системы действительно начались невинно, но затем, когда нужно было оплачивать счета, руководство заключило сделку с источником финансирования, которому нужны автономные системы по гнусным причинам. Другая возможность заключается в том, что разработчики знали, что позже они могут быть использованы для вооружения, но они рассчитывали, что они перейдут этот мучительный мост, когда он когда-либо возникнет. И т.п.

Есть много разных вариантов того, как все это происходит.

Вы можете найти интересным то, что я описал в предыдущих колонках, что растет осведомленность об этике ИИ в отношении двойное назначение элементы современного ИИ, см. ссылка здесь. Позвольте мне кратко ввести вас в курс дела.

Система ИИ, задуманная как хорошая, иногда может оказаться на грани плохого, возможно, из-за каких-то довольно простых изменений, и, соответственно, рассматривается как система двойного назначения. Недавно в новостях упоминалась система искусственного интеллекта, созданная для обнаружения химических веществ, которые могут быть убийцами, для чего разработчики хотели убедиться, что мы можем избегать или опасаться таких непродуманных химических веществ. Оказывается, ИИ можно несколько легко настроить так, чтобы он преданно раскрывал эти химические вещества-убийцы и, таким образом, потенциально позволял злодеям знать, какие химические вещества потенциально можно приготовить для своих ужасных зловещих планов.

Автономные системы вполне могут вписаться в эту среду двойного назначения.

В какой-то степени именно поэтому этика ИИ и этический ИИ являются такой важной темой. Предписания этики ИИ заставляют нас сохранять бдительность. Технологи ИИ могут время от времени увлекаться технологиями, особенно оптимизацией высоких технологий. Они не обязательно учитывают более крупные социальные последствия. Иметь этическое мышление ИИ и делать это неотъемлемо от разработки и внедрения ИИ жизненно важно для создания надлежащего ИИ, включая (возможно, неожиданно или по иронии судьбы) оценку того, как этика ИИ принимается фирмами.

Помимо использования принципов этики ИИ в целом, возникает соответствующий вопрос о том, должны ли мы иметь законы, регулирующие различные виды использования ИИ. На федеральном уровне, уровне штатов и на местном уровне обсуждаются новые законы, касающиеся диапазона и характера разработки ИИ. Усилия по разработке и принятию таких законов носят постепенный характер. Этика ИИ служит, по крайней мере, временной мерой и почти наверняка в какой-то степени будет непосредственно включена в эти новые законы.

Имейте в виду, что некоторые категорически утверждают, что нам не нужны новые законы, касающиеся ИИ, и что наших существующих законов достаточно. Фактически, они предупреждают, что, если мы примем некоторые из этих законов об ИИ, мы подорвем золотого гуся, пресекая достижения в области ИИ, которые предлагают огромные социальные преимущества.

Автономия и оружие как две заповеди

Есть крылатая фраза, которую некоторые используют, чтобы предупредить о вооруженных автономных системах всех видов, которые в совокупности придумываются как убойные боты.

Это поднимает дополнительный аспект, который мы должны обдумать.

Должна ли автономная система вооружения и/или автономная система, которая была оснащена оружием, иметь преобладание смертоносных или смертоносных роботов?

Кто-то возразит, что мы могли решительно несмертельного вооруженные автономные системы тоже. Таким образом, с этой точки зрения было бы совершенно неуместно использовать такие формулировки, как роботы-убийцы или роботы-убийцы. Нелетальный вариант, по-видимому, сможет подавлять или причинять вред, который не приводит к летальному исходу. Такие системы не убивают, они имеют меньшую травмоопасную способность. Не преувеличивайте способности, говорят те, кто настаивает на том, что нам не нужно зацикливаться на откровенном образе машины для убийств.

Таким образом, мы могли бы иметь это:

• Летальные автономные системы вооружения
• Летальные автономные системы, которые были вооружены
• Нелетальные автономные системы вооружения
• Нелетальные автономные системы, которые были вооружены

Конечно, контраргументом является то, что любая автономная система, которая была вооружена оружием, могла бы, по-видимому, иметь потенциал для соскальзывания в царство летальности, даже если предположительно предполагалось использовать только на нелетальной основе. Поэтапный двухэтапный переход от несмертельного к летальному будет быстро выполнен, как только вы уже получите оружие в автономной системе. Вам было бы трудно предоставить железную гарантию того, что несмертельное не прорвется на арену летального (хотя некоторые пытаются сделать это в математическом подобии).

Прежде чем мы углубимся в эту общую тему автономных систем и вооружения, было бы удобно указать на кое-что еще, что, хотя и очевидно, не обязательно сразу приходит на ум.

Вот оно:

• Существует аспект ИИ, который является неотъемлемой частью автономной системы.
• Есть аспект вооружения, который является оружейной стороной этого уравнения.
• ИИ также может быть связан с вооружением.

Давайте распакуем это.

Мы предположим, что сегодняшним автономным системам требуется ИИ в качестве основного компьютеризированного средства создания автономных аспектов. Я упоминаю об этом, потому что вы можете попытаться возразить, что мы можем использовать технологии и методы, не связанные с ИИ, для создания автономных систем, что, хотя и верно, кажется все менее и менее вероятным. По сути, ИИ, как правило, обеспечивает более высокий уровень автономии, и большинство из них соответственно использует высокие технологии ИИ.

Итак, у нас есть возможность на основе ИИ, которая каким-то образом внедряется в автономную систему и действует, чтобы направлять и контролировать автономную систему.

Держите это под рукой, как эмпирическое правило.

Кажется очевидным, что нам также необходимо иметь какое-то вооружение, иначе зачем мы обсуждаем здесь тему автономных систем? и оружие. Так что да, очевидно, есть оружие того или иного вида.

Я не собираюсь углубляться в тип оружия, которое может быть использовано. Вы можете просто заменить любое оружие, которое придет на ум. Там может быть точечное оружие. Возможно массовое разрушительное оружие. Это может быть что-то с пулями или снарядами. Это может быть что-то, что содержит химические вещества или атомарные летучие компоненты. Список бесконечен.

Дополнительным соображением является то, связан ли ИИ с вооружением. ИИ может просто пускать оружие в заблуждение. В случае с четвероногим роботом, который стрелял из ружья, возможно, из ружья стреляет человек, у которого есть дистанционное управление, связанное со спусковым крючком оружия. Собакоподобный робот перемещается по сцене, а затем удаленный человек должен нажать на курок.

С другой стороны, ИИ может быть как бы спусковым крючком. Возможно, ИИ был разработан не только для навигации и маневрирования, но и для активации оружия. В этом смысле ИИ делает все от А до Я. Нет никакой зависимости от человека, находящегося на расстоянии, в том, что касается вооружения. Вместо этого ИИ запрограммирован на это.

Чтобы прояснить, что в этом конкретном случае использования автономных систем, которые являются оружием, у нас есть следующие возможности:

• Автономная система: ИИ полностью самостоятельно управляет автономной системой.
• Автономная система: ИИ управляет автономной системой, но человек может также вмешиваться
• Вооружение: Удаленный человек управляет оружием (ИИ не управляет)
• Вооружение: ИИ управляет вооружением, но человек может также вмешаться
• Вооружение: ИИ полностью самостоятельно управляет вооружением

Ранее я рассматривал варианты участия человека в цикле, касающиеся автономных систем и автономных транспортных средств, см. ссылка здесь.

Когда вы смотрите эти забавные видеоролики о танцующих и скачущих четвероногих роботах, обычно предполагается, что это роботы, управляемые исключительно искусственным интеллектом (ну, это обычай или считается правильным этикетом среди тех, кто глубоко в эти дела). Это то, что вы также можете с полным правом предположить. Конечно, вы не знаете этого наверняка. Возможно, роботами управляет удаленный человек-оператор. Также существует вероятность того, что ИИ выполняет часть управления, и удаленный человек-оператор также делает это, возможно, помогая ИИ, если робот попадает в трудное положение и не может вычислить жизнеспособные средства, чтобы освободиться.

Суть здесь в том, что существует множество разновидностей того, как можно смешивать ИИ, автономные системы и вооружение. У некоторых есть ИИ, который управляет автономной системой, но не управляет вооружением. Возможно, человек дистанционно управляет оружием. Другой аспект заключается в том, что оружие может быть активировано заранее, а автономная система доставляет активированное оружие, поэтому ИИ не принимал непосредственного участия в срабатывании оружия как такового, а вместо этого действовал как средство доставки. И может случиться так, что ИИ является общеизвестным мастером на все руки и выполняет весь спектр аспектов автономной системы, включая использование оружия.

Сделайте ваш выбор.

Между тем, пожалуйста, знайте, что человек в курсе является важным фактором, когда дело доходит до дебатов по этой теме.

Разделительной линией для некоторых является то, что если ИИ выполняет прицеливание и стрельбу (или что-то еще, что влечет за собой оружие), то весь комплект и всякая всячина перешли в ни-ни-землю. Это, по-видимому, отличается от обычного оружия типа «выстрелил-забыл», которое имеет заранее определяемый человеком выбор цели, например, у патрульного беспилотника, у которого есть ракета, готовая к стрельбе по цели, которая была уже выбранный человеком.

Некоторые задаются вопросом, почему автономные системы, оснащенные оружием, не всегда включают человека в цикле на протяжении всего процесса, когда автономная система находится в активном состоянии. Похоже, нам было бы лучше, если бы жесткое требование заключалось в том, что все такие вооруженные автономные системы должны иметь человека в петле, либо для работы автономной системы, либо для управления вооружением (или для того и другого). . Сохранение предполагаемой уверенной и твердой человеческой руки в этом миксе ИИ может показаться совершенно проницательным.

Приготовьтесь к длинному списку причин, почему это не всегда возможно.

Рассмотрим эти трудности:

• Человек в курсе может быть недостаточно быстрым, чтобы своевременно реагировать
• Человек в курсе может не иметь достаточно информации, чтобы должным образом ответить
• Человек в курсе может быть недоступен в нужное время
• Человек в петле может быть в нерешительности и не будет действовать, когда это необходимо
• Человек в цикле может принять «неправильное» решение (относительно)
• Человек в цикле может быть недоступен из системы в нужное время
• Человек в цикле может запутаться и быть перегруженным
• И т.д.

Вы, несомненно, испытываете искушение взглянуть на этот список человеческих слабостей и ограничений, а затем прийти к торжественному выводу, что имеет очевидный смысл исключить человека в петле и всегда вместо этого использовать ИИ. Это может быть либо исключение человека в цикле, либо, возможно, ИИ сможет переопределить укоренившийся дизайн «человек в цикле». См. мой анализ того, как разногласия между ИИ и человеком в цикле могут привести к опасным ситуациям, представленный на ссылка здесь.

Часто преуменьшающий список таких недостатков, ориентированных на человека в реальном времени, оставляется сам по себе и оставляет стойкое впечатление, что ИИ должен каким-то образом быть как на дрожжах — гораздо более разумный выбор, чем наличие человека в цикле. . Не попадитесь в эту коварную ловушку. Есть отрезвляющие компромиссы.

Рассмотрим эти ответвления ИИ:

• ИИ может столкнуться с ошибкой, из-за которой он сбивается с пути
• ИИ может быть перегружен и не реагировать на блокировку
• ИИ может содержать ошибки разработчиков, вызывающие нестабильное поведение
• ИИ может быть поврежден имплантированным вирусом-злодеем
• ИИ может быть захвачен киберхакерами в режиме реального времени
• ИИ может считаться непредсказуемым из-за сложности
• ИИ может вычислительно принять «неправильное» решение (относительно)
• И т.д.

Я надеюсь, вы понимаете, что есть компромисс между использованием человека в цикле и зависимостью исключительно от ИИ. На случай, если у вас возникнет соблазн предложить готовое решение использовать оба варианта, я просто хотел бы подчеркнуть, что вы можете получить лучшее из обоих миров, но вы также можете получить худшее из обоих миров. Не думайте, что это всегда и обязательно будет лучшее из обоих миров.

Возможно, вас несколько удивил один из перечисленных выше недостатков ИИ, а именно то, что ИИ может быть непредсказуемый. Мы привыкли считать, что ИИ должен быть строго логическим и математически точным. Таким образом, вы также можете ожидать, что ИИ будет полностью предсказуем. Мы должны точно знать, что будет делать ИИ. Точка, конец истории.

Извините, что разорвал этот шар, но этот миф о предсказуемости — неправильное название. Размер и сложность современного ИИ часто представляют собой болото, которое не поддается полной предсказуемости. Это видно по шумихе вокруг этического ИИ по поводу некоторых современных применений машинного обучения (ML) и глубокого обучения (DL). Я объясню немного больше на мгновение.

Кроме того, вы, возможно, захотите взглянуть на мой последний анализ будущих тенденций, направленных на обеспечение проверяемых и математически доказуемых правильных систем ИИ с помощью последних достижений в области безопасности ИИ, на ссылка здесь.

Размышление о правилах дорожного движения

Я упомянул понятие целей и таргетинга, которое представляет собой довольно сильно перегруженную терминологию, заслуживающую пристального внимания.

Мы можем обдумать это:

• Цели, которые являются людьми
• Цели, которые не люди, а живые существа
• Цели, которые рассматриваются как собственность

Предположим, что у нас есть автономная система, оснащенная оружием. ИИ используется для управления автономной системой и для вооружения. ИИ делает все от А до Я. Человека в цикле не предусмотрено. Что касается таргетинга, ИИ выберет цели. Не существует предварительного таргетинга, установленного людьми. Вместо этого ИИ был запрограммирован так, чтобы в целом определять, есть ли люди, на которых нужно нацелиться (возможно, сканируя враждебные действия, определенные виды униформы и т. д.).

Со мной на этом до сих пор?

Этот сценарий в значительной степени вызывает наибольшее возмущение по поводу вооруженных автономных систем.

Высказанная озабоченность заключается в том, что ИИ делает (как минимум) три вещи, которые ему нельзя разрешать:

• Ориентация на людей в качестве целей
• Таргетинг без использования человека в петле
• Потенциально действует непредсказуемоly

Обратите внимание, что есть явное упоминание о беспокойстве по поводу непредсказуемости ИИ. Возможно, хотя ИИ был запрограммирован на определенные типы людей, программирование ИИ не то, что мы думали, и в конечном итоге ИИ нацеливается на «своих» в дополнение к тем, кого ИИ должен был интерпретировать как «враждебных». (или, возможно, вместо). Вдобавок к этому, даже если мы решим включить положение человека в цикле, непредсказуемость ИИ может означать, что когда ИИ должен совещаться с человеком в цикле, он не может этого сделать. так и действует без всякого вмешательства человека.

Вас может заинтересовать тот факт, что Международный комитет Красного Креста (МККК) предложил всеобъемлющую позицию по поводу автономных систем вооружения, состоящую из трех пунктов, в которой подробно рассматриваются эти типы проблем (согласно веб-сайту МККК):

1. «Непредсказуемые автономные системы вооружения должны быть прямо внешний, особенно из-за их неизбирательного воздействия. Этого лучше всего достичь путем запрета на автономные системы вооружения, которые спроектированы или используются таким образом, что их последствия невозможно в достаточной мере понять, предсказать и объяснить».

2. «В свете этических соображений защиты человечества и соблюдения норм международного гуманитарного права для защиты гражданских лиц и комбатантов, вышедших из строя, использование автономных систем оружия для поражения людей должно быть исключено. Этого лучше всего добиться путем запрета автономных систем вооружения, которые предназначены или используются для применения силы против людей».

3. «В целях защиты гражданских лиц и гражданских объектов, соблюдения норм международного гуманитарного права и защиты человечества следует регламентировать разработку и применение незапрещенных автономных систем вооружения, в том числе посредством сочетания: ограничения на типы целей, такие как ограничение их объектами, которые по своей природе являются военными целями; ограничения по продолжительности, географическому охвату и масштабу использования, в том числе для обеспечения человеческого суждения и контроля в отношении конкретной атаки; ограничения на ситуации использованиянапример, ограничивая их доступом к ситуациям, когда гражданские лица или гражданские объекты отсутствуют; рТребования к взаимодействию человека с машиной, в частности, для обеспечения эффективного наблюдения со стороны человека, а также своевременного вмешательства и деактивации».

В связи с этим Организация Объединенных Наций (ООН) через Конвенцию о конкретных видах обычного оружия (КОО) в Женеве установила одиннадцать не имеющих обязательной силы Руководящих принципов в отношении смертоносных автономных вооружений, согласно официальному отчету, размещенному в Интернете (включая ссылки на соответствующие международные гуманитарные организации). Законодательство или положения МГП):

а) международное гуманитарное право по-прежнему в полной мере применяется ко всем системам вооружений, включая потенциальную разработку и применение смертоносных автономных систем вооружений;

(b) Ответственность человека за решения об использовании систем вооружений должна быть сохранена, поскольку ответственность не может быть переложена на машины. Это следует учитывать на протяжении всего жизненного цикла системы вооружения;

c) человеко-машинное взаимодействие, которое может принимать различные формы и реализовываться на различных стадиях жизненного цикла оружия, должно гарантировать, что потенциальное применение систем вооружений, основанных на новейших технологиях, в области смертоносных автономных систем вооружения будет соблюдение применимого международного права, в частности МГП. При определении качества и степени взаимодействия человека и машины следует учитывать ряд факторов, включая оперативный контекст, а также характеристики и возможности системы вооружения в целом;

d) ответственность за разработку, развертывание и использование любой появляющейся системы вооружений в рамках КНО должна быть обеспечена в соответствии с применимыми нормами международного права, в том числе посредством эксплуатации таких систем в рамках ответственной цепочки человеческого управления и контроля;

e) в соответствии с обязательствами государств по международному праву при изучении, разработке, приобретении или принятии на вооружение нового оружия, средств или метода ведения войны должно быть установлено, будет ли его применение в некоторых или во всех обстоятельствах запрещены международным правом;

f) при разработке или приобретении новых систем вооружений на основе новых технологий в области смертоносных автономных систем вооружений, физической безопасности, надлежащих нефизических гарантий (включая киберзащиту от взлома или подмены данных) риск приобретения террористическими группами и следует учитывать риск распространения;

g) оценки рисков и меры по их снижению должны быть частью цикла проектирования, разработки, испытаний и развертывания новых технологий в любых системах вооружений;

h) следует уделить внимание использованию новейших технологий в области смертоносных автономных систем оружия при обеспечении соблюдения МГП и других применимых международно-правовых обязательств;

i) при разработке возможных мер политики не следует антропоморфизировать новые технологии в области автономных систем смертоносного оружия;

j) обсуждения и любые потенциальные политические меры, принимаемые в контексте КНО, не должны препятствовать прогрессу или доступу к мирному использованию интеллектуальных автономных технологий;

k) КНО предлагает надлежащую основу для рассмотрения вопроса о новых технологиях в области смертоносных автономных систем вооружений в контексте целей и задач Конвенции, которая стремится установить баланс между военной необходимостью и гуманитарными соображениями.

Затруднительное положение, в котором мы оказались

Эти различные законы войны, законы вооруженных конфликтов или МГП (международные гуманитарные законы) служат жизненно важным и всегда многообещающим руководством для рассмотрения того, что мы могли бы попытаться сделать с появлением автономных систем, которые вооружаются, будь то по ключевому замыслу или постфактум методами.

Мы можем искренне пожелать, чтобы запрет на смертоносные автономные системы вооружения соблюдался неукоснительно и послушно. Проблема в том, что в любом из самых искренних запретов скрыто много пространства для маневра. Как говорится, правила созданы для того, чтобы их нарушать. Вы можете поспорить, что там, где дела идут небрежно, шушера выискивает пробелы и пытается подмигнуть, чтобы обойти правила.

Вот некоторые потенциальные лазейки, заслуживающие внимания:

• Заявления о несмертельном, Сделать несмертельного автономные оружейные системы (казалось бы, ничего страшного, так как они находятся за пределами запрета), которые вы можете в мгновение ока превратить в смертоносные (вы окажетесь за пределами запрета только в последнюю минуту).
• Претензии только к автономной системе. Поддержите запрет, не создавая автономные системы, ориентированные на летальные действия, тем временем добивайтесь больших успехов в разработке повседневных автономных систем, которые (пока) не вооружаются, но которые вы можете за копейки переоборудовать в военизированные.
• Претензии Not Integrated As One. Создавайте автономные системы, которые вообще не вооружены, а когда придет время, совмещайте их с оружием, чтобы вы могли яростно утверждать, что это два отдельных элемента, и, следовательно, утверждать, что они не подпадают под категорию «все-в-одном». автономная система вооружения или ее двоюродный брат.
• Утверждает, что не является автономным. Сделать систему вооружения, которая, кажется, не имеет автономных возможностей. Оставьте место в этой предположительно неавтономной системе для снижения автономии на основе ИИ. При необходимости подключите автономность, и вы готовы к работе (до тех пор, казалось бы, вы не нарушали запрет).
• Другие контрактные услуги

Есть много других выраженных трудностей с попытками прямого запрета смертоносных автономных систем вооружения. Я расскажу еще о нескольких из них.

Некоторые эксперты утверждают, что запрет не особенно полезен, и вместо этого должны быть нормативные положения. Идея состоит в том, что эти приспособления будут разрешены, но строго контролироваться. Изложен перечень законных видов использования, а также законные способы нацеливания, законные типы возможностей, законная пропорциональность и тому подобное.

По их мнению, прямой запрет — это как засунуть голову в песок и притвориться, что слона в комнате не существует. Это утверждение, тем не менее, вызывает бурю эмоций у тех, кто возражает, аргументируя это тем, что, вводя запрет, вы можете значительно уменьшить искушение использовать такие системы. Конечно, некоторые будут выставлять напоказ запрет, но, по крайней мере, мы надеемся, что большинство этого не сделает. Затем вы можете сосредоточить свое внимание на щеголях и не должны расщеплять свое внимание на всех.

Круг за кругом идут эти дебаты.

Еще одна часто упоминаемая проблема заключается в том, что даже если хорошие соблюдают запрет, плохие этого не делают. Это ставит добро в паршивое положение. У плохих будут такие автономные системы с вооружением, а у хороших — нет. Как только выяснится, что они есть у плохих, будет слишком поздно, чтобы хорошие наверстали упущенное. Короче говоря, единственное разумное, что нужно сделать, — это приготовиться к огню.

Существует также классический спор о сдерживании. Если хорошие стороны решат создать вооруженные автономные системы, это можно использовать, чтобы удержать плохих от попыток вступить в драку. Либо хорошие будут лучше вооружены и, таким образом, отговорят плохих, либо хорошие будут готовы, когда плохие, возможно, обнаружат, что они тайно разрабатывали эти системы все это время.

Противодействие этим противоречиям состоит в том, что, создавая автономные системы с вооружением, вы ведете гонку вооружений. Другая сторона будет стремиться получить то же самое. Даже если они технологически неспособны создать такие системы заново, теперь они смогут украсть планы «хороших», реконструировать высокотехнологичные нутро или имитировать то, что им кажется проверенным временем. способ выполнить работу.

Ага, парочка, все это может привести к уменьшению конфликтов по видимости взаимно. Если сторона А знает, что у стороны Б есть эти смертоносные автономные системы, а сторона Б знает, что они есть у стороны А, они могут сидеть спокойно и не вступать в драку. У этого есть та отчетливая аура вибраций гарантированного взаимного уничтожения (БЕЗУМИЕ).

И так далее.

ИИ в автономии

Давайте удостоверимся, что мы на одной волне в отношении природы современного ИИ.

Сегодня нет разумного ИИ. У нас этого нет. Мы не знаем, возможен ли разумный ИИ. Никто не может точно предсказать, достигнем ли мы разумного ИИ, и не возникнет ли разумный ИИ каким-то чудесным образом спонтанно в форме вычислительной когнитивной сверхновой (обычно называемой сингулярностью, см. мое освещение на ссылка здесь).

Тип ИИ, на котором я сосредоточен, состоит из неразумного ИИ, который мы имеем сегодня. Если бы мы хотели дико рассуждать о чувствующий AI, эта дискуссия может пойти в совершенно ином направлении. Предполагалось, что разумный ИИ будет человеческого качества. Вам нужно будет учитывать, что разумный ИИ является когнитивным эквивалентом человека. Более того, поскольку некоторые предполагают, что у нас может быть сверхразумный ИИ, вполне возможно, что такой ИИ может оказаться умнее людей (о моем исследовании сверхразумного ИИ как возможности см. покрытие здесь).

Давайте будем более приземленными и рассмотрим современный вычислительный неразумный ИИ.

Поймите, что сегодняшний ИИ не способен «думать» никоим образом наравне с человеческим мышлением. Когда вы взаимодействуете с Alexa или Siri, разговорные способности могут показаться человеческими, но реальность такова, что они вычислительные и лишены человеческого познания. В новейшей эре искусственного интеллекта широко используются машинное обучение (ML) и глубокое обучение (DL), которые используют сопоставление вычислительных шаблонов. Это привело к системам искусственного интеллекта, которые имеют сходство с человеческими наклонностями. Между тем, сегодня нет ни одного ИИ, который обладал бы хотя бы подобием здравого смысла и не обладал бы когнитивным чудом крепкого человеческого мышления.

Будьте очень осторожны с антропоморфизацией современного ИИ.

ML/DL — это форма сопоставления вычислительных шаблонов. Обычный подход заключается в том, что вы собираете данные о задаче принятия решения. Вы вводите данные в компьютерные модели ML/DL. Эти модели стремятся найти математические закономерности. После обнаружения таких шаблонов, если они будут обнаружены, система ИИ будет использовать эти шаблоны при обнаружении новых данных. При представлении новых данных шаблоны, основанные на «старых» или исторических данных, применяются для вынесения текущего решения.

Я думаю, вы можете догадаться, куда это направляется. Если люди, которые принимали решения по образцу, вносили неблагоприятные предубеждения, велика вероятность того, что данные отражают это неуловимым, но существенным образом. Сопоставление вычислительных шаблонов машинного обучения или глубокого обучения просто попытается математически имитировать данные соответствующим образом. Нет никакого подобия здравого смысла или других разумных аспектов моделирования, созданного ИИ, как такового.

Более того, разработчики ИИ тоже могут не понимать, что происходит. Загадочная математика в ML/DL может затруднить выявление скрытых предубеждений. Вы справедливо надеетесь и ожидаете, что разработчики ИИ проведут проверку на наличие потенциально скрытых предубеждений, хотя это сложнее, чем может показаться. Существует большая вероятность того, что даже при относительно обширном тестировании в моделях сопоставления с образцом ML/DL все еще будут предубеждения.

Вы могли бы в некоторой степени использовать известную или печально известную поговорку о мусоре в мусоре. Дело в том, что это больше похоже на предубеждения, которые коварно внедряются, когда предубеждения погружаются в ИИ. Алгоритм принятия решений (ADM) ИИ аксиоматически становится нагруженным неравенствами.

Нехорошо.

С этим добавленным фундаментальным фоном мы снова обратимся к теме автономных систем и вооружения. Ранее мы видели, что ИИ входит в компонент автономной системы, а также может входить в компонент вооружения. Современный ИИ не разумен. Это заслуживает повторения, и я выделю это для дополнительного понимания этих вопросов.

Давайте рассмотрим несколько сценариев, чтобы понять, насколько это важно. Я на мгновение перестану ориентироваться на эту тему военного времени и покажу, как она проникает во многие другие социальные среды. Успокойтесь соответственно.

Автономная система на основе искусственного интеллекта, такая как автономный автомобиль, который, как мы скажем, не имеет ничего общего с оружием, пробирается через обычное место. Человек приходит, чтобы использовать автономный автомобиль. Человек вооружен зловещим оружием. Предположим, ради обсуждения этого конкретного сценария, что человек имеет в виду что-то нехорошее. Человек садится в автономный автомобиль (с оружием, спрятанным или не спрятанным в любом случае).

Автономное транспортное средство следует в любой пункт назначения, который запросил гонщик. В этом случае ИИ просто программно доставляет этого пассажира из одного места посадки в назначенный пункт назначения, точно так же, как он это делал, возможно, в десятках или сотнях поездок каждый день.

Если бы это был человек-водитель и транспортное средство, управляемое человеком, вероятно, есть некоторый шанс, что человек-водитель понял бы, что пассажир вооружен и, похоже, имеет неблаговидные намерения. Водитель-человек может отказаться управлять транспортным средством. Или водитель-человек может поехать в полицейский участок. Или, возможно, человек-водитель может попытаться усмирить вооруженного пассажира (существуют зарегистрированные случаи) или отговорить пассажира от использования своего оружия. Это довольно сложно, и может существовать любое количество вариаций. Вам было бы трудно утверждать, что есть только один правильный ответ на решение такого затруднительного положения. К сожалению, ситуация неприятная и явно опасная.

ИИ в этом случае вряд ли будет запрограммирован на любую из этих возможностей. Короче говоря, вооруженный пассажир может использовать свое оружие, находясь внутри автономного транспортного средства, во время поездки. Система вождения с искусственным интеллектом продолжит движение, а автономный автомобиль продолжит движение к заявленному назначению пассажира (при условии, что пункт назначения не считался в противном случае за пределами границ).

Большинство современных систем вождения с искусственным интеллектом будут вычислительно ориентироваться только на проезжую часть, а не на усилия водителя.

Все может стать еще хуже.

Предположим, кто-то хочет перевезти кучу продуктов в место, где принимают дополнительную еду для нуждающихся. Человек запрашивает автономный автомобиль и кладет пакеты с продуктами на заднее сиденье автомобиля. Они не собираются ехать с ними и просто используют автономный автомобиль, чтобы доставить им пакеты с едой.

Кажется, все в порядке.

Представьте себе, что подлый человек вместо этого предпочитает использовать какую-то форму оружия в автономном транспортном средстве, а не более мирное понятие продуктовых пакетов. Я думаю, вы можете догадаться, что может произойти. Это проблема, которую я неоднократно увещевал в своих колонках и предупреждал, что нам нужно справиться с ней как можно скорее.

Один из предлагаемых ответов на такие сценарии заключается в том, что, возможно, все автономные транспортные средства можно запрограммировать на использование своих камер и других датчиков, чтобы попытаться определить, вооружен ли потенциальный пассажир и имеет ли он гнусные намерения. Возможно, ИИ будет запрограммирован на это. Или ИИ в электронном виде и молча предупреждает удаленного оператора-человека, который затем через камеры визуально и иным образом осматривает и, возможно, взаимодействует с пассажиром. Все это является частью сложной и потенциально неразрешимой банки червей, так что это вызывает серьезные проблемы с конфиденциальностью и множество других потенциальных проблем этического ИИ. Смотрите мое освещение на ссылка здесь.

Еще одна похожая альтернатива заключается в том, что ИИ содержит своего рода встроенное этическое программирование, которое пытается позволить ИИ выносить этические или моральные суждения, которые обычно предназначены для людей, принимающих решения. Я изучил эти зарождающиеся типы предсказателей вычислительной этики со встроенным ИИ, см. ссылка здесь и ссылка здесь.

Возвращаясь к сценарию поля боя, представьте себе, что смертоносная автономная система вооружения курсирует над зоной боевых действий. ИИ управляет автономной системой. ИИ управляет оружием на борту. Ранее мы предполагали, что ИИ может быть запрограммирован на сканирование кажущихся враждебными движений или других индикаторов человеческих целей, считающихся действительными комбатантами.

Должен ли тот же ИИ иметь какой-то этически-ориентированный компонент, который стремится вычислить, что может делать человек в цикле, действуя в некотором смысле вместо человека в цикле?

Некоторые говорят да, давайте продолжать это. Некоторые в ужасе отшатываются и говорят, что это либо невозможно, либо иным образом нарушает святость человечности.

Еще одна банка червей.

Заключение

Для тех из вас, кто интересуется этой темой, есть еще много тем для обсуждения.

Я дам вам быстрый вкус одной ноющей загадки.

Обычно мы ожидаем, что человек в конечном итоге будет нести ответственность за все, что происходит во время войны. Если ИИ управляет автономной системой вооружения или управляет автономной системой, которая, возможно, была оснащена оружием, и эта система делает что-то на поле боя, что считается недобросовестным, кого или что следует винить в этом?

Вы можете возразить, что ИИ должен нести ответственность. Но если да, то что именно это означает? Мы еще не считаем сегодняшний ИИ воплощением правосубъектности, см. мое объяснение на ссылка здесь. В случае с ИИ не прикалывать хвост ослу. Возможно, если ИИ когда-нибудь станет разумным, вы сможете попробовать это сделать. До тех пор это немного недосягаемо (плюс, какие штрафы или последствия могут быть применены к ИИ, см. мой анализ на ссылка здесь и ссылка здесь, например).

Если ИИ не является ответственным подозреваемым, мы можем естественно сказать, что любой человек или люди, изобретший ИИ, должен нести ответственность. Сможете ли вы сделать это, если бы ИИ просто управлял автономной системой, а некоторые люди объединили его с вооружением? Вы преследуете разработчиков ИИ? Или те, которые развернули ИИ? Или просто актер-оружейник?

Я надеюсь, что вы поняли, что я коснулся только верхушки айсберга в своем сердечном обсуждении.

А пока давайте продолжим и закончим этот дискурс. Возможно, вы помните, что Джон Лили в Эйфьюс: Анатомия остроумия в 1578 году незабываемо заявил, что все справедливо в любви и на войне.

Имел ли он в виду появление автономных систем вооружения, а также появление автономных систем, вооруженных оружием?

Мы, конечно, должны поставить это на первое место в наших умах, прямо сейчас.