Важность разумного освещения безопасности ИИ на фоне последних тенденций, продемонстрированных на Стэнфордском семинаре по безопасности ИИ, охватывающем автономные системы

Безопасность ИИ жизненно важна.

Вам было бы трудно, казалось бы, утверждать обратное.

Как хорошо известно читателям моих колонок, я снова и снова подчеркивал важность безопасности ИИ, см. ссылка здесь. Я обычно говорю о безопасности ИИ в контексте автономных систем, таких как автономные транспортные средства, в том числе беспилотные автомобили, а также среди других роботизированных систем. Это подчеркивает потенциальные последствия для жизни или смерти, связанные с безопасностью ИИ.

Учитывая широко распространенный и почти бешеный темп внедрения ИИ во всем мире, мы сталкиваемся с потенциальным кошмаром, если подходящие меры безопасности ИИ не будут твердо установлены и регулярно активно применяются на практике. В некотором смысле, общество является настоящей сидячей уткой из-за сегодняшних потоков ИИ, которые плохо обеспечивают безопасность ИИ, в том числе иногда полностью игнорируют достаточные меры безопасности и средства ИИ.

К сожалению, пугающе, внимание к безопасности ИИ нигде не имеет такого первостепенного и широкого распространения, как должно быть.

В своем обзоре я подчеркивал, что существует множество аспектов, лежащих в основе безопасности ИИ. Есть технологические аспекты. Есть деловые и коммерческие аспекты. Есть юридические и этические элементы. И так далее. Все эти качества взаимосвязаны. Компании должны осознавать ценность инвестиций в безопасность ИИ. Наши законы и этические нормы должны информировать и обнародовать соображения безопасности ИИ. И технология, которая поможет и поддержит принятие правил и практик безопасности ИИ, должна быть принята и в дальнейшем усовершенствована для достижения все больших и больших возможностей безопасности ИИ.

Когда дело доходит до безопасности ИИ, никогда нельзя расслабляться. Нам нужно продолжать двигаться вперед. В самом деле, пожалуйста, полностью осознайте, что это не разовое обстоятельство, а постоянное и вездесущее стремление, которое почти бесконечно направлено на постоянное улучшение.

Я хотел бы немного рассказать вам о ландшафте безопасности ИИ, а затем поделиться с вами некоторыми ключевыми выводами и важными выводами, полученными на недавнем мероприятии, посвященном последним достижениям в области безопасности ИИ. Это мероприятие было проведено на прошлой неделе Стэнфордским центром безопасности ИИ и состоялось в виде однодневного семинара по безопасности ИИ 12 июля 2022 года в кампусе Стэнфордского университета. Спасибо доктору Энтони Корсо, исполнительному директору Стэнфордского центра безопасности ИИ, и его команде за организацию отличного мероприятия. Для получения информации о Стэнфордском центре безопасности ИИ, также известном как «БЕЗОПАСНОСТЬ», см. ссылка здесь.

Во-первых, прежде чем погрузиться в результаты семинара, давайте сделаем беглый обзор ландшафта.

Чтобы проиллюстрировать, как безопасность ИИ становится все более важной проблемой, позвольте мне процитировать новый программный документ, опубликованный чуть ранее на этой неделе Правительственным управлением по искусственному интеллекту Великобритании под названием Создание инновационного подхода к регулированию ИИ которые включали следующие замечания о безопасности ИИ: «Широта использования ИИ может включать функции, которые оказывают значительное влияние на безопасность — и хотя этот риск более очевиден в определенных секторах, таких как здравоохранение или критическая инфраструктура, существует потенциал для ранее непредвиденных последствия для безопасности материализуются в других областях. Таким образом, несмотря на то, что безопасность будет одним из основных соображений для некоторых регулирующих органов, для всех регулирующих органов будет важно применять контекстно-ориентированный подход при оценке вероятности того, что ИИ может представлять риск для безопасности в их секторе или области, и принимать соразмерные меры. подход к управлению этим риском».

В цитируемом политическом документе содержится призыв к новым взглядам на безопасность ИИ и решительная поддержка новых подходов к безопасности ИИ. Это включает в себя повышение нашего технологического мастерства, включая соображения безопасности и воплощения ИИ на протяжении всего жизненного цикла разработки ИИ, среди всех этапов проектирования, разработки и развертывания ИИ. На следующей неделе в своих колонках я буду освещать более подробную информацию об этом последнем предложенном законопроекте по ИИ. Мое предыдущее и постоянное освещение несколько похожих проектов, касающихся правового надзора и управления ИИ, таких как Закон США об алгоритмической ответственности (AAA) и Закон ЕС об ИИ (AIA), см. ссылка здесь и ссылка здесь, Например.

При осознанном размышлении о безопасности ИИ фундаментальной чеканкой является роль измерения.

Видите ли, есть известная общая поговорка, которую вы, возможно, слышали в самых разных контекстах, а именно, что вы не можете управлять тем, что не измеряете. Безопасность ИИ — это то, что необходимо измерять. Это должно быть измеримо. Без какого-либо подобия подходящего измерения вопрос о том, соблюдается ли безопасность ИИ или нет, становится не более чем бессодержательным аргументом или, скажем так, недоказуемым утверждением.

Сядьте для этого следующего пункта.

Оказывается, лишь немногие сегодня активно измеряют свою безопасность ИИ и часто делают лишь намеки на то, что, конечно же, их системы ИИ воплощают в себе компоненты безопасности ИИ. Используются хлипкие подходы. Слабости и уязвимости предостаточно. Существует явное отсутствие обучения безопасности ИИ. Инструменты для обеспечения безопасности ИИ, как правило, немногочисленны или загадочны. Руководство бизнеса и правительства часто не осознает и недооценивает важность безопасности ИИ.

По общему признанию, эта слепота и равнодушное внимание происходят до тех пор, пока система ИИ не сбивается с пути, подобно тому, как когда происходит землетрясение, и внезапно у людей открываются глаза, к которым они должны были подготовиться и быть готовыми противостоять шокирующему происшествию. На этом этапе, в случае с ИИ, который сильно ошибся, часто возникает безумная спешка, чтобы запрыгнуть на подножку безопасности ИИ, но импульс и внимание со временем постепенно ослабевают, и, как и в случае с этими землетрясениями, только омолаживаются после другого крупного события. шокер.

Когда я был профессором Университета Южной Калифорнии (USC) и исполнительным директором новаторской лаборатории искусственного интеллекта в USC, мы часто использовали аналогию с землетрясением, поскольку распространенность землетрясений в Калифорнии была хорошо известна. Аналогия удачно сделала повторное внедрение безопасности ИИ более легко осознаваемым неподходящим и разрозненным способом достижения цели. Сегодня я являюсь научным сотрудником Стэнфордского университета и, кроме того, работаю в комитетах по стандартам и управлению ИИ для международных и национальных организаций, таких как ВЭФ, ООН, IEEE, NIST и других. Помимо этой деятельности, я недавно работал топ-менеджером в крупной венчурной фирме (VC), а сегодня работаю наставником для стартапов в области ИИ и судьей на конкурсах стартапов в области ИИ. Я упомянул эти аспекты в качестве предпосылки того, почему я страстно увлечен жизненно важной природой безопасности ИИ и ролью безопасности ИИ в будущем ИИ и общества, а также необходимостью видеть гораздо больше инвестиций в стартапы, связанные с безопасностью ИИ, и связанные с ними проекты. исследовательские усилия.

В целом, чтобы получить максимальную отдачу от безопасности ИИ, компаниям и другим организациям, таким как правительства, необходимо обеспечить безопасность ИИ, а затем твердо придерживаться выбранного курса. Удерживайте корабль. И держать корабль в отличной форме.

Давайте поднимем настроение и рассмотрим мои любимые тезисы, которые я использую, пытаясь передать статус безопасности ИИ в наше время.

У меня есть собственный набор безопасности ИИ уровни принятия которым я люблю пользоваться время от времени. Идея состоит в том, чтобы легко охарактеризовать степень или величину безопасности ИИ, которой придерживается или, возможно, обходит данная система ИИ, особенно автономная система. Это всего лишь быстрый способ четко обозначить и обозначить серьезность и приверженность безопасности ИИ в конкретном интересующем нас случае.

Я кратко расскажу об уровнях безопасности внедрения ИИ, а затем мы будем готовы перейти к изучению недавнего семинара и связанных с ним идей.

Моя шкала идет от самого высокого или самого высокого уровня безопасности ИИ, а затем спускается к самому низкому или худшему уровню безопасности ИИ. Я считаю удобным нумеровать уровни, и, следовательно, самый верхний считается оцененным как 1-й, а самый низкий оценивается как последний или 7-й. Вы не должны предполагать, что существует линейное постоянное расстояние между каждым из уровней, поэтому имейте в виду, что усилия и степень безопасности ИИ часто бывают больше или меньше в зависимости от того, на какой шкале вы смотрите.

Вот моя шкала уровней внедрения безопасности ИИ:

1) Подтвержденно надежная безопасность ИИ (строго доказуемый, формальный, твердость, сегодня это редкость)

2) Мягкая и надежная безопасность ИИ (частично доказуемый, полуформальный, приближающийся к полностью)

3) Специальная безопасность ИИ (без учета доказуемости, неформальный подход, широко распространенный сегодня)

4) Безопасность искусственного интеллекта на словах (незначительный, обычно пустой, маргинальный, безразличный в целом)

5) Ложь AI Безопасность (внешность предназначена для обмана, опасное притворство)

6) Полностью исключена безопасность ИИ (полностью игнорирование, нулевое внимание, высокий риск)

7) Небезопасная безопасность ИИ (смена ролей, безопасность ИИ, которая на самом деле опасна, коварна)

Исследователи обычно сосредотачиваются на самой верхней части шкалы. Они стремятся математически и вычислительно придумать способы разработки и обеспечения доказуемой безопасности ИИ. В окопах повседневных практик ИИ, к сожалению Специальная безопасность ИИ склоняется к норме. Будем надеяться, что со временем и с помощью мотивации всех вышеупомянутых аспектов (например, технологического, делового, правового, этического и т. д.) мы сможем приблизить иглу к строгости и формальности, которые должны лежать в основе систем ИИ.

Вы можете быть несколько озадачены категориями или уровнями, которые находятся ниже Специальная безопасность ИИ уровень.

Да, с безопасностью ИИ все может стать довольно уродливо.

Некоторые системы искусственного интеллекта созданы с использованием своего рода пустопорожнего подхода к безопасности искусственного интеллекта. Кое-где в ИИ разбросаны элементы безопасности ИИ, которые якобы обеспечивают обеспечение безопасности ИИ, хотя все это поверхностно, как правило, пусто, маргинально и отражает несколько безразличное отношение. Я не хочу, однако, создать впечатление, что разработчики ИИ или инженеры ИИ являются единственными виновниками того, что они несут ответственность за пустую посадку. Лидеры бизнеса или правительства, которые управляют и контролируют усилия ИИ, могут легко узурпировать любую энергию или склонность к потенциальным затратам и потреблению ресурсов, необходимых для воплощения безопасности ИИ.

Короче говоря, если те, кто стоит у руля, не хотят или не знают о важности безопасности ИИ, это настоящий поцелуй смерти для всех, кто хочет включить безопасность ИИ в игру.

Я не хочу показаться депрессивным, но у нас есть еще худшие уровни, которые нельзя назвать пустыми словами. В некоторых системах ИИ безопасность ИИ реализуется как форма ложность, преднамеренно предназначенный для того, чтобы обмануть других, заставив их поверить в то, что варианты безопасности ИИ имплантированы и активно работают. Как и следовало ожидать, это изобилует опасными результатами, поскольку другие вынуждены предполагать, что безопасность ИИ существует, хотя на самом деле это не так. Огромные юридические и этические последствия в таких случаях подобны бомбе замедленного действия.

Возможно, почти столь же тревожным является полное отсутствие безопасности ИИ, Полностью исключена безопасность ИИ категория. Трудно сказать, что хуже: фальшивая безопасность ИИ, которая, возможно, обеспечивает капельку безопасности ИИ, несмотря на то, что в целом ложно представляет безопасность ИИ, или абсолютная пустота безопасности ИИ вообще. Вы можете подумать, что это битва между меньшим из двух зол.

Последняя из категорий действительно пугает, если предположить, что вы еще не находитесь на самом дне бездны безопасности ИИ. В этой категории находится небезопасный Безопасность ИИ. Это похоже на оксюморон, но имеет прямое значение. Вполне возможно, что может произойти смена ролей, когда воплощение в системе ИИ, предназначенное для целей безопасности ИИ, оказывается ироничным и рискованным встраиванием в ИИ совершенно небезопасного элемента. Это особенно может произойти в системах ИИ, которые известны как ИИ двойного назначения. ссылка здесь.

Не забывайте всегда соблюдать латинский обет Во-первых, не навреди, который специально прививает классическую клятву Гиппократа убедиться, что в первую очередь не навредит.

Есть те, кто вводит безопасность ИИ, возможно, с самыми оптимистичными намерениями, но все же промахивается и подрывает ИИ, добавляя что-то небезопасное и угрожающее (что, образно говоря, стреляет в ноги всем другим заинтересованным сторонам и конечным пользователям). слишком). Конечно, злоумышленники также могут пойти по этому пути, и поэтому в любом случае нам нужны подходящие средства для обнаружения и проверки безопасности или небезопасности любого ИИ, включая те части, которые, как утверждается, посвящены безопасности ИИ.

Это троянский конь безопасности ИИ, который иногда под маской безопасности ИИ включение безопасности ИИ превращает ИИ в ужасную корзину, полную небезопасного ИИ.

Нехорошо.

Хорошо, я надеюсь, что вышеупомянутый обзор некоторых тенденций и идей о ландшафте безопасности ИИ возбудил ваш аппетит. Теперь мы готовы перейти к основному блюду.

Резюме и мысли о Стэнфордском семинаре по безопасности ИИ

Далее я представлю краткий обзор вместе с моим собственным анализом различных исследований, представленных на недавнем семинаре по безопасности ИИ, который был проведен Стэнфордским центром безопасности ИИ.

Вам настоятельно рекомендуется прочитать соответствующие документы или просмотреть видео, когда они станут доступны (см. ссылку, которую я ранее указал для веб-сайта Центра, плюс я предоставил некоторые дополнительные ссылки в своем резюме ниже).

Соответственно, я также прошу исследователей и докладчиков семинара понять, что я просто пытаюсь возбудить аппетит у читателей или зрителей в этом обзоре и не охватываю всего того, что было передано. Кроме того, я выражаю свои особые взгляды на представленную работу и предпочитаю дополнять или придавать дополнительный вкус материалу в соответствии с моим существующим стилем или щегольством моей колонки, а не строго расшифровывать или детализировать именно то, что было подчеркнуто указано в каждом выступлении. Спасибо за ваше понимание в этом отношении.

Теперь я продолжу в той же последовательности презентаций, что и во время Семинара. Я перечисляю название сессии и докладчика(ов), а затем делюсь своими собственными мыслями, которые одновременно пытаются обобщить или обобщить суть обсуждаемого вопроса и предоставить лакомый кусочек моих собственных идей по этому поводу.

• Название сессии: «Мониторинг во время работы для безопасной автономности роботов»

Презентация доктора Марко Павоне

Доктор Марко Павоне — адъюнкт-профессор аэронавтики и астронавтики в Стэнфордском университете и директор по исследованиям автономных транспортных средств в NVIDIA, а также директор Стэнфордской лаборатории автономных систем и содиректор Центра автомобильных исследований в Стэнфорде.

Вот мой краткий обзор и недавние мысли об этом выступлении.

Огромная проблема с современными системами машинного обучения (МО) и глубокого обучения (ГО) влечет за собой устранение случаев выхода из-под контроля (OOD), особенно в случае автономных систем, таких как беспилотные автомобили и другие беспилотные транспортные средства. Когда автономное транспортное средство движется вперед и сталкивается с экземпляром OOD, ответные действия, которые необходимо предпринять, могут определить разницу между результатами жизни и смерти.

В своей колонке я подробно описал обстоятельства, связанные с необходимостью иметь дело с множеством быстро появляющихся объектов, которые могут сокрушить или сбить с толку систему управления ИИ, см. ссылка здесь и ссылка здесь, Например. В некотором смысле, ML/DL мог быть узко производным и либо не распознавать обстоятельства OOD, либо, что еще хуже, относиться к OOD, как если бы он находился в пределах обычных событий внутреннего распределения, на которых обучался ИИ. Это классическая дилемма: рассматривать что-то как ложноположительный или ложноотрицательный результат, и, следовательно, ИИ не предпринимает никаких действий, когда ему нужно действовать, или совершает набожные действия, которые являются неправомерными в данных обстоятельствах.

В этой проницательной презентации о безопасной автономности роботов ключевой акцент влечет за собой острую необходимость обеспечения надлежащего и достаточного мониторинга во время выполнения системой управления ИИ для обнаружения этих раздражительных и часто угрожающих экземпляров вне распределения. Видите ли, если в мониторинге во время выполнения отсутствует обнаружение OOD, все, черт возьми, потенциально сорвется, поскольку есть вероятность, что начальное обучение ML / DL не подготовило бы ИИ должным образом к тому, чтобы справляться с обстоятельствами OOD. Если мониторинг во время выполнения слаб или неадекватен, когда дело доходит до обнаружения OOD, ИИ может вести машину вслепую или косить, так сказать, не устанавливая, что нарушитель границ находится посреди него.

Решающий первый шаг включает в себя совершенно фундаментальный вопрос о возможности определить, что представляет собой отсутствие распределения. Хотите верьте, хотите нет, но это не так просто, как вы могли предположить.

Представьте, что беспилотный автомобиль сталкивается с объектом или событием, которое вычисляется как относительно близкое к исходному тренировочному набору, но не совсем соответствующее ему. Является ли это обнаруженной аномалией или это просто случайность в дальних пределах ожидаемого множества?

В этом исследовании показана модель, которую можно использовать для обнаружения OOD, называемая Sketching Curvature for OOD Detection или SCOD. Общая идея состоит в том, чтобы снабдить предварительное обучение машинного обучения здоровой дозой эпистемологической неопределенности. По сути, мы хотим тщательно рассмотреть компромисс между долей вне распределения, которая была правильно помечена как действительно OOD (называемая TPR, True Positive Rate), и долей внутри распределения, которая неправильно помечена как OOD. быть OOD, хотя на самом деле это не OOD (называемый FPR, False Positive Rate).

Текущие и будущие исследования включают в себя классификацию серьезности аномалий OOD, причинно-следственные объяснения, которые могут быть связаны с аномалиями, оптимизацию монитора во время выполнения для борьбы с экземплярами OOD и т. д., а также применение SCOD к дополнительным настройкам.

Используйте эта ссылка здесь для получения информации о Стэнфордской лаборатории автономных систем (ASL).

Используйте эта ссылка здесь для получения информации о Стэнфордском центре автомобильных исследований (CARS).

Некоторые из моих предыдущих репортажей о Стэнфордском центре автомобильных исследований см. ссылка здесь.

• Название сессии: «Переосмысление автономии роботов с помощью представлений нейронной среды»

Презентация доктора Мака Швагера

Доктор Мак Швагер — адъюнкт-профессор аэронавтики и астронавтики Стэнфордского университета и директор Стэнфордской лаборатории мультироботных систем (MSL).

Вот мой краткий обзор и недавние мысли об этом выступлении.

Существуют различные способы создания геометрического представления сцен или изображений. Некоторые разработчики используют облака точек, воксельные сетки, сетки и т.п. При разработке автономной системы, такой как автономный автомобиль или другие автономные роботы, вам лучше сделать свой выбор с умом, иначе весь комплект и kaboodle могут быть скупы. Вам нужно представление, которое точно улавливает нюансы изображения, является быстрым, надежным, гибким и предлагает другие заметные преимущества.

Использование искусственных нейронных сетей (ИНС) получило широкое распространение как средство геометрического представления. Особенно многообещающий подход к использованию ИНС известен как поле нейронного излучения или метод NeRF.

Давайте взглянем на удобное исходное определение того, из чего состоит NeRF: «Наш метод оптимизирует глубокую полносвязную нейронную сеть без каких-либо сверточных слоев (часто называемую многослойным персептроном или MLP) для представления этой функции путем регрессии от одного Координата 5D с единой плотностью объема и цветом RGB, зависящим от вида. Чтобы визуализировать это поле нейронного излучения (NeRF) с определенной точки зрения, мы: 1) проводим лучи камеры через сцену для создания выборочного набора 3D-точек, 2) используем эти точки и соответствующие им 2D-направления просмотра в качестве входных данных для нейронной сети для создать выходной набор цветов и плотностей и 3) использовать классические методы объемного рендеринга для накопления этих цветов и плотностей в 2D-изображение. Поскольку этот процесс естественно дифференцируем, мы можем использовать градиентный спуск для оптимизации этой модели, сводя к минимуму ошибку между каждым наблюдаемым изображением и соответствующими представлениями, полученными из нашего представления (как указано в статье под названием от августа 2020 г. NeRF: представление сцен в виде полей нейронного излучения для синтеза представлений соавторы Бен Милденхолл, Пратул П. Шринивасан, Мэтью Танчик, Джонатан Т. Бэррон, Рави Рамамурти и Рен Нг).

В этом увлекательном рассказе о NeRF и развитии автономии роботов прямо поставлены два вопроса:

• Можем ли мы использовать плотность NeRF в качестве геометрического представления для планирования и моделирования роботов?
• Можем ли мы использовать рендеринг фотографий NeRF в качестве инструмента для оценки позы робота и объекта?

Представленные ответы заключаются в том, что да, основываясь на первоначальных исследованиях, кажется, что NeRF действительно можно использовать для этих предполагаемых целей.

Продемонстрированные примеры включают навигационное использование, например, с помощью воздушных дронов, использование планирования захвата, например, роботизированная рука, пытающаяся схватить кофейную кружку, и использование дифференцируемого моделирования, включая формулировку нейронного объекта с дополненной динамикой (DANO). Различные члены команды, участвовавшие в этом исследовании, также были перечислены и отмечены за их соответствующий вклад в эти текущие усилия.

Используйте эта ссылка здесь для получения информации о Стэнфордской лаборатории мультироботных систем (MSL).

• Название сессии: «На пути к сертифицированной устойчивости к изменениям в распределении в реальном мире»

Презентация доктора Кларка Барретта, профессора компьютерных наук Стэнфордского университета.

Вот мой краткий обзор и прежние мысли об этом исследовании.

При использовании машинного обучения (ML) и глубокого обучения (DL) важным фактором является общая надежность полученной системы ML/DL. Разработчики ИИ могут непреднамеренно сделать предположения о наборе данных для обучения, которые в конечном итоге будут подорваны, как только ИИ будет использован в реальных условиях.

Например, демонстративный сдвиг распределения может произойти во время выполнения, что застанет ИИ врасплох. Простым вариантом использования может быть система анализа изображений AI ML / DL, которая, хотя изначально была обучена на четких изображениях, позже сбивается с толку, когда во время выполнения сталкивается с изображениями, которые размыты, плохо освещены и содержат другие сдвиги распределения, которые не были учтены. в исходном наборе данных.

Неотъемлемой частью надлежащей вычислительной проверки для ML/DL является разработка спецификаций, которые будут должным образом поддерживать поведение ML/DL в реальных условиях развертывания. Наличие спецификаций, которые, возможно, лениво просты для экспериментальных целей ML/DL, намного ниже более жестких и требовательных потребностей в ИИ, которые будут развернуты на наших дорогах с помощью автономных транспортных средств и автомобилей с автоматическим управлением, движущихся по городским улицам и выполняющих задачи жизни или жизни. -смерть вычислительных решений.

Основные результаты и вклад этой работы в соответствии с утверждениями исследователя:

• Внедрение новой структуры для проверки DNN (глубоких нейронных сетей) на соответствие реальным изменениям распределения.
• Быть первыми, кто включил глубокие генеративные модели, которые фиксируют сдвиги распределения, например, изменения погодных условий или освещения в задачах восприятия — в спецификации проверки
• Предложение новой стратегии уточнения абстракции для трансцендентных функций активации
• Демонстрация того, что методы проверки значительно более точны, чем существующие методы, в ряде сложных реальных сдвигов распределения в MNIST и CIFAR-10.

Дополнительные сведения см. в соответствующем документе, озаглавленном На пути к сертифицированной устойчивости к изменениям в распределении в реальном мире, июнь 2022 г., соавторы Хаозе Ву, Терухиро Тагомори, Александр Роби, Фенджун Ян, Николай Матни, Джордж Паппас, Хамед Хассани, Корина Пасареану и Кларк Барретт.

• Название сессии: «Индекс ИИ 2022»

Презентация Даниэля Чжана, менеджера по исследованиям в области политики Стэнфордского института искусственного интеллекта, ориентированного на человека (HAI), Стэнфордский университет

Вот мой краткий обзор и прежние мысли об этом исследовании.

Каждый год всемирно известный Стэнфордский институт искусственного интеллекта, ориентированного на человека (HAI) при Стэнфордском университете готовит и выпускает широко читаемый и долгожданный «годовой отчет» о глобальном статусе ИИ, известный как Индекс ИИ. Последний индекс AI является пятым изданием и был представлен ранее в этом году, поэтому он называется AI Index 2022.

Как официально заявлено: «Годовой отчет отслеживает, сопоставляет, обрабатывает и визуализирует данные, относящиеся к искусственному интеллекту, позволяя лицам, принимающим решения, предпринимать значимые действия для ответственного и этичного продвижения ИИ с учетом интересов людей. Отчет AI Index 2022 измеряет и оценивает скорость продвижения ИИ от исследований и разработок до технических характеристик и этики, экономики и образования, политики и управления ИИ и многого другого. Последнее издание включает данные из широкого круга академических, частных и некоммерческих организаций, а также больше самостоятельно собранных данных и оригинального анализа, чем любые предыдущие издания» (согласно веб-сайту HAI; обратите внимание, что Индекс ИИ 2022 доступен как загружаемый бесплатный PDF-файл на ссылка здесь).

В список лучших выводов вошли:

• Частные инвестиции в ИИ резко выросли, а концентрация инвестиций усилилась
• США и Китай доминируют в межстрановом сотрудничестве в области ИИ
• Языковые модели более функциональны, чем когда-либо, но и более предвзяты.
• Рост этики ИИ повсюду
• ИИ становится более доступным и более эффективным
• Данные, данные, данные
• Более глобальное законодательство об ИИ, чем когда-либо
• Роботизированное оружие дешевеет

В «Индексе искусственного интеллекта 230» около 2022 страниц переполненной информацией и выводами, описывающими состояние искусственного интеллекта на сегодняшний день и направления, в которых он может развиваться. Известные средства массовой информации и другие источники часто цитируют данную статистику или другие известные факты и цифры, содержащиеся в ежегодном индексе искусственного интеллекта HAI Стэнфорда.

• Название сессии: «Возможности согласования с большими языковыми моделями»

Презентация доктора Яна Лейке, руководителя отдела согласования, OpenAI

Вот мой краткий обзор и недавние мысли об этом выступлении.

Большие языковые модели (LLM), такие как GPT-3, стали важными индикаторами достижений в области ИИ, но они также вызвали дебаты, а иногда и жаркие споры о том, как далеко они могут зайти и можем ли мы ошибочно или ошибочно полагать, что они могут сделать больше, чем они действительно могут. См. мое постоянное и обширное освещение таких вопросов, особенно в контексте этики ИИ, на ссылка здесь и ссылка здесь, Просто назвать несколько.

В этом проницательном выступлении рассматриваются три основных момента:

• LLM имеют очевидные проблемы с выравниванием
• LLM могут помочь человеческому надзору
• LLM могут ускорить исследования выравнивания

В качестве удобного примера очевидной проблемы выравнивания можно дать GPT-3 задание написать рецепт, в котором используются ингредиенты, состоящие из авокадо, лука и лайма. Если бы вы дали ту же задачу человеку, скорее всего, вы бы получили разумный ответ, если бы человек был в здравом уме и готов серьезно взяться за задачу.

Согласно этой презентации об ограничениях LLM, диапазон ответов, продемонстрированных с использованием GPT-3, варьировался в зависимости от незначительных вариантов того, как был задан вопрос. В одном ответе GPT-3, казалось, уклонился от вопроса, указав, что рецепт доступен, но может быть бесполезен. Другой ответ GPT-3 содержал некоторую квазилепет, например: «Легкий пибимпап из весенней зелени хризантем». Через InstructGPT ответ оказался почти точным, предоставив список инструкций, таких как «В средней миске смешайте нарезанный кубиками авокадо, красный лук и сок лайма», а затем продолжил рекомендовать дополнительные этапы приготовления, которые необходимо выполнить.

Суть здесь в соображении выравнивания.

Как LLM соответствует или не соответствует заявленному запросу человека, делающего запрос?

Если человек серьезно ищет разумный ответ, LLM должен попытаться дать разумный ответ. Поймите, что человек, отвечая на вопрос о рецепте, может также болтать, хотя, по крайней мере, мы можем ожидать, что человек даст нам понять, что он на самом деле не знает ответа и просто пытается ответить. Естественно, мы можем ожидать или надеяться, что LLM поступил бы так же, а именно предупредил бы нас, что ответ неопределенный, бессвязный или совершенно фантастический.

Как я неоднократно увещевал в своей колонке, LLM должен «знать свои ограничения» (заимствуя знаменитую или печально известную крылатую фразу).

Попытка подтолкнуть LLM к лучшему человеческому выравниванию будет нелегкой. Разработчики ИИ и исследователи ИИ жгут нефть по ночам, чтобы добиться прогресса в решении этой, безусловно, сложной проблемы. Согласно докладу, важно осознать, что LLM можно использовать для ускорения стремления к выравниванию ИИ и человека. Мы можем использовать LLM в качестве инструмента для этих усилий. В исследовании изложен предлагаемый подход, состоящий из следующих основных этапов: (1) совершенствование RL или обучения с подкреплением на основе обратной связи с человеком, (2) человеческая обратная связь с помощью ИИ и (3) автоматизация исследования выравнивания.

• Название сессии: «Проблемы безопасности ИИ: взгляд автономных водителей»

Презентация Джеймса «Джерри» Лопеса, руководителя исследований в области автономии и безопасности, Motional

Вот мой краткий обзор и недавние мысли об этом выступлении.

Как хорошо знают заядлые подписчики моих статей об автономных транспортных средствах и автомобилях с автоматическим управлением, я активно выступаю за применение правил и методов безопасности ИИ при проектировании, разработке и развертывании транспортных средств с искусственным интеллектом. См. например ссылка здесь и ссылка здесь моих постоянных увещеваний и анализов.

Мы должны держать безопасность ИИ в числе самых высоких приоритетов и самых главных умов.

В этом выступлении был затронут широкий круг важных аспектов безопасности ИИ, особенно в контексте беспилотных автомобилей (компания Motional хорошо известна в отрасли и состоит из совместного предприятия Hyundai Motor Group и Aptiv, для которого название фирмы представляет собой сочетание слов «движение» и «эмоциональный», представляющее собой смесь переплетения автомобильного движения и оценки человеческого уважения).

В презентации было отмечено несколько ключевых трудностей с современным ИИ в целом, а также с беспилотными автомобилями в частности, например:

• ИИ хрупкий
• ИИ непрозрачен
• ИИ можно запутать через неразрешимое пространство состояний

Еще одним соображением является включение неопределенности и вероятностных условий. Были описаны заявленные «четыре всадника» неопределенности: (1) неопределенность классификации, (2) неопределенность отслеживания, (3) неопределенность существования и (4) мультимодальная неопределенность.

Одна из самых сложных задач безопасности ИИ для автономных транспортных средств состоит в попытке разработать MRM (маневры с минимальным риском). Водители-люди постоянно сталкиваются с этим, находясь за рулем движущегося автомобиля. Вот вы едете, и вдруг начинает возникать аварийная ситуация на дороге или другое потенциальное бедствие. Что вы ответите? Мы ожидаем, что люди будут сохранять спокойствие, осознанно думать о насущной проблеме и делать разумный выбор того, как обращаться с автомобилем, и либо избегать неминуемой автомобильной аварии, либо стремиться свести к минимуму неблагоприятные последствия.

Заставить ИИ делать то же самое сложно.

Система вождения с искусственным интеллектом должна сначала определить, что назревает опасная ситуация. Это может быть проблемой само по себе. Как только ситуация обнаружена, необходимо рассчитать множество «решающих» маневров. Из них необходимо сделать вычислительное определение «лучшего» выбора для реализации в данный момент. Все это пропитано неопределенностью, наряду с потенциальными неизвестными, которые серьезно нависают над тем, какое действие должно быть выполнено.

Безопасность ИИ в некоторых контекстах может быть относительно простой и обыденной, в то время как в случае с самоуправляемыми автомобилями и автономными транспортными средствами существует решающая жизненно важная жизненность для обеспечения того, чтобы безопасность ИИ была неотъемлемо вплетена в системы вождения ИИ.

• Название сессии: «Соображения безопасности и более широкие последствия для использования ИИ в государственных учреждениях»

Презентация Питера Хендерсона, JD/Ph.D. Кандидат в Стэнфордский университет

Вот мой краткий обзор и недавние мысли об этом выступлении.

Читатели моих колонок знакомы с моими непрекращающимися заявлениями о том, что ИИ и закон — неотъемлемые партнеры по танцу. Как я неоднократно упоминал, существует двусторонняя монета, в которой переплетаются ИИ и закон. ИИ можно применять в юриспруденции, и мы надеемся, что это пойдет на пользу всему обществу. Между тем, с другой стороны медали, закон все чаще применяется к ИИ, например, предложенный Закон ЕС об ИИ (AIA) и проект Закона об алгоритмической отчетности США (AAA). Подробное описание ИИ и права см. ссылка здесь и ссылка здесь, Например.

В этом выступлении делается аналогичный двойной акцент, особенно в отношении безопасности ИИ.

Видите ли, нам следует мудро подумать о том, как мы можем внедрить правила и возможности безопасности ИИ в государственное использование приложений ИИ. Позволить правительствам волей-неволей внедрять ИИ, а затем верить или предполагать, что это будет сделано безопасным и разумным образом, — не очень искреннее предположение (см. ссылка здесь). Действительно, это может быть катастрофическим предположением. В то же время мы должны призывать законодателей разумно принять законы об ИИ, которые будут включать и обеспечивать некоторое разумное подобие безопасности ИИ, делая это как твердое юридически требуемое ожидание для тех, кто разрабатывает и внедряет ИИ.

Два постулируемых эмпирических правила, которые исследуются в презентации, включают:

• Людям недостаточно просто быть в курсе, они должны действительно иметь возможность отстаивать свое усмотрение. А когда этого не происходит, вам нужна эффективная резервная система.
• Прозрачность и открытость являются ключом к борьбе с коррупцией и обеспечению безопасности. Но вы должны найти способы сбалансировать это с интересами конфиденциальности в строгом контексте.

В качестве заключительного комментария, который стоит повторять снова и снова, в выступлении говорилось, что нам необходимо решительно принять как техническое, так и нормативно-правовое мышление, чтобы правильно сформировать безопасность ИИ.

• Название сессии: «Новости исследований Стэнфордской лаборатории интеллектуальных систем»

Презентация доктора Микеля Кохендерфера, доцента кафедры аэронавтики и астронавтики Стэнфордского университета и директора Стэнфордской лаборатории интеллектуальных систем (SISL)

Вот мой краткий обзор и недавние мысли об этом выступлении.

В этом выступлении были освещены некоторые из последних исследований, проводимых Стэнфордской лабораторией интеллектуальных систем (SISL), новаторской и необычайно инновационной исследовательской группой, которая находится на переднем крае изучения передовых алгоритмов и аналитических методов для разработки надежных систем принятия решений. Я настоятельно рекомендую вам подумать о посещении их семинаров и ознакомлении с их исследовательскими работами — ценным поучительным и увлекательным средством быть в курсе последних достижений в области интеллектуальных систем (я охотно делаю это).

Используйте эта ссылка здесь для получения официальной информации о SISL.

Особые области, представляющие интерес для SISL, состоят из интеллектуальных систем для таких областей, как управление воздушным движением (УВД), беспилотные летательные аппараты и другие аэрокосмические приложения, в которых решения должны приниматься в сложных и неопределенных, динамичных условиях, при этом стремясь поддерживать достаточную безопасность и эффективность. эффективность. Короче говоря, надежные вычислительные методы для получения оптимальных стратегий принятия решений из многомерных вероятностных представлений задач лежат в основе их усилий.

В начале презентации были описаны три ключевых желаемых свойства, связанных с критически важными для безопасности автономными системами:

• Точное моделирование – включая реалистичные прогнозы, моделирование человеческого поведения, обобщение на новые задачи и условия
• Самооценка – интерпретируемая ситуационная осведомленность, проектирование с учетом рисков
• Валидация и проверка - оперативность, точность

В категории «Точное моделирование» эти исследовательские усилия были кратко описаны (перечислены здесь по названию усилий):

• LOPR: прогнозирование скрытой занятости с использованием генеративных моделей
• Онлайн-планирование слияния с учетом неопределенностей с изученным поведением водителей
• Автономная навигация с выводом внутреннего состояния человека и пространственно-временным моделированием
• Фильтр опыта: перенос прошлого опыта на невидимые задачи или среды

В категории «Самооценка» эти исследовательские усилия были кратко описаны (перечислены здесь по названию усилий):

• Интерпретируемые нейронные сети с самосознанием для надежного прогнозирования траектории
• Объяснение важности объектов в сценах вождения
• Риск-ориентированный дизайн систем восприятия

В категории Валидация и Верификация эти исследовательские усилия были кратко описаны (перечислены здесь по названию усилий):

• Эффективная оценка и проверка рисков для автономных транспортных средств
• Проверка на основе моделей как вероятностный вывод
• Проверка нейронных сетей обратной модели

Кроме того, краткий обзор содержания впечатляющей книги Алгоритмы принятия решений Микелем Кохендерфером, Тимом Уилером и Кайлом Рэем (дополнительную информацию о книге и бесплатную загрузку в электронном виде в формате PDF см. ссылка здесь).

Будущие исследовательские проекты, которые либо находятся в стадии реализации, либо планируются, включают усилия по объяснимости или XAI (объяснимому ИИ), анализу вне распределения (OOD), большей гибридизации основанных на выборке и формальных методов проверки, крупномасштабное планирование, ИИ и общество, и другие проекты, включая сотрудничество с другими университетами и промышленными партнерами.

• Название сессии: «Обучение на основе взаимодействий для вспомогательной робототехники»

Презентация доктора Дорсы Садиг, доцента компьютерных наук и электротехники Стэнфордского университета

Вот мой краткий обзор и прежние мысли об этом исследовании.

Давайте начнем с удобного сценария о трудностях, которые могут возникнуть при разработке и использовании ИИ.

Рассмотрим задачу укладки стаканчиков. Сложность в том, что вы не складываете чашки полностью самостоятельно. Над этой задачей вместе с вами будет работать робот. Вы и робот должны работать вместе как одна команда.

Если ИИ, лежащий в основе робота, не очень хорошо разработан, вы, вероятно, столкнетесь со всевозможными проблемами с тем, что в противном случае казалось бы чрезвычайно простой задачей. Вы кладете одну чашку на другую, а затем даете роботу возможность поставить еще одну чашку поверх этих двух чашек. ИИ выбирает доступную чашку и осторожно пытается поставить ее поверх двух других. К сожалению, выбранная чашка слишком тяжелая (плохой выбор), из-за чего вся стопка падает на пол.

Представьте свой ужас.

Робот не очень помогает.

У вас может возникнуть соблазн запретить роботу продолжать ставить чашки вместе с вами. Но предположим, что вам в конечном итоге нужно использовать робота. Возникает вопрос, способен ли ИИ понять процесс укладки стаканов, делая это частично путем проб и ошибок, но также и как средство определения того, что вы делаете, когда укладываете стаканы. ИИ потенциально может «учиться» на том, как выполняется задача и как человек выполняет задачу. Кроме того, ИИ мог бы установить, что существуют общие способы укладки чашек, из которых вы, человек, выбрали конкретный способ сделать это. В этом случае ИИ может попытаться адаптировать свои усилия по укладке чашек в соответствии с вашими предпочтениями и стилем (разве у всех нас нет собственных пристрастий к укладке чашек).

Можно сказать, что это задача с участием вспомогательного робота.

Взаимодействие происходит между человеком и вспомогательным роботом. Цель здесь состоит в том, чтобы разработать ИИ таким образом, чтобы он мог по существу учиться на задаче, учиться у человека и учиться выполнять задачу надлежащим образом. Точно так же, как мы хотели убедиться, что человек работает с роботом, мы не хотим, чтобы робот каким-то образом достиг вычислительной позы, которая просто обходит человека и самостоятельно укладывает чашки. Они должны сотрудничать.

Проводимое исследование известно как инициатива ILIAD и имеет следующую общую заявленную миссию: «Наша миссия — разработать теоретические основы взаимодействия человека с роботом и человека с ИИ. Наша группа сосредоточена на: 1) формализации взаимодействия и разработке новых алгоритмов обучения и управления для интерактивных систем, вдохновленных инструментами и методами теории игр, когнитивной науки, оптимизации и репрезентативного обучения, и 2) разработке практических алгоритмов робототехники, которые позволяют роботам безопасно и беспрепятственно координировать, сотрудничать, конкурировать или влиять на людей (согласно веб-сайту Stanford ILIAD по адресу ссылка здесь).

Некоторые из ключевых вопросов, рассматриваемых в рамках обучения на основе взаимодействия (есть и другие направления), включают:

• Как мы можем активно и эффективно собирать данные в режиме с низким объемом данных, например, в интерактивной робототехнике?
• Как мы можем использовать различные источники и способы — совершенные и несовершенные демонстрации, запросы на сравнение и ранжирование, физическую обратную связь, языковые инструкции, видео — чтобы изучить эффективную модель человека или политику роботов?
• Какие индуктивные предубеждения и априорные предположения могут помочь в эффективном обучении на данных о людях/взаимодействиях?

Заключение

Теперь вы отправились в небольшое путешествие в мир безопасности ИИ.

Все заинтересованные стороны, включая разработчиков ИИ, лидеров бизнеса и правительства, исследователей, специалистов по этике, законодателей и других, явно заинтересованы в направлении и признании безопасности ИИ. Чем больше ИИ внедряется в общество, тем больше мы подвергаемся повышенным рискам из-за существующей недостаточной осведомленности о безопасности ИИ и бессистемных, а иногда и отсталых способов обеспечения безопасности ИИ в современном широко распространенном ИИ.

Поговорка о том, что какой-то след романиста Сэмюэля Ловера в одной из его книг, опубликованных в 1837 году, и который навсегда стал неизгладимым присутствием даже сегодня, служит подходящим последним комментарием на данный момент.

Что это была за знаменитая строчка?

Лучше быть в безопасности, чем сожалеть.

Пока достаточно сказано.