NTT и Токийский университет разрабатывают первый в мире ИИ для оптических вычислений с использованием алгоритма, вдохновленного человеческим мозгом

Сотрудничество продвигает практическое применение маломощного, высокоскоростного ИИ на основе оптических вычислений.

ТОКИО– (БИЗНЕС ПРОВОД) -#TechforGood-Корпорация НТТ (Президент и главный исполнительный директор: Акира Шимада, «NTT») и Токийский университет (Бункё-ку, Токио, президент: Теруо Фуджи) разработали новый алгоритм обучения, основанный на обработке информации мозгом, который подходит для многоуровневых искусственных нейронных сетей (DNN), использующих аналоговые операции. Этот прорыв приведет к снижению энергопотребления и времени вычислений для ИИ. Результаты этой разработки были опубликованы в британском научном журнале Природа связи В декабре 26^th.

Исследователи добились первой в мире демонстрации эффективного оптического обучения DNN, применив алгоритм к DNN, который использует оптические аналоговые вычисления, что, как ожидается, позволит использовать высокоскоростные устройства машинного обучения с низким энергопотреблением. Кроме того, они добились самой высокой в ​​мире производительности многослойной искусственной нейронной сети, использующей аналоговые операции.

В прошлом вычисления с высокой нагрузкой для обучения выполнялись с помощью цифровых вычислений, но этот результат доказывает, что можно повысить эффективность обучающей части с помощью аналоговых вычислений. В технологии Deep Neural Network (DNN) рекуррентная нейронная сеть, называемая вычислениями глубокого резервуара, рассчитывается, предполагая оптический импульс как нейрон и нелинейное оптическое кольцо как нейронную сеть с рекурсивными связями. Путем повторного ввода выходного сигнала в ту же оптическую схему сеть искусственно углубляется.

Технология DNN обеспечивает передовой искусственный интеллект (ИИ), такой как машинный перевод, автономное вождение и робототехника. В настоящее время требуемая мощность и время вычислений растут со скоростью, превышающей рост производительности цифровых компьютеров. Ожидается, что технология DNN, использующая расчеты аналоговых сигналов (аналоговые операции), станет методом реализации высокоэффективных и высокоскоростных вычислений, подобных нейронной сети мозга. В сотрудничестве между NTT и Токийским университетом был разработан новый алгоритм, подходящий для аналоговой работы DNN, который не предполагает понимания параметров обучения, включенных в DNN.

Предлагаемый метод обучается путем изменения параметров обучения на основе конечного слоя сети и нелинейного случайного преобразования ошибки полезного выходного сигнала (сигнала ошибки). Этот расчет упрощает реализацию аналоговых вычислений в таких вещах, как оптические схемы. Его также можно использовать не только как модель для физической реализации, но и как передовую модель, используемую в таких приложениях, как машинный перевод и различные модели ИИ, включая модель DNN. Ожидается, что это исследование будет способствовать решению возникающих проблем, связанных с вычислениями ИИ, включая энергопотребление и увеличение времени вычислений.

В дополнение к изучению применимости метода, предложенного в этой статье, к конкретным задачам, NTT также будет способствовать крупномасштабной и мелкомасштабной интеграции оптического оборудования с целью создания высокоскоростной оптической вычислительной платформы с низким энергопотреблением для будущих оптических вычислений. сети.

Поддержка этого исследования:

JST/CREST поддержали часть результатов этих исследований.

Публикация в журнале:

Magazine: Природа связи (Онлайн-версия: 26 декабря)

Название статьи: Физическое глубокое обучение с биологическим методом обучения: безградиентный подход к физическому оборудованию

Авторы: Мицумаса Накадзима, Кацума Иноуэ, Кендзи Танака, Ясуо Куниёси, Тошикадзу Хашимото и Кохей Накадзима.

Объяснение терминологии:

1. Оптическая схема: Схема, в которой кремниевые или кварцевые оптические волноводы интегрированы в кремниевую пластину с использованием технологии производства электронных схем. При связи разветвление и слияние оптических путей связи осуществляется с помощью оптических помех, мультиплексирования/демультиплексирования по длине волны и т.п.
2. Метод обратного распространения (BP): наиболее часто используемый алгоритм обучения в глубоком обучении. Градиенты весов (параметров) в сети получаются при обратном распространении сигнала ошибки, и веса обновляются так, чтобы ошибка становилась меньше. Поскольку процесс обратного распространения требует перестановки весовой матрицы сетевой модели и нелинейного дифференцирования, его трудно реализовать на аналоговых схемах, в том числе на мозге живого организма.
3. Аналоговые вычисления: компьютер, который выражает реальные значения используя физические величины, такие как интенсивность и фаза света, а также направление и интенсивность магнитных вращений, и выполняет расчеты, изменяя эти физические величины в соответствии с законами физики.
4. Метод прямого выравнивания с обратной связью (DFA): метод псевдовычисления сигнала ошибки каждого слоя путем выполнения нелинейного случайного преобразования сигнала ошибки последнего слоя. Поскольку он не требует дифференциальной информации сетевой модели и может быть рассчитан только путем параллельного случайного преобразования, он совместим с аналоговым расчетом.
5. Резервуарные вычисления: тип рекуррентной нейронной сети с рекуррентными соединениями в скрытом слое. Для него характерна случайная фиксация соединений в промежуточном слое, называемом резервуарным слоем. В глубоких вычислениях резервуара обработка информации выполняется путем соединения слоев резервуара в несколько слоев.

NTT и логотип NTT являются зарегистрированными товарными знаками или товарными знаками NIPPON TELEGRAPH AND TELEPHONE CORPORATION и / или ее дочерних компаний. Все остальные упомянутые названия продуктов являются товарными знаками соответствующих владельцев. © 2023 NIPPON TELEGRAPH AND TELEPHONE CORPORATION

Контакты

Стивен Рассел

Проводная связь®

Для НТТ

+1-804-362-7484

[электронная почта защищена]