Эксперт по безопасности Бар Ланьядо недавно провел исследование о том, как генеративные модели искусственного интеллекта непреднамеренно способствуют возникновению огромных потенциальных угроз безопасности в мире разработки программного обеспечения. Такое исследование Ланьядо выявило тревожную тенденцию: ИИ предлагает пакеты воображаемого программного обеспечения, а разработчики, даже не подозревая об этом, включают его в свои кодовые базы.
Проблема раскрыта
Проблема в том, что сгенерированное решение имело вымышленное имя — что-то типичное для ИИ. Однако эти вымышленные имена пакетов затем уверенно предлагаются разработчикам, у которых возникают трудности с программированием моделей ИИ. Действительно, некоторые придуманные названия пакетов частично были основаны на людях (например, Ланьядо), а некоторые пошли дальше и превратили их в настоящие пакеты. Это, в свою очередь, привело к случайному включению потенциально вредоносного кода в реальные и законные программные проекты.
Одним из предприятий, попавших под это воздействие, стала Alibaba, один из крупнейших игроков в технологической индустрии. В инструкциях по установке GraphTranslator Ланьядо обнаружил, что Alibaba включила поддельный пакет под названием «huggingface-cli». На самом деле в Индексе пакетов Python (PyPI) был реальный пакет с таким же именем, но в руководстве Alibaba ссылался на пакет, созданный Ланьядо.
Тестирование настойчивости
Исследование Ланьядо было направлено на оценку долговечности и потенциального использования названий пакетов, сгенерированных ИИ. В этом смысле LQuery реализовала различные модели искусственного интеллекта относительно проблем программирования и между языками в процессе понимания, если эффективно и систематически рекомендовались эти вымышленные имена. В этом эксперименте становится ясно, что существует риск того, что злоумышленники могут злоупотреблять именами пакетов, сгенерированными ИИ, для распространения вредоносного программного обеспечения.
Эти результаты имеют глубокие последствия. Злоумышленники могут воспользоваться слепым доверием, оказанное разработчиками полученным рекомендациям, и начать публиковать вредоносные пакеты под вымышленными именами. В моделях ИИ риск возрастает, поскольку ИИ дает последовательные рекомендации для придуманных названий пакетов, которые неосведомленные разработчики могут включить в список вредоносных программ. **Путь вперед**
Поэтому по мере дальнейшей интеграции ИИ с разработкой программного обеспечения может возникнуть необходимость устранения уязвимостей, связанных с рекомендациями, генерируемыми ИИ. В таких случаях необходимо проявлять должную осмотрительность, чтобы пакеты программного обеспечения, предлагаемые для интеграции, были законными. Кроме того, платформа, на которой размещен репозиторий программного обеспечения, должна быть проверена и быть достаточно надежной, чтобы не допустить распространения кода злонамеренного качества.
Пересечение искусственного интеллекта и разработки программного обеспечения выявило серьезную угрозу безопасности. Кроме того, модель ИИ может привести к случайной рекомендации поддельных пакетов программного обеспечения, что представляет большой риск для целостности программных проектов. Тот факт, что Alibaba включила в свои инструкции коробку, которой там никогда не должно было быть, является всего лишь убедительным доказательством того, какие возможности на самом деле могут возникнуть, когда люди роботизированно следуют рекомендациям.
предоставлено ИИ. В будущем необходимо будет проявлять бдительность и принимать упреждающие меры, чтобы предотвратить неправильное использование ИИ для разработки программного обеспечения.
Источник: https://www.cryptopolitan.com/ai-generated-software-packages-threats/