Российские ученые создали программу, которая сама ищет уязвимости в нейросетях автопилотов

Искать уязвимости в нейросетях беспилотного транспорта теперь может алгоритм, без многочасовой ручной работы специалистов. Его разработали ученые петербургского ЛЭТИ.

Программа подбирает самые эффективные способы обмануть модель компьютерного зрения, чтобы разработчики могли найти и устранить бреши до выпуска системы.

Хотите еще эксклюзивных новостей и аналитики? Подписывайтесь на наш телеграм-канал, обсуждайте новости и делитесь мнениями о последних событиях рынка в чате!

Автопилот можно обмануть

Беспилотный транспорт «видит» окружающий мир с помощью нейросетей. Они распознают объекты и определяют, что именно находится перед машиной. Однако у такого зрения есть уязвимость. Злоумышленник может наложить на изображение особый фильтр, который человек даже не заметит, а нейросеть из-за него ошибется. Например, примет дорожный знак за совсем другой предмет.

Сейчас устойчивость таких систем к атакам проверяют специалисты вручную. Это занимает много времени, результат зависит от опыта конкретного эксперта, а систематически перебрать все варианты атак невозможно.

Новая разработка

Команда ЛЭТИ собрала в единую базу все существующие инструменты для поиска уязвимостей в моделях компьютерного зрения. Сам процесс ученые разбили на шесть модулей, среди которых функции потерь, планировщики и градиенты моделей. На этой основе они создали программный комплекс, который сводит подбор настроек к задаче оптимизации «черного ящика». Лучшие сочетания инструментов находят с помощью байесовской оптимизации и специально разработанного эволюционного алгоритма.

Программа сама перебирает методы, настраивает параметры и выбирает конфигурацию, которая эффективнее всего выявляет уязвимости конкретной модели. От человека требуется только запустить ее.

Подход проверили на собственной нейросети ученых, обученной на большом наборе данных. Оценивали два показателя: как часто модель ошибается и насколько заметны для глаза изменения в изображении. На тысяче картинок обычный алгоритм обманул нейросеть лишь в 13% случаев, а конфигурация, подобранная новой программой, сработала в 58%. При этом искажения стали примерно на 15% слабее. По словам младшего научного сотрудника лаборатории Романа Радионова, внешне они похожи на легкий шум, какой появляется на фотографии после многократного пересохранения.

Авторы рассматривают разработку как инструмент аудита безопасности. С его помощью разработчики смогут проверить модель перед выпуском в открытый доступ, найти самые серьезные уязвимости и заранее их устранить.

The post Российские ученые создали программу, которая сама ищет уязвимости в нейросетях автопилотов appeared first on BeInCrypto.