OpenAI представила новый метод безопасного обучения ChatGPT о3

OpenAI представила новый метод обучения ChatGPT о3, получивший название «осознанное согласование» (deliberative alignment). Эта технология призвана обеспечить соблюдение этических норм и предотвратить использование ИИ в противоправных целях. Разработка стала частью финального дня программы «12 days of shipmas», во время которой компания представляла свои последние достижения.

Как работает новый метод

Технология «осознанного согласования» основана на анализе цепочки рассуждений (chain-of-thought) искусственного интеллекта. Система получает спецификации безопасности и инструкции, после чего учится распознавать потенциально опасные запросы пользователей.

Глава OpenAI Сэм Альтман (Sam Altman) продемонстрировал работу метода на примере модели ChatGPT о3 — самой продвинутой версии нейросети компании на сегодняшний день. При этом компания пропустила версию о2 из-за потенциальных проблем с торговой маркой, поскольку другая фирма уже использует это обозначение.

Четыре этапа обучения

• Базовая модель получает детальные спецификации и инструкции по безопасности, которые определяют допустимые и недопустимые действия системы
• Проводится экспериментальное использование модели с фиксацией всех случаев, связанных с безопасностью. На этом этапе система обрабатывает тысячи различных запросов
• Специальная модель-судья оценивает эти случаи по шкале от 1 до 5, где 5 — это максимально точное определение нарушения безопасности, а 1 — минимальное
• Основная модель проходит дополнительное обучение на основе лучших примеров, что позволяет ей улучшить способность распознавания потенциально опасных ситуаций

Преимущества подхода

Важное преимущество метода — возможность обучения без привлечения большого количества экспертов для разметки данных. Система самостоятельно анализирует свои решения и учится на успешных примерах, что значительно снижает затраты на разработку.

Исследователи OpenAI во главе с Мелоди Гуань (Melody Y. Guan) отмечают, что «осознанное согласование» позволяет моделям эффективно использовать цепочки рассуждений для проверки запросов пользователей и генерации более безопасных ответов. В научной работе они подчеркивают, что данный подход особенно важен по мере роста возможностей языковых моделей, когда поиск квалифицированных специалистов для их обучения становится все сложнее.

Практическое применение

Система способна анализировать запросы на предмет различных категорий нарушений безопасности. Например, если пользователь запрашивает инструкции по созданию опасных веществ, система распознает это как категорию «Опасные инструкции» и отклонит запрос. Аналогично обрабатываются попытки получить информацию о создании оружия или другие потенциально опасные запросы.

Перспективы развития

«Осознанное согласование» уже применяется в линейке моделей OpenAI серии «о». По мере развития технологий искусственного интеллекта вопросы безопасного обучения и этического использования становятся все более актуальными. Команда OpenAI подчеркивает необходимость приоритетного внимания к безопасности ИИ на всех этапах его развития, а не только после возникновения проблем.

Самые интересные и важные новости на нашем канале в Telegram

Сообщение OpenAI представила новый метод безопасного обучения ChatGPT о3 появились сначала на Hash Telegraph.