Группа ученых продемонстрировала
новую атаку с использованием модели Text-to-SQL (модель преобразования текста в SQL) — автоматический перевод запроса пользователя, написанного на человеческом языке, в SQL-запрос.
» data-html=»true» data-original-title=»Text-to-SQL»>Text-to-SQL для создания вредоносного кода, которая может позволить злоумышленнику собирать конфиденциальную информацию и проводить Атака типа «отказ в обслуживании» (Denial of Service, DoS) — это атака, направленная на отключение машины или сети, делая их недоступными для пользователей. При DoS-атаках цель заливается трафиком или получает информацию, которая вызывает сбой в работе. В обоих случаях DoS-атака лишает легитимных пользователей (т.е. сотрудников, участников или владельцев учетных записей) услуги или ресурса, на которые они рассчитывали.
» data-html=»true» data-original-title=»DoS»>DoS-атаки.
По словам исследователей, чтобы лучше взаимодействовать с пользователями, приложения баз данных используют методы искусственного интеллекта, которые могут переводить человеческие запросы в SQL-запросы (модель Text-to-SQL).
Отправляя специальные запросы, взломщик может обмануть модели преобразования текста в SQL (Text-to-SQL) для создания вредоносного кода. Поскольку такой код автоматически выполняется в базе данных, это может привести к утечке данных и DoS-атакам.
Схема атаки
Выводы, которые были подтверждены двумя коммерческими решениями BAIDU-UNIT и AI2sql, знаменуют собой первый экспериментальный случай, когда модели обработки естественного языка (NLP) использовались в качестве вектора атаки.
Существует множество способов установки бэкдоров в предварительно обученные языковые модели (PLM) путем отравления обучающих выборок, таких как замена слов, разработка специальных подсказок и изменение стилей предложений. Атаки на 4 разные модели с открытым исходным кодом (BART-BASE, BART-LARGE, T5-BASE и T5-3B) с использованием вредоносных образов достигли 100% успеха с незначительным влиянием на производительность, что делает такие проблемы трудно обнаруживаемыми в реальном мире.
В качестве смягчения последствий эксперты предлагают включить классификаторы для проверки подозрительных строк во входных данных, оценки готовых моделей для предотвращения угроз цепочки поставок и соблюдения передовых методов разработки программного обеспечения.