Microsoft представила нейросеть Kosmos-1, которая объединяет различные режимы ввода – текст, аудио, изображения и видео, – и станет основой для создания универсального искусственного интеллекта. Исследователи назвали систему «мультимодальной моделью большого языка» (MLLM). Мультимодальная модель способна:

• анализировать изображения;
• решать визуальные головоломки;
• распознавать текст;
• проходить визуальные тесты на IQ с точностью 22-26%;
• понимать инструкции на естественном языке.

1-2 — визуальное объяснение, 3-4 — ответ на вопрос, 5 — ответ на вопрос веб-страницы, 6 — простое математическое уравнение, 7-8 — распознавание цифр

Microsoft обучила Kosmos-1 по данным из Интернета, в том числе выдержки из The Pile (текстовый ресурс на английском языке объемом 800 ГБ) и веб-архива Common Crawl.

После обучения исследователи оценили способности Kosmos-1 в нескольких тестах, а именно:

• понимание языка;
• генерация текста;
• классификация текста без оптического распознавания символов;
• генерация подписей к изображениям;
• визуальные ответы на вопросы;
• ответы на вопросы веб-страниц;
• классификация изображений.

Отмечается, что во многих из этих тестов Kosmos-1 превзошел современные модели.

Kosmos-1 также смогла правильно ответить на вопрос теста Raven только в 22% случаев (при более тонкой настройке — в 26% случаев).

1-2 — подписи к изображениям, 3-6 — ответы на визуальные запросы, 7-8 — распознавание текста на картинке, 9-11 — поддержание диалога.

Исследователи планируют увеличить размер модели, а также интегрировать голосовые возможности. Кроме того, Kosmos-1 скоро будет открыта для разработчиков.