Основы генеративного искусственного интеллекта

В 2023 году в России проводился расчет Индекса интеллектуальной зрелости отраслей экономики, секторов социальной сферы и системы государственного управления

• Проведен опрос более 4 000 отраслевых организаций
• Свыше 15 федеральных органов исполнительной власти выступили партнерами исследования
• Оценка проводилась по 33 показателям и 18 приоритетным отраслям.

Результаты опроса:

Согласно прогнозам, генеративный ИИ увеличит мировой валовой внутренний продукт (ВВП) на 7 триллионов долларов в течение следующих 10 лет (Goldman Sachs 2023). Генеративный ИИ можно
применять во всех сферах бизнеса, включая инжиниринг, маркетинг, обслуживание клиентов, финансы и продажи.

Подробные кейсы применения мы рассмотрим в отдельном уроке, давайте сейчас кратко расмотрим направления, где технология может быть полезна.

Давайте рассмотрим несколько существующих концепций, которые позволяют нейросетям давать реалистичные и содержательные ответы на запросы пользователей. Это позволит лучше понять, как создаются и обучаются модели генеративного ИИ.
Нажмите знак "+" рядом с разделом, чтобы увидеть примеры.

Фундаментальные модели (FM)
Генеративный ИИ базируется на обученных на огромных данных языковых моделях. Их называют базовыми моделями или фундаментальными моделями.
FM - это базовые нейросети, обученные предсказывать связи между словами и изображениями. Каждое слово и изображение при этом представлено в виде вектора чисел. Чем ближе векторы двух слов, тем теснее их связь.

Простой пример - предсказание следующих слов в предложении. Если есть слово «кот», модель на основе близости векторов слов предложит варианты типа «рыжий», «мурчит», «играет». Но никогда не предложит слово из совершенно другой области, допустим, «интегроконкатенация». Так FM учится устанавливать смысловые связи и анализировать контекст.

То есть благодаря векторному представлению слов и принципу предсказания наиболее похожих векторов, модели начинают как бы "понимать" общий контекст и смысл.
С их помощью, в отличие от традиционного подхода, можно адаптировать одну универсальную модель для решения разных задач вместо обучения отдельной модели для каждой задачи.

Большие языковые модели (LLM)
GPT, BERT, Gigachat и другие - это глобальные нейронные сети, которые способны генерировать тексты, описывать смысловые связи в языке. Они обучены на сверхшироких корпусах интернет-текстов, например, всей Википедии (более 20 млрд слов).
Они могут предсказывать следующее слово в тексте исходя из предыдущих слов и всего контекста, что позволяет им генерировать новые осмысленные тексты.

Обучение LLM и FM
Задача обучения моделей экстремально ресурсоёмкая. Требуются миллиарды текстовых и визуальных примеров, мощности суперкомпьютеров, месяцы расчётов. В результате оптимизируются сотни миллиардов весов-параметров модели так, чтобы она наилучшим образом предсказывала слова и изображения "на лету".

Давайте разберём этот процесс подробнее.
В основе лежат два ключевых этапа:

1. Предобучение фундаментальной модели. Это начальная тренировка на огромных датасетах для извлечения базовых знаний о мире и языке.
2. Дообучение (fine-tuning) - адаптация уже предобученной модели под конкретные задачи.

Например, создатели GPT-3 и DALL-E сначала предобучили универсальную текстовую и визуальную модель на миллиардах параметров текстов, картинок.
А затем эти базовые модели дообучались отдельно под генерацию текстов и под генерацию картинок по тексту. Так появились отдельные специализированные решения.

Почему важно дообучение? Если модель предобучена только на общих данных, она будет допускать логические ошибки в конкретных предметных областях.
А fine-tuning позволяет адаптировать уже извлечённые базовые знания под нужный случай применения - медицина, юриспруденция, кодирование и т.д.