ChatGPT отвечает на вопросы, пишет сочинения и шутит. Внутри него нет ни словаря ответов, ни маленького человечка. Есть математика — удивительно простая по идее и гигантская по масштабу. Объясняем так, чтобы понял каждый.
Игра «угадай следующее слово»
Продолжите фразу: «Мама мыла…». Вы сказали «раму» — потому что видели эту фразу сотни раз. Именно в эту игру играет ChatGPT, только он «прочитал» невообразимо много текстов: книги, статьи, сайты, учебники. Его единственное умение — предсказывать следующее слово (точнее, кусочек слова — токен). Ответ на ваш вопрос — это тысячи таких предсказаний подряд, слово за словом.
Почему это работает так хорошо
Чтобы хорошо предсказывать слова, приходится «выучить» очень многое: грамматику (иначе не согласуешь слова), факты (после «столица Франции —» надо предсказать «Париж»), стиль (после «жили-были» идёт сказка), даже логику (в задачках предсказать ответ можно, только «умея» считать). Так из простой игры в слова выросли сложные умения.
Трансформер: внимание к каждому слову
Архитектура внутри называется трансформер. Её суть — механизм внимания: обрабатывая слово, модель «смотрит» на все остальные слова фразы и решает, какие из них важны. В фразе «Кот не влез в коробку, потому что она маленькая» модель понимает, что «она» — это коробка, а не кот. Из миллиардов таких связей складывается «понимание» текста.
Как его учили: два этапа
- Чтение мира. Модель месяцами предсказывает слова в гигантском корпусе текстов, ошибается и подстраивает свои параметры — сотни миллиардов «ручек настройки».
- Воспитание. Люди-разметчики показывают модели, какие ответы полезные и вежливые, а какие плохие. Модель учится быть помощником, а не просто продолжателем текста. Этот этап называется обучением с обратной связью от людей.
Откуда берутся «галлюцинации»
Модель всегда выдаёт правдоподобное продолжение — но правдоподобное не значит правдивое. Если фактов в её «памяти» нет, она сочинит похожие: несуществующую книгу, выдуманную дату. Она не врёт сознательно — она дописывает узор. Поэтому железное правило: факты из нейросети проверяем в надёжных источниках.
Запомнить главное
- ChatGPT = очень большой предсказатель следующего слова.
- Знания «вшиты» в параметры при обучении, а не ищутся в базе.
- Сила — язык и объяснения; слабость — точные факты и свежие события.
Понимая это устройство, вы автоматически пользуетесь нейросетью правильно: доверяете ей объяснения и тренировки, а факты — проверяете. Это и есть ИИ-грамотность, навык нового века.