ctrl_alt_it
Почему нейросеть пишет ответ по словам
Она правда не знает ответ целиком заранее. Разбираем, что внутри.
Шаг 1. Токены
Текст режется на кусочки слов, и каждый кусочек превращается в номер из словаря модели.
Шаг 2. Эмбеддинги
Каждый номер становится вектором из тысяч чисел. Слова с похожим смыслом оказываются рядом: «кот» ближе к «кошке», чем к «трактору».
Шаг 3. Внимание
Каждый токен смотрит на все остальные и решает, какие из них важны. Так модель отличает «ключ от двери» от «скрипичного ключа».
Шаг 4. Следующий токен
На выходе модель выдаёт вероятности для следующего кусочка текста, выбирает один, дописывает его к контексту — и повторяет всё заново. Поэтому ответ и появляется постепенно.
Вывод
Нейросеть не достаёт готовый ответ из памяти, а предсказывает его кусочек за кусочком.