«Говорим ли мы с нейросетями на одном языке?»

Последние год-два были ознаменованы выходом целого ряда больших трансформерных моделей: ChatGPT, GPT-4, YaGPT, Гигачат и других. Результаты их работы порой поразительны и, как утверждают разработчики, превосходят возможности человека. Они могут отвечать на самые разные вопросы, писать тексты в разных жанрах для решения разных задач. Еще раньше появились рекуррентные (RNN) и сверточные (CNN) нейросети, сети с долгой краткосрочной памятью (LSTM) и другие нейросетевые решения, которые вывели на прежде невиданный уровень решение стандартных задач по обработке естественного языка: автоматический перевод, автореферирование, перефразирование, извлечение структурированной информации из текста и т.д.
Нейросети обучаются подобно людям (а вернее - детям), усваивающим язык: "на вход" поступает определенное количество текстов, а результатом обучения становится способность порождать новые тексты. Однако есть ряд ключевых отличий между нейросетью и человеком. Прогресс в обучении нейросетей во многом связан с увеличением их вычислительной мощности, памяти и т.п., кроме того, трансформерные сети показали незаурядные результаты благодаря инструктивному обучению и обучению с учителем. Вычислительные мощности человека существенно уступают таковым у компьютеров, а дети при усвоении языка ничем специально не "учатся".
Главным вопросом, который мы затронем в докладе, будет вопрос о том, что получается "на выходе" обучения языку нейросетевых моделей и людей. Одинаковы ли у нейросетей и у людей представления о границах грамматики? Какие принципы управляют разворачиванием высказывания у нейросетей и людей? В чем сходства и отличия между нашими языками и сможем ли мы найти общий язык?