Смысл без понимания смысла

Гипотеза Сепира-Уорфа говорит простую вещь: язык определяет способ мышления. Структура языка влияет на то, как человек воспринимает и категоризирует мир.

Это легко проверить не в лаборатории, а в рекламе. Для разных стран снимают разные ролики, и разница между европейским и японским роликом — не в бюджете. Достаточно вспомнить, что читают там в другом направлении, и уже понятно, что имеешь дело с другим складом ума и другим отношением к вещам. Между близкими культурами разница тоже есть, просто её тяжелее заметить.

Если язык определяет мышление, то верно и обратное движение: по речевым паттернам можно реконструировать структуру мышления. Не прочитать мысли — а увидеть, как они устроены.

Что меня удивило

Дальше начинается часть, которая для разработчика с профильным образованием, наверное, банальна.

Я впервые в жизни столкнулся с тем, что смысл текста переводят в однонаправленный математический вектор в системе координат. Само по себе это уже странно: смысл — и вдруг координаты.

Но круче оказалось применение. Сравнивая углы или евклидово расстояние между векторами, можно понимать смысловую близость текстов без понимания самого смысла. То есть без семантического анализа и без всех вычислений, которых он требует.

Для филолога это переворот. Всё образование учит, что близость смыслов устанавливается через разбор: морфология, синтаксис, контекст, коннотация. А здесь близость получается как побочный эффект геометрии. Модель не знает, о чём текст. Она знает, что вот эти два вектора смотрят примерно в одну сторону.

Почему это не просто трюк

Есть соблазн сказать «ну это же просто статистика» и закрыть тему. Но посмотрите, что из этого следует практически.

Речь несёт больше одного слоя информации. Основная функция — передача смысла, и её мы осознаём. Но вместе с ней говорящий передаёт то, чего не выбирал: какие глаголы использует, через какие метафоры описывает происходящее, какая у него модальность — «надо», «хочу», «придётся», «получится».

Этим занимаются психолингвистика и нарративная психология. Есть исследования, где по языку предсказывают депрессию, личностные черты, политические взгляды, стиль мышления — например, с помощью Linguistic Inquiry and Word Count, который разбирает тексты по сотням категорий.

Эмбеддинги добавляют к этому то, чего раньше не было: возможность работать не с отдельной фразой, а с массивом в тысячи фрагментов, и находить в нём сходство там, где нет ни одного общего слова.

Важное ограничение

Язык показывает не всё мышление, а только ту его часть, которую человек вербализовал.

Многое остаётся интуитивным, образным, невербальным — и в текст не попадает вообще. Чем больше человек проговаривает, тем чётче картина; но «чётче» не значит «полностью». Это не придирка, а граница метода: любой вывод из текстового корпуса — вывод о вербализованном слое, и путать его с человеком целиком нельзя.

Всё, что я делаю дальше — граф мышления, когнитивная реконструкция — стоит на этом основании и на этом же ограничении.