Почему нам не все равно, что говорят политики и чиновники? Мы надеемся, что они придерживаются принципа "мое слово нерушимо", серьезно относятся к обещаниям и отвечают за сказанное.

Вот почему журналисты, политологи и общественность скрупулезно изучают каждое значимое выступление. Раньше в таком анализе присутствовала изрядная доля субъективности, а трактовки результатов разнились.

С развитием вычислительной техники появились новые методы контент-анализа (метод тематической модели, Wordscore, машинное обучение, технологии обработки больших данных), которые помогают более объективно оценить тексты. Действительно, сегодня исследователи могут анализировать большие объемы текстовой информации и системно определять их свойства.

Мы провели контент-анализ речей, с которыми президент Петр Порошенко выступал с марта 2015 по май 2016 года. На его официальном сайте мы выбрали все выступления на английском языке до 1 июня 2016-го. Дата первой речи — 16 марта 2015, последнего — 23 мая 2016 года.

Всего мы скачали тексты 30 выступлений. С 19 из этих речей (63%) Порошенко выступил перед журналистами и политиками других стран (например, во время зарубежных визитов), а 11 — перед украинской аудиторией (в частности, в парламенте).

Анализ преследовал несколько целей. Во-первых, мы хотели визуализировать облако слов и использовали метод латентного размещения Дирихле, чтобы выявить дополнительные или неявные темы. Во-вторых,

вычислив сходство между выступлениями за рубежом и в Украине, мы проверили, отличаются ли месседжи Порошенко для украинской и иностранной аудиторий.

В-третьих, мы использовали характеристики легкости чтения текстов, чтобы оценить, доступно ли президент излагает мысли перед публикой. Наконец, с помощью программы Wordfish мы определили политическую позицию президента.

Самый простой прием анализа текстов — визуальное отображение часто употребляемых слов в виде "облака".

На рисунке 1 — "языковые данные" с указанием 50 слов, которые президент использовал чаще всего. Слова определялись с помощью терм-документной матрицы.

Кроме того, мы использовали метод латентного размещения Дирихле (LDA) — статистическую модель, которая дает возможность трактовать результаты наблюдений с использованием неявных групп, объясняющих сходство между различными частями текста.

Например, модель LDA помогает выявить тему сотрудничества в гуманитарной сфере на основе вероятности использования слов "гуманитарный", "Украина", "важный", "канцлер", "Германия", "поддержка", "симпатизировать".

Мы выяснили, что эти слова определяют топ-5 неявных тем в речи 15 марта 2015-го. Кроме того, во всех выступлениях перед зарубежными и украинскими слушателями есть несколько отличий. Речи для соотечественников насчитывают в среднем 104 предложения, а для иностранной аудитории — 54.

Порошенко выступал и в Украине, и за рубежом. Чтобы проверить, есть ли сходство между этими выступлениями, мы использовали косинусный коэффициент — меру сходства значений или семантического наполнения текстов.

Если два выступления не схожи, то коэффициент равен углу 90° (то есть тексты "перпендикулярны"). Если сходство является полным, то угол равен 0° (то есть тексты полностью совпадают).

Значение между 0 и 90 означают частичное сходство или несхожесть. Например, косинусная мера сходства между словами "Украина" и "Украина" — 0°. Косинусное расстояние слова "русский" от "украинский" — всего 0,7°: это высочайшее сходство по сравнению с другими странами и регионами (ЕС, США и др.).

Мы определили, что косинусное расстояние между речами для украинской и зарубежной аудиторий — 0,823 из 90,0.

Это указывает на высокую степень сходства между ними. То есть президент последовательно доносит свои сообщения и до соотечественников, и до зарубежных слушателей.

Далее с помощью индекса легкости чтения Флеша-Кинкейда мы выяснили, насколько сложны тексты выступлений Порошенко. Этот индекс дает возможность определить уровень образования, необходимый для восприятия выступлений.

Высокое значение индекса указывает на плохую читабельность (то есть речь трудно понять): чтобы ее воспринять, нужен более высокий уровень образования, выраженный в годах. На рисунке 2 показано изменение индекса легкости чтения Флеша-Кинкейда (ось Y) для всех выступлений (ось X).

В целом речи оказались просты для понимания аудиторией с образованием от 10 до 16 лет (10 лет — среднее образование, 16 лет — высшее). Впрочем, легкость чтения выступлений Порошенко перед зарубежными журналистами и политиками хуже, чем перед украинцами. Это означает, что

выступая перед зарубежной аудиторией, украинский президент ориентируется на более образованных слушателей.

В целом наихудшая читабельность (индекс Флеша-Кинкейда – 16,86) — у текста выступления 25 апреля на 17-м саммите "Украина-ЕС". Речь от 17 июля 2015-го (президент обвинил пророссийских сепаратистов в том, что они сбили рейс MH17 "Малайзийских авиалиний") имеет самую высокую читабельность (индекс Флеша-Кинкейда – 9,34).

А теперь о ключевом различии внутренних и внешних выступлений Петра Порошенко. Такое различие найдено в идеологической окраске его речей.

Политический спектр обычно описывают как позиции в диапазоне от левого крыла до правого. По международной классификации коммунизм и социализм принято считать левыми убеждениями, консерватизм — правыми.

Wordfish — алгоритм ранжирования слов для определения политических позиций на основе частотности и текстовой информации. На рисунке 3 — оценка политической позиции Порошенко, исходя из анализа его выступлений для украинской и зарубежной аудиторий с помощью модели Wordfish.

На вертикальной оси указана шкала политических позиций от левого до правого крыла (от положительного до отрицательного значений). Ноль означает неопределенность позиции.

На горизонтальной оси отмечено время, когда президент выступал перед публикой. Как видим,

политическая позиция Порошенко имеет тенденцию к смещению влево, когда он выступает в Украине.

Зато в некоторых речах перед иностранными журналистами и политиками она, скорее, отходит вправо. Выступления, прозвучавшие в Украине 17 июля 2015-го и 30 октября 2015-го, смещаются в правую часть политического спектра. Первое было посвящено уничтожению рейса MH17; второе — выражению солидарности с Францией в связи с терактом.

Эти события давали президенту возможность занять консервативную позицию.

Речь перед украинцами 4 июня 2015-го — выражение крайне левой позиции.

На основе статистического анализа текстов выступлений Порошенко можно сделать несколько выводов.

Тексты написаны простым языком, понятным обычному слушателю. Однако выступления, адресованные зарубежной аудитории, более сложны. Это означает, что речи на международных конференциях или в качестве приглашенного оратора рассчитаны на аудиторию более высокого образовательного уровня.

Месседжи для украинской и зарубежной аудиторий схожи.

Впрочем, в выступлениях перед украинцами риторика Порошенко смещается в левую часть политического спектра, а перед зарубежными журналистами или политиками — чуть вправо, с некоторыми вариациями в динамике по времени. Разница в политических позициях связана также с определенными темами и ситуациями. Например, в экономических и социальных вопросах президент демонстрирует левые позиции, а во время обвинений в терактах они смещаются вправо.

Авторы:

Юрий Городниченко, профессор Калифорнийского университета в Беркли,

Александр Талавера, доцент Школы менеджмента при Шеффилдском университете,

Хаофен Сюй, сотрудник Шеффилдского университета

Статья подготовлена VoxUkraine для "Европейской правды"