6.4 Тематическая специализация и TF–IDF

TF–IDF повышает вес термина, который заметен в определённом документе и относительно редко встречается в остальных документах корпуса. В расчёте использованы логарифмическое преобразование частоты, сглаженная обратная документная частота, словарь до 20 тысяч признаков и нормирование векторов по евклидовой длине. Это одна из форм векторного анализа текстов, которая помогает выделять отличительные формулировки, но не измеряет их общественную важность. [100] с. 94 исходного отчёта

wₜd = (1 + ln fₜd) × [1 + ln((N + 1)/(dfₜ + 1))] при fₜd > 0, иначе 0 (4)

В формуле f — число появлений термина в документе, N — число документов, df — количество документов, содержащих термин. Вес равен нулю для отсутствующего термина. После расчёта веса нормируются; в итоговом представлении учитываются как отдельные слова, так и сочетания из двух слов. Частотные реквизиты, общие почти для всех документов, ограничены правилом исключения терминов, присутствующих более чем в 98% документов. с. 95 исходного отчёта

cos(d₁, d₂) = (w₁ · w₂)/(‖w₁‖ × ‖w₂‖) (5)

Косинусное сходство сравнивает направление двух нормированных текстовых векторов. Коэффициент 0,30 не означает, что документы совпадают по смыслу на 30%. Значение зависит от состава корпуса, очистки, словаря и выбранных признаков. Оно пригодно для относительного сопоставления при фиксированной процедуре и требует проверки устойчивости при изменении обработки текста. с. 95 исходного отчёта

Рисунок 10 — Наиболее отличительные слова и словосочетания национального паспорта

Вес характеризует отличительность формулировки в фиксированном корпусе из 137 документов. Повторяющиеся организационные реквизиты и бюджетные таблицы исключены из текстового профиля.

Открыть иллюстрацию исходного отчёта [101] с. 96 исходного отчёта

Наиболее отличительные термины национального паспорта связаны с технологическими компаниями, производительностью, капитализацией и климатом. Это соответствует межотраслевой конструкции проекта: он соединяет предприятие, рынок капитала и условия долгосрочной устойчивости. Присутствие климатической лексики среди ведущих терминов не означает, что климатическое направление имеет сопоставимую финансовую долю. Текстовая выраженность и объём финансирования характеризуют разные измерения проекта. с. 96 исходного отчёта

Рисунок 11 — Тематическая специализация паспортов по словарным признакам

Показаны восемь тем с наибольшим числом совпадений в восьми паспортах. Пересечения между темами допустимы; значения не складываются до 100%. Отсутствие словарного совпадения не доказывает отсутствия соответствующего содержания.

Открыть иллюстрацию исходного отчёта [102] с. 97 исходного отчёта

По средневзвешенной частоте тематических маркеров в восьми паспортах предпринимательство и производство имеют значение 35,971 на тысячу слов, наука и инновации — 17,915, образование и молодёжь — 9,451, управление и оценка — 8,464, окружающая среда и климат — 6,348. Эти величины описывают выбранный словарь и состав текстов. Более низкая частота маркеров занятости не позволяет заключить, что проект не влияет на работников; она указывает на необходимость проверить, как кадровые и социальные последствия раскрыты содержательно. с. 97 исходного отчёта

Рисунок 12 — Лексическая близость национального и семи федеральных паспортов

Расчёт по очищенным формулировкам целей, задач, результатов и показателей. TF–IDF с униграммами и биграммами; коэффициенты не являются долями общего смысла или оценкой результативности.

Открыть иллюстрацию исходного отчёта [103] с. 98 исходного отчёта

Матрица близости восьми паспортов показывает, что общее экономическое направление не превращает их в однородный текст. Специализация отражает разные объекты управления: предприятие, инвестиционную процедуру, финансовый инструмент, товарный рынок и климатическую систему. Различия между профилями полезны при распределении ответственности. Согласованность должна достигаться через адресные переходы между инструментами, а не через искусственное выравнивание словарей и повторение одинаковых целей во всех документах. с. 98 исходного отчёта

6.5 Межпроектные связи и устойчивость выводов

Для межпроектного анализа усреднялись нормированные профили структурированных паспортов каждого проекта, после чего средний вектор нормировался повторно. Такой подход ограничивает прямое доминирование самого длинного документа. Профиль «Эффективной и конкурентной экономики» сопоставлен с профилями других проектов того же жанра; архивные материалы иной структуры рассматриваются отдельно и не используются для ранжирования на рисунке. с. 99 исходного отчёта

Рисунок 13 — Межпроектная лексическая близость и чувствительность к стеммингу

Сопоставлены средние нормированные профили структурированных паспортов десяти проектов. Архивный профиль «Семьи» исключён из рисунка из-за различия жанра. Стемминг сокращает слова до основы и не равнозначен лемматизации.

Открыть иллюстрацию исходного отчёта [104] с. 99 исходного отчёта

Наибольшая лексическая близость наблюдается с «Экономикой данных и цифровой трансформацией государства» — 0,3021, «Молодёжью и детьми» — 0,2437 и «Международной кооперацией и экспортом» — 0,1955. Следующие позиции занимают «Инфраструктура для жизни», «Туризм и гостеприимство» и «Кадры». Первые три соседних профиля сохраняются при русском стемминге. Устойчивость этого порядка подтверждает, что результат не определяется только отдельными окончаниями слов, но не превращает лексическую близость в доказательство взаимодействия программ. с. 99 исходного отчёта

Содержательно цифровое направление может дополнять инвестиции и изменение производственных процессов, а образовательное — подготовку кадров и технологическое предпринимательство. Экспортные меры создают возможность масштабирования продаж. Эти связи следует проверять по реальной траектории получателя: какое предприятие перешло от разработки к производству, какое использовало цифровой инструмент, кто получил доступ к внешнему рынку и как изменился его результат. Без такой проверки общая лексика остаётся тематическим сходством. с. 100 исходного отчёта

Межпроектное управление рекомендуется строить вокруг конкретных переходов. Для технологического бизнеса это переход от университетской команды к компании, от прототипа к заказу и от внутреннего рынка к экспорту. Для производительности — связь модернизации процесса с квалификацией персонала и цифровой системой. Для инвестиционного проекта — согласование финансирования с инфраструктурной готовностью территории и доступностью работников. В каждом переходе необходимы ответственная сторона, условие передачи, идентификатор объекта и показатель завершения. с. 100 исходного отчёта

Текстовые методы полезны для выявления неполных формулировок и потенциальных зон координации. Их предел состоит в отсутствии данных о фактическом поведении участников. Поэтому ни высокий TF–IDF, ни плотность графа, ни место в матрице сходства не служат самостоятельным основанием для перераспределения бюджетных средств. Такие решения должны опираться на сочетание содержания меры, финансовой стоимости, наблюдаемых результатов и обоснованной оценки дополнительности. с. 100 исходного отчёта