Оценка дополнительного результата

Программа исследований дополнительного результата

Полноценная оценка дополнительного результата требует сравнения наблюдаемой траектории участника с обоснованной контрфактической траекторией. Доступные агрегированные ряды позволяют описывать динамику и проверять согласованность документов. Они не показывают, что произошло бы с теми же людьми без поддержки. Поэтому предлагаемая программа направлена на получение причинных оценок, недоступных по одним агрегированным рядам. Выбор дизайна зависит от способа предоставления меры и структуры доступных индивидуальных данных. с. 95 исходного отчёта

В формализованном виде средний дополнительный результат для участников выражается через разность потенциальных исходов. Формула задаёт исследовательский вопрос, который требует отдельной идентификации на индивидуальных данных. [105] с. 96 исходного отчёта

Y(1) – потенциальный результат при участии в программе. Y(0) – результат для того же человека без участия. D = 1 обозначает участников. ATT – средний причинный эффект для участников при выполнении условий выбранного исследовательского дизайна. Агрегированные ряды проекта не позволяют идентифицировать эту величину. с. 96 исходного отчёта

Для обучения базовой единицей наблюдения должна быть когорта граждан, получивших право на участие в определённый период. Следует сохранять сведения о приглашённых, подавших заявление, начавших и завершивших программу. Даты обращения, начала обучения, выпуска и работы позволяют различать длительность ожидания, участие и последующий поиск. Исходные характеристики фиксируются до начала воздействия. Признаки, изменившиеся вследствие участия, не следует автоматически использовать для подбора контрольной группы, поскольку они могут быть частью самого механизма результата. с. 96 исходного отчёта

При ограниченной мощности программы и равной правовой доступности возможно оценивать дополнительное сопровождение посредством случайного распределения приглашений или очередности предложения услуги, если такой порядок правомерен и заранее установлен. Основная оценка должна относиться к первоначальному назначению предложения. Анализ фактического участия требует отдельного учёта добровольного отказа и выполнения условий идентификации. Участники сохраняют положенные меры поддержки. Исследовательский дизайн не должен становиться основанием для произвольного ограничения установленных прав. с. 96 исходного отчёта

При поэтапном расширении меры между территориями или организациями возможно применение методов «разность разностей». Необходимы наблюдения до начала вмешательства, отсутствие опережающего изменения поведения и обоснованная сопоставимость динамики групп. Для неодновременного начала программ следует оценивать эффекты по когорте внедрения и времени. Подход Б. Каллауэя и П. Сант’Анны позволяет работать с подобной структурой и неоднородными эффектами при соответствующих предпосылках. Наличие нескольких периодов само по себе не обеспечивает причинной интерпретации. [106] с. 97 исходного отчёта

Подбор сопоставимых участников по наблюдаемым характеристикам может уменьшить часть различий между получателями поддержки и контрольной группой. В состав исходных признаков целесообразно включать предыдущую занятость и заработок, длительность поиска, образование, возраст, территорию и профессиональную историю в пределах доступных правовых оснований. Сопоставление не устраняет различия мотивации и иных ненаблюдаемых обстоятельств автоматически. Необходимы диагностика общей области значений, анализ чувствительности и явное описание остающихся ограничений оценки. с. 97 исходного отчёта

Основные результаты целесообразно наблюдать через три, шесть, двенадцать и двадцать четыре месяца после завершения меры. Конкретные горизонты должны согласовываться с её назначением. Для обучения полезны суммарное число оплаченных месяцев и динамика заработка, включая период участия. Для субсидируемого найма особенно важна траектория после окончания выплаты. Для антикризисных мер оцениваются сохранение доходов, возвращение к обычному режиму труда и переход к устойчивой работе при учёте продолжающихся внешних ограничений. с. 97 исходного отчёта

Длительность поиска в когорте ранее незанятых следует анализировать с учётом правого цензурирования. Для граждан, у которых к концу доступного периода не зарегистрировано трудоустройство, фиксируются последняя дата надёжного наблюдения и причина его завершения. Прекращение получения услуги само по себе не исключает последующего трудоустройства и не должно автоматически прекращать отслеживание административных сведений о занятости. Продолжение образования, переезд и отказ от услуги регистрируются отдельно: эти события могут сочетаться с работой и не являются автоматически взаимоисключающими исходами. Правила определения даты трудоустройства и цензурирования задаются до анализа. При потере наблюдений необходимо оценить её связь с исходным статусом и другими характеристиками участников, показать состав выбывших и проверить чувствительность выводов к неслучайному выбытию. Среднее время поиска только среди трудоустроившихся не описывает опыт всей когорты. с. 98 исходного отчёта

Для оценки найма требуется дополнить индивидуальные данные сведениями работодателя. Увеличение числа получателей субсидии может сопровождаться заменой других работников или переносом найма во времени. В эксперименте Б. Крепона и соавторов по содействию трудоустройству во Франции были выявлены признаки вытеснения части других соискателей. Масштаб эффекта нельзя переносить на российские условия. Методический вывод состоит в необходимости наблюдать как участников, так и сопоставимых неучастников в пределах одного локального рынка труда. [107] с. 98 исходного отчёта

Исследование трудовой мобильности должно соединять данные территории выбытия и прибытия. Оцениваются исходная работа, изменение заработка с учётом стоимости проживания, устойчивость нового трудового отношения и повторные перемещения. Национальный дополнительный эффект требуется отличать от перераспределения кадров между регионами. Для локальной оценки важны изменение длительности незаполненных вакансий и возможности найма местных соискателей. Решение о масштабировании программы должно учитывать результат для работника и семьи вместе с эффектом для принимающего работодателя. с. 98 исходного отчёта

Оценка модернизации службы занятости должна отделять внедрение новой модели от одновременных изменений спроса на труд. Возможны сопоставление центров, переходящих к модели в разное время, и анализ разных групп клиентов внутри подразделения. Основные результаты – вероятность устойчивого трудоустройства, длительность маршрута, доступность услуги и качество взаимодействия. Организационные показатели следует использовать для объяснения механизма. Обязательна проверка изменения состава клиентов и способов регистрации событий, поскольку административная реформа способна изменить наблюдаемость без равного изменения реального поведения. с. 99 исходного отчёта

Для профессиональных коммуникаций перспективны повторные наблюдения одних и тех же групп аудитории и поэтапное распространение кампаний. Следует раздельно измерять осведомлённость, представления об условиях работы, профессиональные намерения и фактическое действие. Положительная оценка престижа представляет самостоятельный общественный результат, но её вклад в найм нуждается в дальнейшей проверке. Сопоставление охваченных и неохваченных аудиторий требует учёта самоотбора: заинтересованные люди чаще посещают ярмарки и профессиональные мероприятия. с. 99 исходного отчёта

Экономическая оценка должна сопоставлять полные расходы с дополнительными результатами, определёнными в исследовательском дизайне. В знаменателе могут использоваться дополнительные месяцы устойчивой занятости, прирост заработка или снижение продолжительности вынужденного перерыва. Выбор зависит от цели меры. Расходы включают организацию, сопровождение и последующее наблюдение, а не только прямую выплату. Показатель стоимости дополнительного результата должен сопровождаться интервалом неопределённости и отдельным описанием распределения выгод между группами, чтобы средняя эффективность не скрывала ухудшение доступности поддержки. с. 99 исходного отчёта

Для двоичного исхода, например устойчивой занятости в заранее определённый момент, стоимость дополнительного результата может рассчитываться следующим образом. с. 100 исходного отчёта

Cдоп – стоимость одного дополнительного результата. Cпрограмма – согласованные полные расходы на анализируемую когорту. N – численность участников, к которой относится оценка ATT. ATT выражается в долях единицы. Формула применима при положительном идентифицированном эффекте и требует оценки неопределённости. При нулевом, отрицательном либо неидентифицированном эффекте положительная оценка удельной результативности по этой формуле не устанавливается. с. 100 исходного отчёта

До начала анализа необходимо зафиксировать основные гипотезы, результаты, правила исключения наблюдений и порядок обработки пропусков. Следует проверять статистическую мощность с учётом ожидаемого эффекта, размера групп и кластеризации назначения меры. При малых группах требуется ограничить детализацию публикации, сохраняя возможность содержательной оценки. Отсутствие статистической значимости не равнозначно доказанному отсутствию эффекта. Итоговый вывод должен учитывать интервал оценки, полноту наблюдения, устойчивость результатов и соответствие механизма фактической реализации. с. 100 исходного отчёта