7.5 Дизайн оценки дополнительного эффекта
Для части мероприятий возможно заранее организовать сравнение последовательного внедрения. Если система вводится в нескольких сопоставимых учреждениях в разные сроки, данные до и после внедрения позволяют оценивать изменение относительно учреждений, ещё не перешедших на новую практику. Простейшая логика выражается разностью изменений между группой внедрения и группой сравнения. Метод требует содержательных предпосылок и не превращает любое сопоставление в причинное доказательство. [139] с. 109 исходного отчёта
В формуле Y — результат сопоставимого процесса, например трудозатраты на успешно завершённое обращение при установленном качестве; индекс 1 обозначает группу внедрения, 0 — группу сравнения. Ключевое условие — обоснованная сопоставимость динамики без вмешательства. При неодновременном внедрении необходимо учитывать время начала и неоднородность эффекта; простое объединение всех ранних и поздних участников может исказить результат. Проверяются предшествующие траектории, изменение состава, сопутствующие меры и влияние на контрольную группу. с. 110 исходного отчёта
Первый предлагаемый пилот — типовая государственная информационная система. Единица анализа — учреждение или однородный процесс. Исходные результаты — длительность, трудозатраты, повторные обращения и ошибки. Дата вмешательства определяется фактическим началом работы, а не подписанием соглашения. Отдельно учитываются обучение, интеграция и переходный период. Для итоговой оценки важны устойчивость результата через несколько месяцев и полная стоимость на завершённую операцию. с. 110 исходного отчёта
Второй пилот — поддержка первого внедрения отечественного программного решения. Единица анализа — сопоставимая организация или производственная функция. Проверяются доля полностью перенесённых операций, простои, стоимость сопровождения и использование прежней среды. Возможная группа сравнения формируется среди организаций со сходной готовностью и сроками, но без вмешательства в тот же период. Если отбор получателей существенно зависит от ненаблюдаемых факторов, вывод ограничивается описательным сравнением и не получает причинной интерпретации. с. 110 исходного отчёта
Третий пилот — кадровая программа. Наблюдаются вступившие в обучение, завершившие его и сопоставимые кандидаты, не начавшие обучение по причинам, которые можно документировать. Результат включает навыки, трудоустройство по профилю и удержание, а не только сертификат. Выбытие участников и отсутствие ответа при последующем опросе раскрываются. Для всех пилотов заранее фиксируются основные результаты, горизонт, правило включения в выборку и условия публикации, чтобы выбор удачного показателя после завершения не определял заключение. с. 110 исходного отчёта