Предложения об оценке дополнительного эффекта сформулированы как исследовательские протоколы. Экспертиза не приписывает национальному проекту изменения, которые могли возникнуть под влиянием общеэкономической конъюнктуры, денежно-кредитных условий, налоговых изменений, изменения состава предприятий или других программ. Такое разграничение позволяет сформулировать проверяемые управленческие решения и избежать переоценки как успехов, так и отклонений. с. 14 исходного отчёта
7.4 Проверка дополнительного эффекта отдельных мер
Для наиболее масштабных инструментов рекомендуется заранее утверждать протокол оценки. В нём определяются объект поддержки, начало воздействия, первичный результат, период наблюдения, допустимая сравнительная группа и правила учёта одновременных мер. Такой протокол связывает управленческий вопрос с доступными данными. Например, для льготного инвестиционного кредита вопрос может состоять в том, увеличилась ли вероятность реализации проекта и его реальный масштаб, а не только в том, сколько средств было выдано. с. 105 исходного отчёта
При поэтапном включении предприятий или организаций возможен анализ изменений у получателей относительно сопоставимых единиц, которые ещё не начали участие. В простейшем двухпериодном случае сравниваются разности результатов до и после воздействия. При неодинаковых датах начала необходимо использовать методы, учитывающие группы времени вступления и неоднородность эффектов; обычное объединение всех участников в одну группу способно исказить оценку. [105] с. 105 исходного отчёта
В формуле группа 1 получает поддержку, группа 0 служит сравнительной; черта обозначает среднее значение результата. Эта запись описывает принцип оценки, а не рассчитанный в экспертизе эффект. Для причинной интерпретации необходимы обоснование сопоставимости трендов до поддержки, отсутствие заранее возникшего эффекта, проверка изменения состава групп и учёт связанных вмешательств. Наблюдения за один период после начала программы не обеспечивают такой проверки. с. 106 исходного отчёта
Для программ с количественным порогом отбора может быть полезно сравнение предприятий вблизи порога, если правила применяются последовательно и получатели не могут свободно манипулировать критерием. Такой дизайн оценивает локальный эффект для близких к порогу предприятий и не переносится автоматически на весь сектор. Для мероприятий, распределяемых по территориальному графику, целесообразно заранее сохранить основания очередности, поскольку они могут быть связаны с будущими результатами. с. 106 исходного отчёта
Оценка производственных практик должна связывать локальные измерения с отчётностью предприятия. Первичный результат можно определить как изменение трудоёмкости сопоставимой годной продукции; дополнительные — брак, время цикла, реальная добавленная стоимость и условия труда. Для социальных организаций первичный результат формулируется вместе с ограничением качества и доступности. Это предотвращает ситуацию, когда формально успешный проект переносит затраты на другой участок процесса или на получателя услуги. с. 106 исходного отчёта
Для гарантий, грантов и технологической поддержки необходимо наблюдать не только успешные случаи. Оценка портфеля включает прекращённые проекты, отказы, просрочку, взыскание и изменение условий. В технологическом предпринимательстве раннее прекращение слабой разработки может снижать будущие затраты; это отличается от утраты средств после масштабирования неподтверждённой технологии. Поэтому показатели отбора, сопровождения и конечной отдачи должны иметь собственные временные горизонты. с. 106 исходного отчёта
Результаты оценок рекомендуется использовать для изменения условий программ: критериев отбора, сочетания финансовой и нефинансовой помощи, продолжительности сопровождения и требований к промежуточным результатам. Масштабирование оправдано при устойчивом эффекте и приемлемой полной стоимости. Неопределённость должна раскрываться диапазоном оценки и описанием применимости, а не заменяться точным числом без достаточного основания. с. 107 исходного отчёта