Квазиэкспериментальные программы

Большинство исследовательских программ, используемых политологами, можно определить как квазиэкспериментальные. В этих исследованиях невозможно контролировать воздействие независимой переменной или условия, при которых оно происходит, однако исследователи пытаются имитировать экспериментальную программу, либо собирая дополнительные данные, либо используя методы анализа данных. Правильно составленные квазиэкспериментальные программы дают такую возможность, как если бы были использованы все контрольные характеристики настоящего эксперимента; они являются надежной логической основой для получения причинных выводов.

Возможно, наиболее простым типом квазиэкспериментальных программ в политологии является эксперимент ех post facto. В ходе этого эксперимента исследователи осуществляют одно наблюдение и собирают данные о независимой и зависимой переменных и обо всех других переменных, которые, по их мнению, следует контролировать. Если, например, мы хотим изучить воздействие высшего образования на поведение избирателей, мы можем провести исследование на случайно выбранных испытуемых. Затем мы анализируем наши данные, чтобы определить, действительно ли люди, сходные в других отношениях (например, сточки зрения расовой принадлежности, пола, возраста, места жительства), но имеющие разный уровень образования, голосуют по-разному. Для этого существуют более тонкие статистические методы, но проще всего рассортировать наших респондентов по таблицам взаимной сопряженности признаков, так чтобы можно было исследовать соотношение между образованием и участием в выборах в разных категориях [c.139] других переменных, рассматривая, например, только женщин или только мужчин, которые посещали или не посещали колледж.

Эта процедура позволяет нам поступать таким образом, как если бы мы, начав эксперимент много лет назад, распределили людей по экспериментальным группам, проанализировали, как воздействует на мотивы их голосования высшее образование (независимая переменная), а потом опять исследовали бы их, чтобы понять, как повлияло образование на их участие в выборах. Члены нашей выборки, не имеющие высшего образования, но в остальных отношениях похожие на тех, кто его имеет, выступают в качестве контрольной группы.Поскольку у нас не было предварительного теста, мы не можем быть уверены, что именно высшее образование явилось причиной всех наблюдаемых отличий в голосовании, но, использовав дополнительные данные, полученные в процессе исследования, мы можем исключить некоторые возможные конкурирующие гипотезы и рассчитывать, что случайное формирование выборки нейтрализует влияние переменных, которые мы не можем проконтролировать при анализе данных.

Бывают ситуации, когда мы не можем воспользоваться случайной выборкой и не можем подобрать сравнимые контрольные группы. Это происходит в том случае, если количество наших единиц анализа невелико или они уникальны с точки зрения многих релевантных аспектов. Примером может служить ситуация, когда городские власти хотят узнать результат воздействия административной реорганизации на стоимость муниципальных услуг. Чтобы ответить на этот вопрос, политологам следует использовать другую распространенную программу, известную как программа измерения временного ряда.

В программах измерения временного ряда исследователь делает несколько наблюдений как до, так и после введения некоторого каузального явления и сравнивает значения зависимой переменной до и после такого введения. В нашем примере политологи могли бы использовать городские архивы для сравнения стоимости муниципальных услуг на душу населения до и после административной реорганизации. (Им придется учитывать расходы на душу населения и следить за инфляцией, чтобы исключить возможность воздействия на эту стоимость увеличившегося населения города [c.140] или роста цен независимо от влияния реорганизации.) Рис.4.1,4.2,4.3 иллюстрируют некоторые возможные результаты такого исследования.

В некотором смысле программы измерения временного ряда используют в качестве контрольной группы один и тот же объект (или множество объектов), только на более раннем этапе. Если в динамике значений зависимой переменной до введения независимой переменной имеется некая отчетливая тенденция, мы считаем, что эта тенденция сохранилась бы, не будь независимой переменной; в качестве показателя воздействия независимой переменной мы используем различия между наблюдаемыми значениями зависимой переменной и теми значениями, которые она имела бы в случае сохранения тенденции.

Рис.4.1 иллюстрирует данное рассуждение. Если данные оказываются такими, как представлено на этом рисунке, городские власти с радостью обнаружат, что реорганизация не только уменьшила расходы служб, но также коренным образом изменила тенденцию в направлении устойчивого снижения расходов. Результат воздействия реорганизации в любом данном году может быть измерен в виде разницы между значением, предсказанным для [c.141] данного года на основе первоначальной тенденции, и наблюдаемым значением. Согласно рис.4.1, для 1995 г. результат воздействия реорганизации на расходы служб составляет 50 долларов. Если данные оказываются такими, как показывает рис.4.2, предсказываемые и наблюдаемые значения будут совпадать и можно будет считать, что реорганизация не оказала воздействия на расходы. Рис.4.3 иллюстрирует случай, когда реорганизация вначале уменьшила расходы, но не повлияла на тенденцию. В то время как рис.4.1 демонстрирует, что общий результат реорганизации за четыре года составил 325 долларов, рис.4.3 демонстрирует результат лишь в размере 25 долларов.

В некоторых случаях тенденция, с которой мы имеем дело, не так отчетлива и устойчива, как в данном примере. Пусть, например, городская полиция, озабоченная ростом количества арестов за проституцию, организует кампанию по борьбе с этим явлением и затем хочет узнать, насколько она была успешна. Рис.4.4 демонстрирует, какого рода данные могли быть собраны на протяжении десятилетнего периода. Значения зависимой переменной (аресты за проституцию) [c.142] в разные годы на протяжении указанного периода то возрастают, то уменьшаются. Задача исследователя – определить, есть ли существенное отличие между общей тенденцией, следующей за проведенной кампанией, и общей тенденцией, предшествующей проведению кампании. Один из способов решить эту задачу заключается в сравнении среднегодового количества арестов за проституцию в годы, предшествующие кампании и следующие после нее. (Среднее количество арестов в том и другом случаях равно в данном примере девяти.) Если мы будем считать, что без проведения кампании тенденция осталась бы прежней, то различие между двумя средними значениями можно использовать как показатель воздействия кампании на уровень арестов за проституцию. Другой способ – сравнить линии тенденций (представленные на рис.4.4 пунктирной линией), проходящие через разбросы значений зависимой переменной в период до кампании и после нее, чтобы определить, различаются ли общие тенденции.

Этот пример иллюстрирует одно из важных достоинств программ измерения временного ряда. Если мы отмечаем количество арестов только в 1994 и 1996 гг. (как в типичном [c.143] исследовании “до введения стимула – после введения стимула”), мы можем сделать вывод, что полицейская кампания уменьшила количество арестов за проституцию. Однако данные измерений временного ряда позволяют увидеть, что падение числа арестов с 1994 по 1996 г. – нормальная флуктуация относительно общей тенденции (представленной пунктирной линией), которая остается не затронутой полицейской акцией.

Помимо сильной стороны, программы измерения временных рядов имеют и свою слабую сторону. Во многих случаях у нас нет контрольной группы, и поэтому мы не можем с уверенностью сказать, каковы результаты воздействия независимой переменной, так как не знаем точно, каким было бы значение зависимой переменной в отсутствие независимой переменной; мы можем лишь предполагать, что исходная тенденция сохранится. Однако по многим причинам это может оказаться ошибкой. Одна из наиболее важных причин (в терминологии Д.Кэмпбелла и Дж.Стэнли) – регрессия к среднему⁷. Это явление ставит под сомнение валидность выводов, сделанных на основании многих исследовательских программ. [c.144]

В самом общем виде регрессия к среднему – это процесс, в ходе которого объекты исследования, имеющие в определенный момент крайние значения по зависимой переменной, при последующих измерениях естественным образом стремятся вернуться к значению по этой переменной, более близкому к среднему, вне зависимости от того, подвергались ли они воздействию некоторой гипотетической независимой переменной. Если такая регрессия к среднему происходит в момент исследования, то исследователь может ошибочно принять естественную регрессию за результат воздействия независимой переменной. Это может представлять собой особую проблему в тех случаях, когда объекты исследования подвергаются воздействию независимой переменной именно потому, что у них появляются необычные значения зависимой переменной.

В нашем последнем примере полиция провела кампанию из-за исключительно большого числа арестов за проституцию. Такое положение было отклонением от нормы для данного города, и оно могло бы исправиться само по себе, даже если бы полиция ничего не предпринимала. Чтобы исключить регрессию в качестве альтернативного объяснения, можно применить программу контролируемых временных рядов.

В программе контролируемых временных рядов мы собираем данные об объекте или множестве объектов, которые во всех существенных отношениях сходны с исследуемым объектом или группой объектов, но не подвергались воздействию независимой переменной; и этот объект или группа объектов используется в качестве контрольных при оценке результатов воздействия независимой переменной. В нашем примере можно выбрать один или несколько городов, очень похожих на тот, в котором проводилась кампания по борьбе с проституцией (притом что в этих городах политика в отношении проституции не менялась), и посмотреть количество арестов за те же самые годы. Рис.4.5 демонстрирует некоторые возможные результаты. Сравнивая исследуемый город (в котором проводилась кампания) с группой похожих городов, мы можем заметить, что в отличие от изменившейся тенденции динамики арестов за проституцию в обследуемом городе в период до 1995 г. среднее количество арестов в контрольных [c.145] городах резко возрастает. Это наводит на мысль, что, хотя кампания по борьбе с проституцией не смогла изменить тенденцию, характерную для обследуемого города, она, возможно, предотвратила воздействие тех событий, которые вызвали рост числа арестов в других городах, похожих на данный. В этом случае мы используем различие между показателями для обследуемого города в период после кампании и показателями для контрольных городов в том же году в качестве меры воздействия независимой переменной, исходя из предположения, что, если бы не действия полиции, ситуация в обследуемом городе складывалась бы так же, как и в остальных, похожих на него городах. Например, в 2000 г. воздействие кампании расценивалось как два ареста на тысячу жителей.

В данном примере применение более строгой программы исследований уберегло бы нас от явно [c.146] неверного вывода, что программа, послужившая в качестве эффективного сдерживающего средства, не оказала никакого влияния. [c.147]