Надежность

Когда мы говорим о валидности измерения, нас интересует, насколько точно значения, получаемые с помощью этого измерения, соответствуют истинным значениям измеряемой переменной. Когда мы говорим о надежностиизмерения, нас интересует устойчивость получаемых с его помощью значений. Можем ли мы, применяя измерение несколько раз, получить для любого данного объекта одно и то же значение или же в результате разных подходов одним и тем же объектам приписываются разные значения? Если при неоднократном применении некоторого измерения один и тот же объект не получает одного и того же значения, это измерение является ненадежным показателем соответствующего понятия. Чтобы гарантировать надежность линеек, их изготавливают из нерастяжимого материала. Если бы линейки изготовляли из растяжимых материалов, они вполне могли бы [c.110] показывать разную длину одного и того же объекта (даже в том случае, если его длина на самом деле не изменилась) просто потому, что линейка растягивается и сжимается.

Если измерение ненадежно, оно не может быть валидным, поскольку по крайней мере некоторые различия в оценках, приписанных объектам, обусловлены ошибками измерения, а не истинными различиями между объектами. Вспомним наш пример с исследованием уличного освещения. Что, если используемый нами световой счетчик окажется настолько чувствительным, что будет фиксировать не только свет от уличных фонарей, но и лунный свет? Тогда значения переменной качество уличного освещения для каждой улицы будут зависеть как от яркости уличных фонарей, так и от случайных факторов, таких, как фазы луны и характера облачности. В той степени, в которой эти случайные факторы влияют на наши результаты, измерение оказывается невалидным отражением действительных различий в качестве уличного освещения. В этом случае ненадежность обусловливает невалидность.

Измерение может быть вполне надежным и все-таки невалидным. Вспомним приводившееся в качестве примера исследование того, в какой степени люди в разных государствах одобряют политику своего правительства. Мы говорили, что вопросы, задаваемые в ходе обследования, могут привести к невалидным измерениям, поскольку в авторитарных странах люди боятся говорить правду о том, что они думают. Так как данный фактор обусловливает скорее систематическую, чем случайную ошибку, вопросы могли бы давать весьма устойчивые результаты. Вне зависимости от того, сколько раз их спрашивают, люди могли бы отвечать одно и то же. Это, однако, не делает измерение валидным.

Таким образом, измерение может быть надежным, не будучи валидным, но не может быть валидным, не будучи надежным. В то время как валидность уязвима и со стороны систематической, и со стороны случайной ошибки, надежность подвергается опасности лишь со стороны последней. Это означает, что, если в предшествующих исследованиях измерение было убедительно валидизировано, мы можем использовать его, не беспокоясь о его надежности: [c.111] если измерение валидно, оно должно быть надежно. Однако, продемонстрировав надежность, мы не гарантируем валидность.

Как застраховаться от ненадежности? Как определить, надежно ли данное измерение? Чтобы предотвратить угрозу ненадежности, необходимо знать о различных источниках случайных ошибок измерения, описанных нами в данной главе, и делать все возможное для установления контроля над ними. Следует, в частности, продумывать реальный процесс измерения и проводить предварительное тестирование инструментов измерения для выявления ранее неизвестных причин случайных ошибок.

В социальных науках часто бывает довольно сложно определить, надежно ли предлагаемое нами измерение. Это происходит потому, что истинное значение переменных, с которыми мы имеем дело, может коренным образом изменяться с течением времени и под давлением обстоятельств: люди меняют свое мнение под влиянием опыта; государства начинают по-иному распределять ресурсы между социальными службами и ведомствами оборонного характера в ответ на возникновение военной угрозы и т. п. Когда реальные значения так или иначе изменяются, трудно бывает отличить результаты воздействия случайных ошибок измерения от действительных колебаний в рамках измеряемых понятий. Это означает, что тесты на надежность следует проводить через максимально короткие промежутки времени.

В социальных науках имеется три типа методов установления надежности измерений. Первый – это метод неоднократного тестирования. В этом случае одно и то же измерение снова и снова применяется в отношении одного и того же набора объектов. Если объекты всякий раз получают одну и ту же оценку, измерение считается надежным. Трудности с данным методом возникают в том случае, когда измерение связано с интервьюированием людей (в отличие от измерения характеристик неодушевленных объектов или осуществления скрытого наблюдения за людьми). Если мы повторяем вопросы через короткий промежуток времени, интервьюируемые могут помнить данные ими ранее ответы и, стараясь быть последовательными, будут повторять эти ответы, вместо того чтобы правдиво отвечать на поставленный вопрос. Если возникает [c.112] такая ситуация, мы оказываемся не в состоянии правильно оценить надежность вопросов как показателя для данного понятия. Пытаясь избежать такого тест-эффекта, мы могли бы приступить к повторному опросу лишь по прошествии значительного промежутка времени. Однако в этом случае мы столкнемся с другой проблемой: с течением времени истинные значения переменной могли измениться, и мы можем оказаться не в состоянии отличить изменения в оценках, возникающие из-за ненадежности измерения, от действительных изменений переменной.

Указанная проблема привела к созданию другого теста на надежность – метода альтернативной формы. В соответствии с этим методом в один и тот же момент разные формы измерения применяются к одной и той же группе объектов либо одно и то же измерение применяется к разным группам объектов. В этом случае тест-эффект невозможен, поскольку ни один объект не измеряется более одного раза, а так как измерения не отделены друг от друга никакими временными интервалами, на результатах измерений не могут сказаться реальные изменения исследуемых переменных. Однако успех этой стратегии зависит от того, насколько хорошо сопоставимы друг с другом альтернативные формы измерения как измерения данного понятия, и от того, действительно ли две группы эквивалентны с точки зрения дистрибуции измеряемой переменной. Если у нас есть основания полагать, что эти условия выполняются, то, чем более близки оценки по двум измерениям или по двум группам, тем более мы можем быть уверены в надежности измерения. Однако если в нашем распоряжении нет сравнимых измерений или групп, мы не можем использовать данный метод должным образом.

Наконец, последний способ тестирования надежности измерения известен под названием метода подвыборки. Этот метод заключается в том, что, сформировав выборку из объектов, мы делим ее на несколько подвыборок таким образом, чтобы все они были похожи друг на друга. Затем мы применяем одно и то же измерение ко всем подвыборкам и используем сходство или различие результатов для подвыборок как показатель надежности измерения. Поскольку мы используем одно и то же измерение, у нас нет [c.113] необходимости заботиться о сопоставимости, как в случае метода альтернативной формы; а так как для обеспечения эквивалентности подвыборок мы можем опираться на теорию выборки, нам не приходится беспокоиться о том, что выбранные для измерения группы окажутся недостаточно однородными. Так как ни один объект не измеряется дважды, мы можем не считать тест-эффект угрожающим точности нашего теста на надежность; а поскольку [c.114] измерения осуществляются одновременно, реальные изменения переменной не могут иметь значения для данного метода, как это происходит в случае метода неоднократного тестирования. Однако возможность использования метода подвыборки определяется тем, в состоянии ли мы получить такую большую выборку, что, разделив ее на части, мы будем располагать подвыборками, достаточными для того, чтобы применяемые нами статистические тесты были осмысленными. Это не всегда возможно и может послужить препятствием для использования метода подвыборки при проверке надежности.

Для интерпретации результатов каждого из этих тестов на надежность имеется множество статистических процедур⁸.

У описанных методов много разновидностей. Какой из вариантов в наибольшей степени подойдет для данного исследовательского проекта, будет зависеть от того, каким временем и возможностями располагает исследователь, а также от характера исследования. Например, если мы хотим измерить уличное освещениена основании оценки освещенности разных кварталов, сделанной обученными наблюдателями, мы можем спокойно воспользоваться методом неоднократного тестирования, не думая ни о каком тест-эффекте. Уличное освещение не будет изменяться просто потому, что его кто-то измеряет, и поэтому можно позволить разным наблюдателям независимо друг от друга оценивать одну и ту же улицу в одну и ту же ночь. Мы не сможем в такой же степени доверять этому методу, если наше измерение качества уличного освещения будет основываться на ответах, данных самими жителями на вопросы интервью.

Вне зависимости от того, какой тест на надежность мы предпочли использовать, надежность измерений важно установить до того, как будет начато исследование. Это требует предварительного тестирования измерения посредством сбора данных, предназначенных исключительно для оценки инструментов, которые будут использоваться в самом исследовании. Если нам не удастся это сделать, то может оказаться, что наши измерения ключевых переменных ненадежны (и поэтому невалидны), и выясниться это может лишь после того, как исследование завершено. А это означает, что мы не сможем доверять [c.115] результатам исследования и что наши усилия были полностью или частично потрачены впустую. Предварительное тестирование солидности и надежности измерения должно быть составной частью любого исследовательского проекта, если в нем используются измерения, которые не были где-нибудь убедительно валидизированы, или если этот проект полагается на измерения, которые были валидизированы только в условиях, очень сильно отличающихся от тех, в которых они будут использоваться. [c.116]