Ошибка измерения

В результате измерения разным объектам приписываются различные значения на основе оценок, заданных нашими показателями. Дифференциация в оценках может возникать за счет двух основных источников. Первый источник – это величина реального проявления у объектов определенной степени или аспекта интересующего нас свойства. Разные оценки возникают тогда, когда наши измерения действительно улавливают эту дифференциацию. В этом случае измерения отражают реальные различия между понятиями. Другой источник дифференциации значений – та величина, которая относится к самому измерению или к условиям его осуществления, что предопределяет наличие разных значений у разных объектов. В этой ситуации наши измерения не демонстрируют реальных различий между объектами, т. е. таких, которые отражают подлинную дифференциацию понятий, которые мы хотим измерять. Наблюдаемые нами в этом случае различия возникают из-за погрешностей в процедуре измерения.

Если бы наши измерения были совершенны, они бы демонстрировали только различия первого рода. Однако наши измерения крайне редко (если вообще когда-либо) бывают безупречными. Дифференциация значений, приписываемых разным объектам, неизбежно отражает не только реальные различия в степени проявления некоторого понятия, но и “искусственные” различия, обусловленные процессом измерения. Любая дифференциация значений, приписанных реальным объектам, обусловленная чем бы то ни было, кроме действительных различий, относится к ошибкам измерения. Они представляют собой не действительные различия между объектами, а различия, зарегистрированные ошибочно, из-за недочетов процесса измерения.

Грань между истинными вариациями оценок и вариациями, обусловленными ошибкой измерения, подобна различиям между объектами, фиксируемыми невооруженным глазом, и различиями, отмечаемыми лишь при [c.94] разглядывании их отражения в зеркале. В той степени, в какой зеркало искажает образы, оно либо скрадывает различия, которые можно было бы увидеть невооруженным глазом, либо создает впечатление существования различий, которые мы в других условиях не заметили бы. В социальных науках у нас крайне редко появляется возможность наблюдать ключевые понятия непосредственно, и мы вынуждены полагаться на отражение этих понятий с помощью измерительных процедур, аналогичных зеркалу. Соответственно, правильность наших представлений зависит от точности, с которой наши измерения отражают действительность.

Каковы хотя бы некоторые из источников искажения образов, обусловленных нашими измерениями? Необходимо знать ответ на этот вопрос, если хотим контролировать ошибки измерения или распознавать их, когда они присутствуют в наших данных. Мы можем перечислить несколько основных источников ошибок измерения, установив наиболее частые источники различий в оценках, относимых к другим, неистинным различиям в характеристиках, которые мы хотим измерить⁵.

1. Различия в распределении между объектами других, относительно постоянных характеристик, которые были непреднамеренно выявлены нашими измерениями. Например, для понимания вопросов, предназначенных для измерения политической идеологии, и ответа на них может понадобиться определенный уровень интеллекта. Если это так, ответы на вопросы будут отражать не только политико-идеологические, но и интеллектуальные различия между людьми. В окончательном результате влияние интеллекта и влияние политической идеологии будут перемешаны, и мы не сможем определить различия в оценках, обусловленные идеологическими факторами, и отличить их от различий, обусловленных интеллектуальными факторами. Аналогичным образом другие характеристики наших единиц анализа (такие, как региональное расположение городов, культурные особенности нации или источники документов) могут случайно отразиться в наших измерениях и исказить наше восприятие рассматриваемых понятий. Там, где эти “возмущающие” воздействия можно выявить и измерить, необходимо посмотреть, что произойдет, если поддерживать их значения на постоянном [c.95] уровне: исчезнут, уменьшатся или увеличатся различия в оценках, которые получают объекты по нашим измерениям⁶.

2. Различия в распределении между объектами временных характеристик, которые отражаются в наших измерениях. Характер ответов на вопросы анкеты может определяться настроением или состоянием здоровья отвечающего. Недавние события в политической жизни города (например, раскрытие случаев коррупции среди должностных лиц) могут создавать временные, но систематическиеразличия в том, как жители этих городов отвечают на вопросы исследования. Большое стихийное бедствие может произвести коренные и вместе с тем временные изменения в статистических данных, на которые мы опираемся при выяснении уровня экономического развития. Обнаруживать и контролировать воздействие таких временных “аномалий” труднее, чем воздействие постоянных характеристик объектов. Единственный способ уберечься от воздействий такого рода – это внимательно относиться к сигналам, предупреждающим о том, что отдельные объекты находятся под влиянием таких преходящих факторов (например, изучать недавние события в политической жизни городов, входящих в нашу выборку, или советовать интервьюерам не проводить интервью с человеком, который в данный момент тяжело болен), и выполнять процедуры, предназначенные для проверки надежности измерений (такие процедуры описываются в разделе данной главы, посвященном надежности).

3. Различия, проявляющиеся при интерпретации измерительного инструмента разными людьми. Это проблема возникает лишь в том случае, когда люди прямо отвечают на вопросы, а не тогда, когда исследователь осуществляет измерения, наблюдая за поведением. Если вопросы сформулированы неоднозначно, то и респонденты дадут им разные интерпретации, которые могут привести к различиям в оценках по измерениям, составленным на основании этих вопросов. Предположим, например, что, изучая поведение на выборах, мы несколько легкомысленно задали вопрос: “Вы принимали участие в последних выборах?” Если кто-либо из интервьюируемых не знает, что на прошлой неделе проводились муниципальные выборы, он может ответить да, так как думает, что вопрос относится к [c.96] последним общенациональным выборам, хотя он и не принимал участия в выборах, которые подразумевались в наших вопросах. Обезопасить себя от этих непредвиденных различий в оценках наших измерений можно с помощью предварительных вопросов (см. гл. 6) и проверки измерений на надежность.

4. Различия в условиях проведения измерения. Этот источник ошибок измерения также находится главным образом в исследованиях, результаты которых измеряются с помощью ответов на вопросы. Например, в ходе выборочного исследования надежно установлено, что на характер ответов могут оказывать влияние раса, пол и возраст интервьюера. Ответы (а следовательно, и оценки на шкалах) могут варьироваться от интервью к интервью в зависимости от характеристик самого интервьюера. Сходные проблемы могут возникнуть не только в ходе выборочного исследования. Например, мы можем ошибочно осуществить контент-анализ передачи последних известий, предназначенных для внутреннего вещания, и передачи последних известий, предназначенных для зарубежного вещания. Мы в таком случае будем применять один и тот же инструмент в совершенно разных условиях и на основе одного этого факта вправе ожидать появления различий в оценках. Избежать ошибки измерения такого рода можно одним способом – прилагать все усилия к тому, чтобы ситуации, в которых осуществляются измерения, были стандартизованы.

5. Различия в процессе применения измерительных инструментов. Приписываемые объектам оценки могут различаться в результате разнообразных ошибок, возникающих при сборе и записи информации. Интервьюеры могут неверно понять инструкции и задавать вопросы не так, как предполагал исследователь. Плохое освещение может оказаться причиной того, что респондент неправильно отметит пункты анкеты. В самый ответственный момент карандаш может сломаться, а в авторучке кончиться чернила, так что наблюдатели не сумеют зафиксировать ключевые для группового взаимодействия события. Из-за усталости кодировщик может изменить или проигнорировать инструкции по кодированию единиц в контент-анализе. Все эти типы отклонений в процессе применения измерительных инструментов приводят к [c.97] различиям в оценках вне зависимости от каких бы то ни было различий в реальных значениях исследуемой переменной. Основной способ борьбы с ошибками измерения (помимо привлечения к работе надежных ассистентов) – предварительная проверка инструментов измерения. Пробный прогон поможет вскрыть потенциальные “технические” проблемы, возникающие при применении данного инструмента (такие, как недостаток места в кодовой форме для записи типовых ответов), и человеческие факторы, которые могут сказаться на результатах (например, время, в течение которого наблюдатели могут работать не утомляясь).

6. Различия в обработке и анализе данных. Прежде чем информация может быть проанализирована, она должна подвергнуться тщательной обработке. Часто информация по нескольку раз меняет форму. Например, интервьюеры могут зафиксировать ответы на вопрос, записав каждое слово, сказанное интервьюируемым. Впоследствии, при кодировке ответов, эти письменные фрагменты могут сокращаться, превращаясь в одну-единственную цифру. Эта цифра может быть зафиксирована в битах магнитного диска или магнитной ленты. На каждом из этих этапов анализ данных становится все проще, однако с каждым следующим этапом увеличивается возможность ошибок, в результате которых объекты начинают различаться по некоторой переменной, в то время как на самом деле они не различаются. Возможность таких ошибок приводит к необходимости дважды и трижды проверять данные при каждом преобразовании и сохранять исходную форму для последующей проверки.

7. Различия в характере реакции индивидуумов на форму измерительных инструментов. Эта проблема приобретает важное значение тогда, когда объектами анализа являются люди. Измерительные инструменты могут выступать в самых разнообразных формах – это и устные интервью, и анкеты, которые должен заполнить опрашиваемый, и наблюдение подготовленного исследователя. Различные формы предъявляют к людям – объектам исследования разные требования. Интервью, к примеру, требует умения свободно говорить, анкета – читать и писать. Если люди различаются с точки зрения этих способностей, их оценки могут различаться даже тогда, когда люди [c.98] в действительности сходны по той переменной, которая операционализируется. Лучший способ избежать ошибок измерения такого типа – использовать более чем одну форму измерения для операционализации каждого понятия. Мы еще поговорим об этом в разделе данной главы, посвященном валидности.

Все эти факторы могут привести к проникновению в исследование ошибки измерения. Различные ошибки, происходящие из семи перечисленных источников, обычно подразделяются на систематические и случайные.Систематические ошибки – это ошибки, которые возникают из-за путаницы переменных в реальном мире (см. п. 1) или из-за особенностей самого инструмента. Они появляются каждый раз, когда используется данный инструмент, и постоянно сопутствуют объектам и исследованиям, в которых используется одно и то же измерение. Постоянные ошибки делают наши результаты невалидными в том смысле, что различия (или сходства), которые, как представляется, выявляют наши измерения, не есть точные отражения различий, которые мы, по нашему мнению, измеряем. Случайные ошибки проявляются по-разному и обусловлены преходящими характеристиками объектов, ситуационными различиями в применении инструмента, ошибками в проведении измерения и обработке данных и другими факторами. Они делают наши измерения невалидными почти так же, как и систематические ошибки. Кроме того, случайные ошибки делают наши измерения ненадежными в том смысле, что проявление случайных ошибок не дает возможности постоянно получать одни и те же результаты при использовании одного и того же измерения.

Как же избежать столь разрушительного воздействия на наши результаты ошибок измерения, которое превращает наше исследование в бесполезное или ошибочное? Чтобы ответить на этот вопрос, необходимо внимательно обсудить проблемы валидности и надежности. [c.99]