Подготовка инструментария

Какую бы схему опроса мы ни избрали, нам в любом случае нужно будет разработать серию вопросов, используемых в качестве рабочего средства для получения [c.190] необходимых измерений. Эта процедура представляет собой продолжение процесса операционализации понятий, начатого на этапе концептуализации; целью ее является разработка инструментария опроса, т.е. либо анкеты, которую респондент заполняет самостоятельно, либо бланка интервью, который заполняется интервьюером в ходе проведения интервью.

При разработке инструментария исследователю следует обращать внимание на: (а) содержание, (б) тип, (в) форму, (г) словесную формулировку и (д) порядок вопросов. Содержание вопроса обусловливается общей исследовательской проблемой или гипотезой и в свою очередь определяет ту информацию, которая может быть получена из ответа. Что нужно знать, чтобы подтвердить гипотезу, и какие вопросы нужно задать, чтобы получить необходимую информацию? Очень важно уметь ясно себе представлять одновременно и то, какую информацию мы желаем получить в ответ на каждый вопрос анкеты, и то, как эта информация будет использована при анализе данных, что нового она внесет в наши знания об объекте исследования.

Почти о любом предмете можно задать массу самых разных вопросов, однако для того, чтобы респондент был в состоянии заполнить анкету, она должна быть относительно короткой. Очные интервью, как правило, должны длиться не более 45 минут, а телефонные – не дольше 20 мин. Анкета, пересылаемая по почте, вообще не должна превышать четырех страниц. Стремление к краткости, однако, не должно преобладать над необходимостью формулировать вопросы так, чтобы исключить конкурирующие гипотезы, которые могут возникнуть при анализе данных. Для решения этой проблемы можно посоветовать следовать двум общим правилам. Во-первых, число гипотез или исследовательских вопросов, изучаемых посредством опроса, должно быть сведено к минимуму; это позволит ограничить число переменных, по которым необходимо получить информацию. Во-вторых, отбирая вопросы, отсеивайте те из них, роль которых в предстоящем анализе данных вам заранее неясна.

Опросы обычно включают в себя как вопросы, специфические для данного исследования, так и вопросы общего, “фонового” характера, предназначенные для измерения тех параметров, которые – как это бывает ясно из данных предыдущих исследований – непосредственно [c.191] связаны с различительными признаками изучаемого типа политического поведения. Общие вопросы включаются в анкету для того, чтобы исключить конкурирующие гипотезы, относящиеся к таким “фоновым” параметрам, и чтобы уточнить наше понимание существующих зависимостей, проследив за тем, как они различаются в разных демографических группах. Практически в любой опросный инструментарий включаются (или по меньшей мере рассматриваются на предмет включения) вопросы, касающиеся следующих параметров:

Тип вопроса определяется тем, имеет ли он открытый или закрытый набор возможных ответов. На вопрос с открытыми возможностями для ответа, или открытый вопрос (open-ended question), респондент волен отвечать своими словами; никакие варианты ответа извне ему не навязываются. Пример такого рода вопроса: “Какая проблема, по Вашему мнению, будет в этом году самой важной на местных выборах?” У подобных вопросов то преимущество, что они позволяют обнаружитьнепредвиденные повороты в ответах респондентов. Кроме того, они помогают избежать искажения информации, возникающего зачастую за счет наличия недоговоренности или тенденциозности в вариантах ответов, заранее подобранных исследователем. Однако у вопроса с открытыми возможностями для ответа есть и свои недостатки. Дело в том, что он сильно затрудняет сравнение ответов между собой, поскольку каждый респондент при ответе может исходить из своей уникальной, отличной от остальных “системы координат”. Кроме того,такие вопросы могут приводить к пустым или бестолковым ответам, к ответам не по существу или просто длинным, сложным для анализа.

Отвечая на вопрос с закрытым набором возможных ответов, или закрытый вопрос (closed-ended question), респондент [c.192] вынужден выбирать ответ из ограниченного числа предлагаемых в анкете вариантов. Вопросы этого типа легко поддаются сравнению и дальнейшей обработке, они исключают возможность появления не относящихся к делу ответов. Пример вопроса с закрытым набором возможных ответов: “Кем Вы себя считаете: (1) консерватором, (2) умеренным, (3) либералом?” Варианты ответов должны быть в совокупности исчерпывающими (т. е. они должны включать все ответы, какие только можно предугадать) и взаимоисключающими (т. е. на каждый вопрос должно допускаться не более одного варианта ответа). Кроме того, респонденту следует предоставить возможность отражать в ответе степень своей оценки в тех случаях, когда это является значимым. Такой вопрос, как, например: “Некоторые считают, что клиники, в которых производятся аборты женщинам из неимущих слоев, должны содержаться за счет федерального правительства. Согласны ли Вы с таким мнением?” – предполагает более широкий набор потенциальных ответов, чем просто “согласен” и “не согласен”. Спектр возможных оценок, наверно, лучше отразит ряд типа “полностью согласен”, “согласен”, “отношусь нейтрально”, “не согласен”, “совершенно не согласен” и “не знаю”.

Даже тогда, когда вопрос с закрытым набором возможных ответов построен хорошо, не исключен риск того, что подобранные исследователем варианты ответов могут повлиять на ответ респондента, а это явно нежелательно. Например, вопрос, подобный следующему: “Какая из приводимых ниже проблем, стоящих сегодня перед США, является, по Вашему мнению, самой важной?” – сам по себе уже подразумевает невозможное, а именно: будто исследователь в состоянии перечислить на выбор все мыслимые проблемы; тем самым использование в данном случае закрытого набора вариантов ответов может помешать обнаружить какую-то непредвиденную нами точку зрения. Выбор между двумя вышеописанными типами вопросов должен осуществляться с учетом как доступных нам средств обработки данных (“открытые” вопросы требуют более сложной обработки), так и теоретических и эмпирических знаний о предмете (“закрытые” вопросы требуют лучшей осведомленности о предмете).

Форма вопроса относится к способу его презентации. Помимо наиболее обычной формы: “устный (письменный) вопрос – устный (письменный) ответ”, – существует [c.193] целый ряд других способов, помогающих респонденту понять, о чем его спрашивают, и сделать сознательный выбор при ответе. Многие способы связаны с использованием наглядных пособий, таких, как схемы, фотографии, карточки с надписями и рисунками. Один из примеров – “термометр ощущений”, разработанный в Опросном научно-исследовательском центре Мичиганского университета. Респонденту предъявляют карточку с изображением “термометра ощущений” (см. рис.6.1) и просят оценить, какие ощущения – “горячие” или “холодные” – у него вызывает тот или иной объект (например, демократическая партия или мэр города, где он проживает), указывая на соответствующее показание “термометра”. Такое наглядное пособие помогает респонденту упорядочить большее число возможных вариантов (например, всех кандидатов на пост президента страны), чем он это мог бы сделать в уме. Процедура состоит в том, что исследователь просто спрашивает мнение респондента отдельно по [c.194] каждому варианту, а затем сравнивает показания “термометра”. Вообще, чем более сложные умственные операции требуются от респондента, тем полезнее могут оказаться наглядные пособия и другие варианты вопросно-ответной формы.

Рис. 6.1. “Термометр ощущений” как пример наглядного пособия

Решающим фактором успеха всего опроса является правильная словесная формулировка вопросов. Ведь если вы не сумеете точно сформулировать интересующий вас вопрос, то и полученный вами ответ не будет соответствовать тому роду данных, которые нужны для проверки вашей гипотезы. Если вопросы задаются таким образом, что они поощряют одни ответы в ущерб другим, то и результаты опроса будут отражать не столько реальный мир, сколько выбор, внушенный самой структурой вопроса. Конечно, в разных исследовательских проектах и вопросы предполагаются разные, но, несмотря на это, мы можем предложить несколько общих правил составления пунктов опроса, способных обеспечить надежные и достоверные результаты. (Более подробно правила формулирования вопросов излагаются в гл.7.)

Во-первых, во всех случаях, когда это не наносит урон содержанию исследования, старайтесь включать те вопросы и понятия, которые были успешно использованы в предыдущих исследованиях. В настоящее время в политологии существует целый ряд хорошо разработанных и всесторонне опробованных в плане их надежности (валидности) стандартизованных мер понятий (measure of concept) из числа часто применяемых на практике⁷. Использование их в опросе избавляет исследователя от необходимости разрабатывать какие-то новые меры; кроме того, это позволяет сравнивать результаты разных исследовательских проектов.

Во-вторых, прежде чем включать какой-то вопрос в опросный лист, проверьте, могут ли вообще данные респонденты располагать информацией, необходимой для ответа на него. Не спрашивайте респондента о том, чего он заведомо не испытал или не знает, а если возникает сомнение в компетентности респондента, то для ее проверки можно воспользоваться пробными вопросами. В порядке пробы респондента сначала выясняют его уровень знания предмета, а затем просят выразить свое мнение об этом предмете или высказать суждение о нем. Например, можно [c.195] спросить: “Скажите, пожалуйста, какова позиция кандидата Смита по вопросу о торговле с ЮАР?” – и, если респондент ответит правильно, задать следующий вопрос:“Вы согласны с такой позицией?” Такой прием позволяет удостовериться в том, что респондент не будет говорить о том, чего онне знает, например из нежелания признаться в своем незнании.

В-третьих, зачастую полезнее, чем вопросы, могут оказаться утверждения о предмете. При этом исследователь обыкновенно просит респондента сказать, в какой степени он согласен или не согласен с серией утверждений, подобранных так, чтобы отразить различные точки зрения по интересующему исследователя предмету. Такая форма имеет ряд преимуществ по сравнению с просто вопросами. С одной стороны, она предоставляет исследователю простое средство измеренияинтенсивности оценок в тех случаях, когда это важно. С другой стороны, она помогает добиться того, чтобы все респонденты в своих ответах исходили из одной “системы координат”, что увеличивает надежность и достоверность измерений. Кроме того, утверждения на различные темы могут быть перемешаны так, чтобы респондент не догадался, к чему в конечном счете клонит исследователь. Если, к примеру, целью опроса является определить степень согласованности декларируемых респондентами взглядов на гражданские свободы сих терпимостью или нетерпимостью по отношению к отклоняющимся от нормы социальным группам, то серия вопросов, последовательно вытекающих друг из друга, может побудить респондента увидеть неувязки в своих ответах и устранить их, невзирая на то, каково его мнение в действительности. Вместе с тем серия утверждений, выявляющих ту же самую зависимость, но перемежающихся утверждениями на другие темы, не дает разглядеть очевидной закономерности и легко сбивает с толку чересчур догадливого респондента. Наконец, утверждения по сравнению с вопросами легче использовать при построении сложных мер отношений, называемых шкалами или индексами (см. гл.8).

В-четвертых, используя утверждения вместо вопросов, помните, что респонденты имеют обыкновение соглашаться с утверждениями исследователя независимо от своей собственной точки зрения. Эта закономерность называется [c.196]ответной тенденцией (response set), и в тех пунктах опроса, в которых она не учтена, проявляется сдвиг в сторону ответной тенденции (response set bias). Этот феномен легко заметить, если пытаться измерить степень политического консерватизма сначала с помощью шести утверждений, с которыми консервативно настроенные лица по идее должны согласиться, а затем снова с помощью других шести утверждений, с которыми эти лица, скорее всего, не согласятся. Первое измерение почти наверняка “покажет” значительно больший процент консерваторов, чем второе, вне зависимости от реального числа консерваторов в выборке. Пункты опроса следует перемешивать между собой так, чтобы иногда ожидалось согласие, а иногда несогласие с той или иной точкой зрения или отношением.

В-пятых, измерение переменной с помощью одного-единственного пункта опроса может вызвать смещение в результатах. Например, если для измерения степени недовольства населения мерами по устранению расовой сегрегации в школах руководствоваться только ответами на один-единственный вопрос: “Вы одобряете совместную перевозку школьников на автобусах, невзирая на расовую принадлежность?”– то в результате можно переоценить степень общественной оппозиции ввиду того, что респонденты лишены в этом вопросе возможности рассмотреть все те аргументы “за” и “против”, которые в реальной ситуации, возможно, смягчили бы их позицию⁸. Для измерения отношений, которые могут служить основанием для действий в целом, более предпочтительно использовать сразу несколько пунктов опроса и формировать индекс или шкалу (как это показано в гл.8).

Помимо составления отдельных пунктов опроса, исследователь должен подумать и об организации опросного инструментария в целом. Добротные анкеты и бланки интервью обычно состоят из четырех основных частей: вводной части, нескольких вопросов для разминки, основных вопросов и биографических вопросов. (В случае очного интервью имеет место также предварительная часть, во время которой интервьюер выясняет, соответствует ли респондент требованиям данной выборки, и получает его согласие на проведение интервью. Мы еще вернемся к этому в гл.7 при разговоре о подготовке интервьюеров.) [c.197]

Во вводной части респонденту разъясняются задачи исследования, так чтобы убедить его в важности опроса и в том, что опрос заслуживает того, чтобы потратить на него время. Зачастую это удается сделать посредством апелляции к какой-нибудь высокой цели или к общепризнанному авторитету. Если у опроса имеется влиятельный спонсор, то желаемый эффект может произвести фраза типа: “Государственный отдел по трудоустройству поручил нам...” или “Мы проводим опрос для института социологических исследований...”. Объясняя задачу исследования, важно стараться избегать специальных терминов, не употребляющихся респондентами в повседневном общении. Например, было бы неразумно обращаться к респондентусо словами: “Мы проводим исследование связей между массами и элитой с целью определения, в какой степени формальные механизмы представительства являются ширмой для социального контроля со стороны политической элиты”, – даже если это высказывание отражает реальную цель исследования. Правильнее было бы сказать иначе: “Мы хотим выяснить, какие у вас – и у таких людей, как вы, – имеются контакты с выборными представителями власти, и мы надеемся, что результаты этого исследования помогут улучшить работу нашего правительства”. Не рекомендуется лгать респондентам, но вместе с тем во вводной части нельзя раскрывать ту информацию, которая может привести к искажениям в ответах. Если респонденту сообщить, что объектом исследования являются расовые предрассудки, то он будет давать иные ответы, чем если ему сказать, что исследование касается просто отношений между гражданами или какой-нибудь другой нейтральной темы.

Вводная часть может помочь интервьюеру установить хороший контакт с респондентом, а также развеять возможные опасения последнего относительно того, не служит ли опрос прикрытием для каких-либо неблаговидных целей.

Разминочные вопросы тоже помогают достичь непринужденности в общении с респондентом. Это беспристрастные, нейтральные вопросы, задающиеся с целью завязать беседу. Для разминки хорошо бывает спросить респондента о том, давно ли он живет в данной местности, или о том, какие наиболее актуальные проблемы стоят, по его мнению, перед страной или перед его округом. Однако каждый вопрос, [c.198] отобранный в качестве разминочного, должен быть релевантен для данного исследования и должен играть свою определенную роль в анализе, иначе он пропадет втуне. Поэтому разминочные вопросы не выискивают специально, а отбирают из числа основных вопросов.

Основные вопросы составляют ядро опросного инструментария. Порядок пунктов внутри этой группы определяется главным образом необходимостью придерживаться логического хода опроса. Порядок вопросов отнюдь не всегда неважен. Случается, что исследователь хочет задать один и тотже вопрос несколькими способами. При этом различные модификации этого вопроса не должны занимать смежные места в опросе, чтобы респондент не счел их избыточными. Подобным же образом если некоторое явление нуждается в том, чтобы о нем были заданы как общие, так и частные вопросы, то сначала лучше задать общий вопрос, чтобы получить ответ, не обусловленный рядом частных уточнений. Кроме того, вопросы с открытыми возможностями для ответа имеет смысл помещать перед вопросами с закрытым набором возможных ответов, касающимися той же темы, чтобы варианты ответов, предлагаемые в вопросах “закрытого” типа, не могли искажающе повлиять на ответы на вопросы “открытого” типа. Если есть основание полагать, что порядок вопросов будет влиять на ответы, то проверить это можно в ходе предварительного тестирования.

Биографические вопросы имеют целью получение фактических данных о респонденте; иные из них подчас считаются сугубо личными. Эти вопросы обычно помещаются в конец опроса, чтобы у респондента не возникло раньше времени впечатления, что исследователь сует нос не в свое дело, – это может помешать опросу. Хотя люди, как правило, довольно охотно сообщают сведения о своем доходе или семейном положении, получение адекватных ответов на биографические вопросы требует аккуратных словесных формулировок.

Помещение биографических вопросов в конец опроса имеет еще то дополнительное преимущество, что скучные вопросы, с какими людям обычно приходиться сталкиваться при заполнении всякого рода бланков, откладываются на потом, а сначала задаются интересные вопросы, и, таким образом, респондент не успевает сразу заскучать. [c.199] Это особенно важно при самостоятельном заполнении анкеты респондентом, потому что ряд шаблонных вопросов в самом начале, ассоциируясь с выполнением какой-то нудной работы, может отбить у респондента охоту заполнять анкету, тогда как вопросы, касающиеся важных проблем, могут, наоборот, возбудить его интерес к заполнению анкеты.

После того как мы разработали основные детали инструментария, нам надо принять решение, как лучше разместить их на бумаге. Это то, что определяет формат инструментария. Эрл Бэбби утверждает: “Формат анкеты, может быть, не менее важен, чем содержание и формулировка вопросов. Неправильная подача текста в анкете может привести к тому, что респонденты станут пропускать вопросы, неверно их понимать и даже в крайнем случае могут бросить заполнять анкету”⁹. Не менее важным может оказаться и формат бланка интервью. Плохо составленный бланк сбивает с толку интервьюера, заставляет его перескакивать через вопросы, неаккуратно фиксировать ответы и в итоге отталкивает респондента неуклюжим ведением интервью. Мы можем предложить несколько правил расположения анкеты или бланка интервью на бумаге.

Первое правило заключается в том, чтобы не скучивать на листе пункты опроса. Трудно переоценить урон, который может нанести опросу чересчур тесное расположение текста на странице. Во избежание ошибок на каждой странице опросного инструмента оставляйте как можно больше свободного места. В случае бланка интервью эта мера облегчит для интервьюера следование инструкции и фиксирование ответов. В случае самостоятельно заполняемой анкеты это поможет респонденту правильно прочитать и отметить нужные пункты, а кроме того, создаст у него впечатление, что заполнить анкету нетрудно. Уж лучше пусть анкета содержит много листов с несколькими пунктами опроса на каждом из них, чем несколько листов со многими пунктами опроса на каждом. Общее количество страниц в меньшей степени значимо, чем четкое расположение текста на каждой из них, однако нельзя не считаться и с тем эмпирическим фактом, что на заполнение 10 правильно составленных страниц опросного инструмента уходит примерно 30 минут, а это как раз то время, в течение [c.200] которого исследователю обычно удается задерживать внимание респондента.

При расположении материала на бланке интервью исследователь должен одновременно учитывать нужды интервьюера, кодировщика (который будет считывать информацию с заполненного листа) и тех, кто будет заниматься подготовкой этой информации для машинной обработки. Один из основных вопросов, встающих при этом, – пользоваться ли предварительно закодированным инструментом. Детально кодирование информации обсуждается в гл.12. В основе своей это операция придания числовых символов ответам, записанным в словесной форме. В предварительно закодированном опросном инструменте каждому ответу уже приписан свой числовой символ, чего нет в предварительно не закодированном инструменте. На рис.6.2 в качестве примера представлена часть предварительно закодированного бланка интервью. Мелкие цифры рядом с закодированными ответами обозначают ту колонку перфокарты, в которую должен быть внесен код. Стрелки указывают оператору, вводящему данные в компьютер, на необходимость перехода к другой строке или новому полю для ввода данных. [c.201]

Рис. 6.2. Отрывок предварительно закодированного бланка интервью (пример вымышленный, по сравнению с реальным опросом вопросы несколько упрощены) [c.202]

Предварительное кодирование инструмента имеет два преимущества. Во-первых, оно в состоянии ускорить процесс интервьюирования, облегчая для интервьюера задачу фиксирования ответов. В большинстве случаев интервьюеру проще обвести в кружок или выписать числовой символ, обозначающий ответ, чем выписывать сам ответ. Это также способствует снижению числа ошибок при считывании и интерпретации заполненного бланка интервью. Во-вторых, предварительное кодирование позволяет оператору работать прямо с опросным инструментом после его заполнения; при этом из обработки устраняется лишняя процедура, связанная с переносом информации с опросного инструмента на какой-то другой носитель, приспособленный для ввода данных в машину.

Хотя существует много разных способов расположения материала на листе предварительно закодированного инструмента, тем не менее важно, чтобы все ответы были по возможности сосредоточены на одной стороне листа, так чтобы респонденты не обращали внимания на те цифры и стрелки, которые их не касаются. [c.201]

Один из самых важных моментов, который следует учитывать при предварительном кодировании, – это то, каким способом отождествить все листы и перфокарты, содержащие ответы одного и того же респондента. Как правило, каждому респонденту приписывается свой номер, отличный от остальных, и этот номер проставляется [c.203] в первых нескольких колонках всех перфокарт, содержащих данные опроса этого респондента. Номер также должен быть записан на каждой странице бланка интервью или анкеты, чтобы обработанные данные можно было сверять с необработанными. В том случае, если на респондента приходится две и более перфокарты, в последней колонке каждой из них указывается, которая это карта из числа всех, относящихся к данному респонденту.

Составление предварительной инструкции, обеспечивающей точное и упорядоченное заполнение опросного инструмента, – одно из самых трудных дел при подготовке инструментария. Интервьюер имеет возможность хорошо подготовиться и фактически выучить наизусть весь бланк интервью, да и то в сложных случаях ему без инструкции не обойтись. У респондента, самостоятельно заполняющего анкету, нет и такой возможности, потому что анкету он видит впервые. На рис.6.3 показан один из способов, помогающих респонденту ориентироваться в вопросах. Каждому ответу здесь приписан свой номер. Согласно инструкции, респондент должен обвести кружком номер, соответствующий его ответу, и далее оператор сможет прямо с листа ввести этот номер в машину. Стрелки указывают респонденту, в какой последовательности двигаться от вопроса к вопросу. [c.204]

Рис. 6.3. Отрывок почтовой анкеты (пример вымышленный)