Некоторые проблемы, возникающие в ходе контент-анализа

Хотя контент-анализ представляет собой относительно недорогой метод, опирающийся на доступные базы данных, и хотя при его проведении мы не рискуем столкнуться со сложностями и весьма специфическими этическими проблемами (кроме тех случаев, когда анализу подвергается конфиденциальная или засекреченная информация), нам все же надо проявлять определенную внимательность, чтобы избежать кое-каких трудностей, заключенных в этом методе.

Прежде всего необходимо учитывать, что сообщения публикуются и соответствующим образом составляются не просто так, а с какой-то определенной целью – с целью то ли информирования, то ли описания, то ли призыва, предписания, самозащиты или даже с целью дезинформации. Поэтому при анализе сообщений мы должны стараться интерпретировать их содержание не иначе, как в контексте их очевидных целей. Например, часто в китайской прессе можно встретить утверждения типа: “Весь китайский народ верит, что новая сельскохозяйственная политика является главным (коренным) шагом вперед на [c.285] пути к прогрессу и социальной революции”. Рассматриваемые по сути, они представляют собой очевидную демонстративную ложь, поскольку не может каждый из миллионов и миллионов человек осознавать какую-то одну установку (в данном случае мы не берем во внимание ее достоинства). С этой точки зрения мы бы должны были склониться к рассмотрению этих утверждений как наиболее вульгарной формы пропаганды. Однако из опыта изучения китайской прессы видно, что утверждения такого типа публикуются совсем не с целью чисто внешней иностранной пропаганды, но более всего предназначены для внушения самим китайцам веры в то, что их правительство хочет, чтобы они были сильными. Другими словами, такие утверждения о единодушии носят не описательный, но директивный характер. Знание этого позволит интерпретировать их скорее как удачный индикатор политических интересов китайских лидеров, нежели как бессмысленную и пустую пропаганду, и мы можем использовать их с некоторой выгодой для себя. Таким образом, цель, с которой информация вводится в оборот, сама по себе может рассмотрена как важный для понимания сути контекст, который мы должны попытаться по возможности вытащить.

Сходным образом и характер распространения того или иного сообщения может неявно выражать многое в его значении. Предвыборная листовка, распространяемая по списку адресов избирателей, является примером сообщений с ограниченной или особой сферой распространения. Даже общедоступная газета может иметь ограниченный или особый круг читателей. У “Нью-Йорк таймс”, например, читательская аудитория состоит из более состоятельных и образованных людей, чем у “Нью-Йорк дейли ньюс”, притом что обе газеты легкодоступны для всех. Журнал “Уолл-стрит джорнэл” можно купить везде в США, но круг его читателей охватывает далеко не все социально-экономические группы населения. Следовательно, если мы должны дать адекватную оценку значимости некоторого сообщения, нам зачастую надо при этом знать, кому оно адресуется и как распространяется. Опираясь то ли на чье-то индивидуальное мнение (например, на мнение хорошо осведомленных лиц), то ли на наведение справок, когда мы пытаемся узнать у отправителей сообщения список его получателей, толи на самоочевидные свидетельства, когда к документу прилагается список [c.286] всех ознакомившихся с ним лиц, иногда с их личными подписями, то ли на опрос читательской аудитории (типа тех, которые обычно проводят газеты, чтобы документально обосновать свои претензии по доставке), мы должны постараться измерить или оценить круг распространения сообщения. Эта информация позволит нам судить о значимости и о важности анализируемого нами материала.

Мы должны постараться правильно оценить степень доступности интересующих нас сообщений. Обеспечена ли нам возможность свободного отбора материалов для анализа? Доступны ли нам все материалы в неискаженном виде или же нам навязан некий контроль извне? Имеем ли мы доступ, например, только к рассекреченным документам (к газетам, издаваемым в расчете на иностранных читателей; к стенограммам только официальных заседаний правительственных комиссий)? Здесь мы имеем дело с проблемой обобщаемости результатов: вопрос в том, насколько репрезентативна исследуемая совокупность сообщений, не говоря уже о выборке из нее. Если совокупность непредставительна, то исследователь при отсутствии у него должной бдительности может быть, самое малое, введен в заблуждение, а то и хуже: может стать объектом сознательной манипуляции.

В каждом из этих случаев основная сложность заключается в том, что информация, необходимая для адекватной оценки, может быть нам просто недоступна. Мы можем не знать и не иметь возможности уточнить цели сообщений, сферу их распространения и реальную степень своего доступа к ним. За этим скрываются весьма многообразные опасности, и контент-аналитик должен быть наготове, чтобы вовремя с ними справиться. Нельзя строить свои оценки на первом впечатлении; напротив, надо сохранять здоровый скептицизм в отношении имеющихся данных, до тех пор пока не будут получены ответы на все обсуждавшиеся выше вопросы. Сказанное, конечное, не означает, что в условиях неопределенности проведение контент-анализа исключается; оно значит только, что, приступив к анализу, исследователь не должен забывать об этой неопределенности.

Наконец, следует сказать несколько слов онадежности интеркодирования. За исключением полностью компьютеризованных контент-аналитических процедур (существует [c.287] целый ряд программ, специально разработанных в расчете на составление словарей ключевых слов, а также на поиск в тексте и числовую обработку последних), контент-анализ целиком опирается на суждения совершенно определенного человека о содержании сообщения. В конце концов, информация сама себя не анализирует. Она изучается, обрабатывается, обсчитывается и классифицируется человеком в лице конкретного исследователя. При этом разные исследователи могут расходиться между собой в понимании данного сообщения. Однако измерения могут считаться достаточно надежными лишь тогда, когда относительноих содержания между исследователями достигнут определенный уровень консенсуса. Надежность интеркодирования – термин, используемый в политологии для описания степени такого консенсуса. Чем она выше, тем лучше. Повысить надежность интеркодирования можно с помощью следующих правил:

1. К операционализации любой переменной следует подходить с осторожностью и тщательностью. Удостоверьтесь в том, что все значения сформулированы ясно и по возможности недвусмысленно. На деле такая мера поможет формированию общих критериев оценки, которые можно будет последовательно использовать при классификации и измерении содержания.

2. Используйте услуги как можно большего числа наблюдателей (кодировщиков). Чем больше людей участвует в достижении консенсуса, тем он более значим. Конечно, это может привести к сильному увеличению объема работы (а в случае если наблюдатели плохо подготовлены, то и к риску увеличения ошибки измерения), но и отдача от этой меры может быть очень велика. Ограничивающим фактором здесь обычно выступает нехватка денежных средств.

3. Всячески способствуйте тому, чтобы наблюдатели как можно больше взаимодействовали между собой. Проводите совместные практические занятия с обязательным обсуждением всех нюансов в интерпретации данных; это приведет к достижению консенсуса не только в отношении самих данных, но и в отношении истинных значений операциональных определений.

Успех вышеприведенных мер может быть численно оценен двумя разными способами, связанными со [c.288] статистическими понятиями, которые мы подробнее обсудим в гл. 16. Один из этих способов, применяющийся главным образом в содержательном контент-анализе, состоит в том, что все наблюдатели, задействованные в данном проекте, независимо друг от друга анализируют и кодируют одно и то же сообщение (т.е. приписывают ему свои собственные числовые оценки), после чего вычисляется коэффициент корреляции (r Пирсона) кодов, выданных каждыми двумя наблюдателями. Этот коэффициент измеряет степень согласованности между собой принадлежащих разным наблюдателям оценок наличия и/или частоты встречаемости отдельных слов или тем. Значения коэффициента колеблются в диапазоне от –1 до +1, и показания от +0,9 и выше обычно свидетельствуют о высокой степени интерсубъективной надежности кодирования⁴.

Другой прием более подходит для структурного контент-анализа, при котором нас интересует не столько трактовка тем, сколько факт их наличия или отсутствия, и при котором дублирующие друг друга измерения не столь необходимы. В данном случае мы рассматриваем все расхождения между наблюдениями, принадлежащими разным наблюдателям, как самостоятельную переменную, в отношении которой имеет смысл задать вопрос, связана ли она с систематическими расхождениями значений любой другой измеренной нами переменной. Другими словами, нас занимает проблема: возможно ли, что один (или более) наблюдатель фиксировал результаты последовательно отличным от других наблюдателей образом? Если признать, что все случаи были распределены междунаблюдателями без смещений (обычно особые усилия приходится приложить, чтобы распределить их случайным образам), то любые систематические расхождения, наблюдаемые нами, являются результатом скорее расхождений между кодировщиками, нежели глубинных расхождений между отдельными случаями, которые оказались приписанными ошибающемуся наблюдателю. Коэффициент надежности интеркодирования здесь принимает форму (1–η²), где η – мера рассеяния значений каждой зависимой переменной, обусловленная наличием расхождений между кодировщиками⁵. Вычтя эту “межнаблюдательскую ошибку” из 1, мы получаем долю наблюдений, свободных от ошибки. Данный коэффициент вычисляется [c.289] отдельно для каждой переменной, и, чтобы можно было рассчитывать на достаточную надежность измерений, должен превышать 0,9.

Мы видим, что контент-анализ – это методика с широким спектром применения, с определенными преимуществами в виде дешевизны, небольшого объема выборки, доступности данных. Однако, возможно, более, чем любой другой метод, он требует тщательной операционализации всех переменных и постоянного мониторинга процесса Наблюдения. Благодаря ему можно получить высокоинформативные результаты, которые, однако, должны интерпретироваться лишь в контексте, подчас не достижимом средствами только контент-анализа. По этой причине этот метод используется чаще всего в сочетании с другими методами сбора данных (опросом, непосредственным наблюдением). [c.290]