Проведение содержательного контент-анализа

Приняв решение о совокупности сообщений, выборке и единице анализа, мы можем приступать к самому анализу. Контент-анализ, основанный на исследовании слов, тем и сообщений, сосредоточивает внимание исследователя на содержании сообщения, на том, о чем в нем говорится. Таким образом, собираясь подвергнуть анализу эти элементы, мы должны уметь предвидеть их смысл и уметь определять каждое возможное наблюдение в соответствии с нашими ожиданиями.

На деле это означает, что в качестве первого шага при проведении контент-анализа этого типа мы должны создать своего рода словарь, в котором каждое наше наблюдение получит определение и будет отнесено к соответствующему классу. Допустим, например, нас интересует проблема идентификации вкубинских школьных учебниках [c.277] для 6-го класса всех упоминаний об американцах и США. Прежде чем приступать к анализу, мы должны определить, что же является в данном случае ключевым словом (словосочетанием). Должны ли мы обращать внимание только на слова “американец”, “американский” и “США”? Если да, то мы рискуем упустить из виду упоминания, состоящие из таких экспрессивно-оценочных терминов, как “агрессоры-янки”, “империалисты с Севера”, “гринго”, “захватчики”, “вторжение в Гуантанамо”, “беззаконныйрежим Вашингтона”. Более того, некоторые такие фразы могут употребляться в нескольких разных смыслах, из которых лишь один относится непосредственно к США. Рассмотрим следующие условия задач по арифметике:

1. Если кубинский народ владеет 1 тыс. акров пахотных земель, а неоколониалистские агрессоры отнимут у него 1 тыс. акров пахотных земель, то сколько акров пахотных земель останется кубинскому народу на пропитание?

2. Если африканцы владеют 1 тыс. акров пахотных земель, а неоколониалистские агрессоры отнимут у них 1 тыс. акров пахотных земель, то сколько акров пахотных земель останется африканцам на пропитание?

Допустим, что оба случая упоминания “неоколониалистских агрессоров” мы будем считать относящимися к США, тогда обе задачи будут восприняты нами как антиамериканские по смыслу. Однако тот, кто знаком с новейшей историей и идеологией Кубы, сочтет ключевым лишь первое из этих упоминаний, в то время как второе будет им интерпретировано скорее как выпад в адрес белого правительства ЮАР.

Проблема состоит в том, что мы должны предвидеть не только упоминания, которые нам могут встретиться, но и элементы их контекстуального употребления, а для этого мы должны разработать детальную систему правил оценки каждого случая употребления. Эта задача обычно решается посредством пилотажа подлежащей анализу совокупности сообщений (т.е. с помощью выявления на материале небольшой выборки сообщений тех типов ключевых упоминаний, которые с наибольшей вероятностью могут встретиться в последующем, более полном анализе) в сочетании с арбитражными оценками контекстов и способов употребления терминов. Здесь, как и в формальном [c.278] анализе, о котором речь пойдет ниже, предпочтительнее иметь дело с наблюдениями не одного, а нескольких исследователей.

==================================================================

Таблица 9.1

Образцы фраз из газетных передовиц в поддержку некоторого кандидата (в случайном порядке)

Лучший из худших Лучший из имеющихся Лучше, чем его соперник Наш главный избранник Наилучший кандидат среди множества других Кандидат, о каком можно только мечтать Выдающийся деятель Многообещающий деятель Один из лучших сынов нации Меньшее из двух зол Лучшее из того, что мог бы дать процесс отбора Наш неизменный любимец Нужный сегодня человек Приемлемый кандидат Весьмаприемлемый кандидат Рекомендуем с рядом оговорок Безоговорочно рекомендуем Горячо поддерживаем Искренне рекомендуем Предлагаем свою поддержку С радостью рекомендуем вашему вниманию Призываем вас голосовать “за”

==================================================================

Более трудной является задача, заключающаяся в необходимости приписывания ключевым упоминаниям конкретных оценок, – когда мы должны решить, приводится ли данное упоминание в позитивном или негативном смысле, “за” или “против” интересующего нас объекта и т.д., а также когда нам надо ранжировать ряд упоминаний соответственно силе их оценок (т .е. в соответствии с тем, какое из них самое положительное, какое следующее за ним по положительности и т.д.). При этом мы нуждаемся в показателяхдостаточно тонких, которыми можно было бы измерять не только настроения политических субъектов, но и силу этих настроений. Ситуация подобного рода отражена в табл. 9.1, где в обобщенном виде перечислены возможные формы предвыборной поддержки газетой некоторой кандидатуры. Если целью является определить, какая из газет активнее всего поддерживает эту кандидатуру, то наша непосредственная задача будет [c.279] заключаться в том, чтобы решить, как следует ранжировать эти утверждения в соответствии с той силой поддержки, которую каждое из н их отражает.

Существует несколько методов, облетающих принятие такого решения. Два наиболее известных способа ранжирования – это метод Q-сортировки и шкалирование путем парного сравнения.Подобно методу шкалирования по Тёрстоуну, описанному в гл. 8, они опираются на суждения группы арбитров о значении или силе (интенсивности) некоторого термина с той только разницей, что здесь арбитры могут отбираться из числа как отправителей, так и получателей сообщения, как из группы ученых, хорошо знакомых с предметом изучения, так и из населения в целом, а также из числа самих исследователей. Оба эти метода отличаются друг от друга и от метода Тёрстоуна по тем задачам, которые они ставят перед арбитрами.

Q -сортировка в этом отношении ближе к методике Тёрстоуна. В этом методе используется шкала жесткого распределения (forced distribution scale) из девяти пунктов: пункт 1 соответствует минимальной степени интенсивности измеряемого признака (например, наименьшей степени одобрения), а пункт 9 – максимальной степени интенсивности (например, наивысшей степени одобрения). В отличие от методики Тёрстоуна в рамках данной шкалы не предусмотрено отражение нейтрального или антитетического (прямо противоположного) суждения или оценки. Цель здесь состоит в том, чтобы просто ранжировать (упорядочить) все суждения вдоль единой оценочной оси. Кроме того, при пользовании Q-шкалой арбитры связаны ограничениями сильнее, чем в методике Тёрстоуна. Арбитру дается определенная жесткая квота на каждую категорию шкалы (т.е. ожидаемое число слов или фраз, которые должны быть им отнесены к данной категории), а затем ему предлагается распределить заданный набор терминов так, чтобы установленные квоты не нарушались. Квоты основаны на предположении (не обязательно верном),что колебания в интенсивности слов и фраз должны укладываться в рамки нормального распределения (когда изучаемые случаи максимально скучены в средней части шкалы, а по мере продвижения к ее полюсам их число равномерно убывает). Арбитры, таким образом, вынуждены давать относительные оценки конкретным словам и фразам [c.280] (случаям), относя их к определенным категориям шкалы¹. Эта процедура отражена в табл. 9.2.

Таблица 9.2

Распределение случаев при Q-сортировке

Таблица состоит из трех строк. В первой представлены значения (оценки), приданные каждой категории шкалы (от 1 до 9). Во второй отображено процентное распределение всех изучаемых случаев по девяти категориям. Эти числа суть квоты, из которых исходит каждый арбитр. Так, например, каждый арбитр должен 5% всех случаев отнести к категории 1, 8% всех случаев – к категории 2, 12% – к категории 3 и т.д. В третьей строке таблицы указано конкретное число случаев, определяемое данным процентным отношением для конкретной исследовательской проблемы. По исходному предположению табл. 9.2 каждому арбитру нужно ранжировать 50 слов или тем. Числа в строке 3, таким образом, представляют собой результаты вычисления процентных отношений, указанных в строке 2, от общего числа п = 50. Эти числа диктуют каждому арбитру, сколько случаев должно быть отнесено к каждой категории². При проведении Q-сортировки строки 1 и 2 остаются все время неизменными, а в строке 3 значения меняются в зависимости от числа случаев, подлежащих ранжировке.

После того как арбитры завершили свою работу, вычисляется средняя (арифметическая) оценка шкалы для каждого случая, а затем полученные средние оценки соответствующим образом ранжируются. (Логическое обоснование этого последнего шага то же, что и в случае использования статистики интервальной шкалыанализа данных, полученных методом шкалирования по Тёрстоуну.) Далее результаты этого ранжирования случаев по [c.281] интенсивности используются для приписывания анализируемым текстам кодов, обусловленных встречаемостью в них слов или тем, получивших нашу оценку. Произвольность оценки одного исследователя заменяется таким путем коллективной мудростью нескольких арбитров.

Шкалирование методом парного сравнения имеет те же цели, но техника его несколько иная. Каждый случай, подлежащий оценке, последовательно сравнивается попарно со всеми другими случаями, при этом каждый арбитр должен решить, какое из слов (или фраз) в каждой паре “сильнее” (или интенсивнее) другого. Так, если нам надо сравнить пять утверждений (случаев), то каждый арбитр будет последовательно сравнивать сначала 1-е из них со 2-м, с 3-м, 4-м, 5-м, потом 2-е с 3-м, 4-м, 5-м и т.д., всякий раз при этом отмечая, какое из двух более интенсивно. Подсчитав, сколько раз каждый случай оказался в оценке всех арбитров “сильнее” других, и разделив полученное число на число арбитров (т.е. вычислив среднюю оценку, вынесенную группой арбитров каждому утверждению), мы получаем возможность осуществить количественное ранжирование всех случаев по степени их интенсивности. Чем выше средняя оценка некоторого утверждения, тем оно, по мнению арбитров, “сильнее”.

С методами Q-сортировки и парного сравнения связаны по меньшей мере две сложности. Во-первых, в обоих этих случаях исследователь полагается полностью на решения арбитров, критерии оценки которых могут быть, а могут и не быть правомерными и/или состоятельными. В экспертизе такого рода стандарты не всегда ясны или, во всяком случае, не всегда ясно определены, и вследствие этого сами оценки носят дискуссионный характер. Действительно, не столь редки случаи, когдаодин и тот же арбитр выставляет различные оценки одному и тому же утверждению в серии идентичных испытаний. Поскольку мы здесь подвергаем выборочному обследованию не людей, а содержание сообщений, у нас нет четко обозначенной референтной группы населения,как при шкалировании по Тёрстоуну, и нет также набора имплицитных параметров, на которые можно было бы равняться. Другими словами, отбор арбитров в высшей степени произволен. Следовательно, и надежность результатов, полученных при опоре на таких арбитров,может быть минимальной. В [c.282] довершение ко всему эти оценочные методы могут оказаться весьма утомительными и громоздкими. Q-сортировка 100–200 случаев, требующая бесконечно повторяющейся идентификации мельчайших различий между ними, или же попарное сравнение 50 случаев, требующее рассмотрения 1225 различных пар (n[n–1]/2, где n – число случаев), может исчерпать терпение любого, сколь угодно прилежного арбитра. Поэтому к данным процедурам следует прибегать с осторожностью. [c.283]