Нетривиальность научного факта и психологическая экспертиза психологов как экспертов
В ранее опубликованной работе В А. Петровского (1997) был предложен способ определения ценности эмпирических фактов, полученных в научном исследовании,' и введены индексы нётривиальности, информативности и прагматической значимости результатов научных исследований. Напомним некоторые положения упомянутой выше статьи.
"Объективация нетривиальности, информативности и значимости эмпирических фактов может быть осуществлена на основе сравнения полученных результатов с типичными представлениями людей (прогнозов, которые могли выдавать «независимые эксперты») об исследуемом объекте и их заинтересованностью в проверке своих представлений об этом объекте.
Нетривиальность (атривиальностъ). Под нетривиальностью научного факта понимается несоответствие полученного в исследований результата предположениям и ожиданиям, исходящим из житейских наблюдений; здравого смысла, традиционных представлений ит.д. Понятие «нетривиальности» операционализируется следующим образом. Группа экспертов (из числа пользователей этой продукцией), независимо друг от друга, должна выдвинуть свой прогноз, описывающий исход некоторого эксперимента (условия проведения этого эксперимента известны экспертам в подробностях). Далее должна быть сопоставлена средняя оценка исследуемого параметра, согласно прогнозам экспертов, и — средняя его оценка, согласно данным, проведенного эксперимента. Статистически значимое расхождение между средними Мэксп. и Мэксп. свидетельствует об атривиальности факта (можно было бы сказать – «феноменальности феномена»), а сближение средних – в пользу его тривиальности.
Информативность. Информативность научного факта может быть осмыслена как мера неопределенности, устраняемая в ходе эмпирической проверки гипотезы. Вполне возможно, что результаты прогнозов, касающихся исхода эксперимента, могут соответствовать последним по критерию совпадения выборочных средних значений (Мэксп. = Мэксп.); в то же время разброс эк-спертных оценок существенно превосходит разброс реальных эмпирических данных Эмпирической мерой информативности научного факта в таком случае может служить статистически значимое различие между выборочными дисперсиями (Dэксп—Dэксп) или, соответственно, между выборочными стандартными отклонениями прогнозируемого и реального положения дел. Если окажется что разброс экспертных оценок меньше разброса эмпирических (при равенстве средних), то статистически достоверная разница выборочных дисперсий (стандартных отклонений) свидетельствует о неоднозначности научного факта.
Значимость. Этот параметр оценки научного факта характеризует уровень заинтересованности научного сообщества в получении достоверной информации об исследуемом объекте. Понятие «значимость научного факта» операционализируется следующим образом. Эксперты, ранее уже высказавшие свое мнение относительно возможных исходов каких-либо испытаний, касающихся различных сфер действительности, имеют теперь возможность ознакомиться с реальным положением дел, то есть подлинными результатами соответствующих исследований. Необходимо при этом, чтобы число экспериментов, результаты которых прогнозировались экспертами (обозначим это число разнородных экспериментов как N) существенно превышало число экспериментов, с результатами которых разрешено ознакомиться экспертам (примем это число за п): N»n. B случае, если в число первых n выборов попадает оцениваемое явление (вывод, зависимость, закономерность и т.п.), это свидетельствует о значимости научного факта в глазах сообщества.
Итак, индексы нетривиальности, информативности и значимости факта могут быть установлены, исходя из сопоставления прогнозов, которые даются экспертами, высказывающимися по поводу возможных результатов ранее проведенных кем-либо экспериментов и реальных результатов этих исследований, а также — из уровня заинтересованности экспертов в «сверке» своих прогнозов с соответствующими эмпирическими данными.
В цитируемой работе В. А. Петровского был также рассмотрен особый подход к оценке экспертных возможностей людей, прогнозирующих результаты научных исследований, — «экспертиза самих экспертов». И действительно, может быть предложена процедура, обратная только что рассмотренной: будем оценивать, обращаясь к экспертам, не факты с точки зрения их нетривиальности, информативности и значимости для экспертов, а, наоборот, самих экспертов, выявляя их прогностические способности и интересы. Если прежде мы задавались вопросом, насколько «научны» научные факты, то теперь нам важно понять, насколько «экспертны» эксперты. В частности, определенный интерес представляет оценка диагностических (экспертных) возможностей различных социальных и профессиональных групп.
Приведенные положения в настоящем совместном исследований впервые подвергаются эмпирическому обоснованию.
Будем в дальнейшем различать «задачу» и «сверхзадачу» исследования. Задача этого исследования заключается в том, чтобы впервые испытать на практике адекватность предлагаемого принципа оценки «нетривиальности» (как одной из характеристик ценности научного факта). А сверхзадача — дать возможность читателю побывать в роли эксперта и тем самым составить собственное представление о сути предлагаемого принципа.
Решая поставленную задачу, мы избираем в качестве «тестируемого» объекта эмпирические факты, научная ценность которых не подлежит никакому сомнению (на них-то и можно испытать адекватность подхода); следуя же сверхзадаче, мы предлагаем профессиональному читателю-психологу выступить в качестве эксперта, прогнозирующего результаты исследования, о которых идет речь в этой статье.
Итак, экспериментальным материалом мы избрали два феномена, каждый из которых, судя хотя бы по числу публикаций и ссылок, им посвященных, произвели значительное впечатление на научную общественность; если .. же принять во внимание, что соответствующие научные сведения фигурировали на страницах не только академических, но и популярных изданий, то можно считать, что об этих феноменах можно говорить в том высоком смысле этого слова, который собственно и числится в языке за словом «феномен» («нечто исключительное, въедающееся, небывалое» [3]).
Первый из них — эффект Милгрема (Milgram S. 1974).
Второй — это феномен Зейгарник [4. С. 277].
«Экспертам» предлагалась обдумать следующие ситуации: 1
1. В психологической лаборатории два человека добровольно принимают участие в изучении памяти и обучения, в частности, когда исследуется влияние наказания на процесс обучения. Одному предложено в эксперименте выполнять функции «учителя», другому — «ученика». Последнего привязывают к креслу, присоединяют к его запястьям электроды и дают задание выучить список соединенных попарно слов, предупредив, что за каждую ошибку он будет подвергаться электрошоку нарастающей силы. «Учитель», сидящий перед пультом электрогенератора, должен последовательно передавать задания «ученику», которого он все время видит и слышит. Если тот отвечает правильно, «учитель» переходит к следующему заданию. Если «ученик» ошибается, «учитель» обязан дать ему электрошок, начиная с минимума в 15 вольт и постепенно увеличивая дозы. Наблюдения показывают, что при 75 вольтах обычный человек вскрикивает,. при120 - начинает жаловаться, при 150 — требует прекратить испытания и т,д. (После 285 уже только отчаянно кричит).
1 Вовсе не играя в прятки с читателем, по крайней мере в данном пункте, мы заранее расскажем, какова действительная картина событий в эксперименте. И всё же еще раз призываем читателя попытаться самостоятельно предсказать (не обязательно для этого пользоваться ручкой, достаточно карандаша), что должно было бы получиться у нас, авторов, в результате исследования экспертных прогнозов психологов и не-психологов.
Вопрос: до каких пределов дойдет «учитель», причиняя боль «ученику», откажется ли он ослушаться экспериментатора, настаивающего на' продолжении эксперимента, тем самым нарушив взятое ранее обязательство и выйдя из участия в эксперименте, когда (при каком напряжении тока, используемого как наказание)?
2. 100 испытуемым давали для перевода текст с иностранного,' на родной. В этом тексте было несколько слов, значения которых испытуемые не знали. Когда испытуемым попадались эти слова, они спрашивали их перевод у экспериментатора. Испытуемые были разделены на 2 равноценные группы! Испытуемые первой группы доводили перевод текста до конца. Работу испытуемых второй группы экспериментатор прерывал, когда им оставалось перевести последние несколько строк, заключавших в себе развязку всей истории. Этим испытуемым под благовидным предлогом в течение 5 минут предлагалось делать что-то, не связанное с переводом. После этого каждому участнику эксперимента как из первой, так и из второй группы давался для повторного перевода на родной язык список слов на иностранном языке, перевод которых испытуемый ранее спрашивал у экспериментатора.
Для каждого испытуемого вычислялось отношение n/m, где.n — число слов, правильно переведенных испытуемым при втором переводе, a m — общее число слов, перевод которых испытуемый спросил у экспериментатора
ранее. Для каждой группы подсчитывалось среднее арифметическое этих показателей.
Вопрос: напишите, что представляет собой среднее арифметическое n/m для первой группы (тех испытуемых, которые выполнили перевод текста полностью) и для второй группы (тех испытуемых, которых переключили на другую деятельность).
Прежде чем читатель ознакомится с полученными результатами, мы предлагаем ему испытать собственные экспертные возможности. Перед вами две шкалы; на верхней могут быть отмечены возможные результаты обследования прогностических возможностей испытуемых, имеющих психологическое образование («экспертов-психологов»); на нижней - результаты обследования испытуемых, не имеющих психологического образования («экспертов не-психологов»). Итак, необходимо отметить на двух шкалах, каков, на ваш взгляд, будет процент экспертов психологов и экспертов не-психологов, правильно предсказавших исходы описанного эксперимента.
Речь в этой статье не идет о строгой оценке экспертной способности читателей. Ведь мы пока не располагаем статистикой, касающейся точности, которую психологи и не-психолога обнаруживают в своих прогнозах относительно своих собственных прогностических возможностей. И вместе с тем можно предположить следующее, по крайней мере одно из двух:
• Если вы ошиблись в своем прогнозе, не исключено, что вы столкнулись с 'нетривиальными фактами (ваша возможная ошибка при этом лишь символизирует нетривиальность реального положения дел).
• Если вы не ошиблись - это может означать, что вы проницательны в своих прогнозах.
Результаты экспериментального исследования
В нашем исследовании приняло участие 812 человек, из них психологов (дипломированных и студентов старшекурсников) было 231 человек.
Для первой задачи (эффект Милгрема) анализировались непосредственно значения максимально предельного напряжения, после которого испытуемые («учителя») отказывались принимать участие в эксперименте, указываемые нашими респондентами в качестве ответа на вопрос задачи. В соответствии с экспериментом, проведённым Милгремом, можно считать правильным ответом 285 вольт.
Для второй задачи (феномен Зейгарник) анализировался показатель, вычисленный по значениям отношений п/т (где п — число слов, правильно переведенных испытуемым при втором переводе, а т —'общее число слов, перевод которых испытуемый спросил у экспериментатора ранее) для первой (непрерываемой) и второй (прерываемой) групп по следующей формуле:
(показатель первой группы)/ ((показатель первой группы)+.
+(показатель второй группы))
В соответствии с экспериментами Зейгарник правильным ответом этой задачи мы считали все значения меньше 0.5.
Ниже в таблице приводятся сравнительные усредненные значения показателей для психологов и не-психологов по обеим задачам.
Выводы
1. Усредненные ответы-прогнозы исходов экспериментов Зейгарник и Милгрема, полученные в подвыборке психологов и не-психологов, значимо отличаются от средних показателей, полученных в обоих экспериментальных исследованиях; тем самым не только подтверждается нетривиальность феноменов Зейгарник и эффекта Милгрема, согласно принятому критерию, но и оправданность предложенного подхода к измерению нетривиальности научного факта.
2. Обе категории респондентов, психологи и не-психологи, по обеим задачам в большинстве своем дали неправильные ответы.
3. Статистических различий в ответах психологов и не-психологов не выявлено.
4. В то время как нетривиальность феномена Зейгарник и эффекта Милгрема — факт, на наш взгляд, вполне тривиальный (этого и следовало ожидать!), феномен отсутствия различий между экспертными прогнозами психологов и не-психологов относительна исходов названных экспериментов т явление, на наш взгляд, нетривиальное. О том, насколько это действительно так, читатель может получить впечатление, сопоставляя собственные прогнозы относительно экспертных прогнозов психологов с реальными данными, полученными в нашем эксперименте. Возникает впечатление, что психологи, несмотря на свои знания работ Зейгарник и Милгрема, в своих ответах забывали об этом и вели себя как «наивные» испытуемые (не-психологи), руководствующиеся обыденными житёйскими представлениями.
Идея оценки уровня нетривиальности эмпирических фактов, с нашей точки зрения, достаточно проста – странно, что она так долго не обнаруживала себя в качестве инструмента оценки продуктивности эмпирических разработок. Возможно, это свидетельствует о нетривиальности самой этой идеи. Проста также идея оценки экспертности самих экспертов.
Литература
1. Кон. И. С. Открытие «Я». – М., 1978. – С.99
2. Петровский В.А. Научное знание сквозь призму обыденного.
3. Ушаков Д.Н. Толковый словарь русского языка. – М., 1939
4. Фресс П., Пиаже Ж. Экспериментальная психология. – М., 1973. – С. 277