Компьютерная версия ассоциативного словаря школьников Саратова и Саратовской области
В.Е. Гольдин, А.О. Мартьянов, А.П. Сдобнова
Строение ассоциативных словарей и возможности их использования не раз обсуждались в научной литературе, а на русском материале эти вопросы были подробно рассмотрены Ю.Н. Карауловым [Караулов 1994] в связи с созданием и публикацией "Русского ассоциативного словаря" (РАС). Поэтому, обращаясь к компьютерной версии Ассоциативного словаря школьников Саратова и Саратовской области (АСШС), нет необходимости специально говорить о чертах, объединяющих его с другими ассоциативными словарями. Целесообразнее остановиться на специфике содержания и формы АСШС и на тех возможностях использования словаря, которые этой спецификой обусловлены.
В АСШС сосредоточены материалы, полученные в ходе свободных ассоциативных экспериментов 1998 — 2004 гг. со школьниками I — XI классов школ Саратова и Саратовской области. Стимулы предъявлялись группам испытуемых устно, ответы же испытуемыми записывались. Этим несколько ограничивались возможности накопления ответов первоклассников, поэтому большая часть анкет получена от учащихся II — XI классов. К февралю 2004 г. в базе данных словаря имелось 1748 анкет учащихся начальных классов, 1304 анкеты учеников V — VI классов, 1256 анкет учеников VII — VIII классов, 1556 анкет старшеклассников. Всего 5864 анкеты.
В базе словаря содержатся реакции уже на 804 стимула, но достаточно представительный материал (от 150 до 600 реакций на каждый из стимулов) получен пока на 510 стимулов. Накопление материала продолжается. Продолжается и пополнение списка стимулов.
В настоящее время словарь реализован как Access — приложение и автоматически строит на имеющемся корпусе ответов прямые (от стимула к реакциям) и обратные (от реакции к стимулам) словарные статьи, создает ответы на перекрестные запросы, демонстрирующие распределение материала в соответствии с несколькими признаками одновременно, имеет систему фильтров, позволяющую сортировать данные по полу, возрасту, месту жительства испытуемых (Саратов, районные центры, села, конкретные населенные пункты), типу школы (обычная школа, гимназия, лицей), дате проведения эксперимента и другим признакам.
Проблема отражаемого ассоциативным материалом времени существования языка решается для ассоциативных словарей совершенно иначе, чем для всех других. Здесь "время" каждой реакции точно совпадает с моментом реагирования и фиксируется в базе данных. Фильтрация реакций по датам проведения экспериментов позволяет, с одной стороны, формировать корпусы реакций для различных временных "слоев", а с другой стороны, со специфической точностью определять время актуализации или деактуализации конкретных слов и понятий в исследуемом социуме. Так, новое слово автогражданка уже отмечено в АСШС 27 января 2004 г. среди реакций шестиклассника саратовской школы № 47.
В статьях от стимула к реакциям, кроме самих реакций, ранжированных по убыванию их частот, в АСШС указываются также абсолютная частота и доля каждой из реакций в общем числе реакций, полученных на данный стимул, количество отказов ("нулевых" реакций) и их доля (в процентах), количество единичных реакций и их доля в общем числе реакций, количество различных реакций, показатели энтропии H и "ассоциативной силы" стимула V. Приведем в качестве примера статью АСШС на стимул АЛЫЙ (Таблица 1).
Таблица 1. Реакции на стимул АЛЫЙ
| Реакции на стимул АЛЫЙ | Доля | Частота |
|---|---|---|
| цветок | 17,66% | 59 |
| цвет | 17,37% | 58 |
| красный | 12,87% | 43 |
| — | 8,08% | 27 |
| розовый | 5,69% | 19 |
| парус | 3,29% | 11 |
| роза | 3,29% | 11 |
| красивый | 2,69% | 9 |
| белый | 1,80% | 6 |
| кровь | 1,80% | 6 |
| цветочек | 1,20% | 4 |
| аленький | 0,90% | 3 |
| алый | 0,90% | 3 |
| малый | 0,90% | 3 |
| тюльпан | 0,90% | 3 |
| алая | 0,60% | 2 |
| бледный | 0,60% | 2 |
| вялый | 0,60% | 2 |
| закат | 0,60% | 2 |
| лепесток | 0,60% | 2 |
| нежный | 0,60% | 2 |
| паруса | 0,60% | 2 |
| синий | 0,60% | 2 |
| Алена | 0,30% | 1 |
| аленький цветок | 0,30% | 1 |
| Алик | 0,30% | 1 |
| аллея | 0,30% | 1 |
| алые | 0,30% | 1 |
| апельсин | 0,30% | 1 |
| арбуз | 0,30% | 1 |
| багровый | 0,30% | 1 |
| бархатный | 0,30% | 1 |
| букет | 0,30% | 1 |
| бурый | 0,30% | 1 |
| галка | 0,30% | 1 |
| громко | 0,30% | 1 |
| грязный | 0,30% | 1 |
| далекий | 0,30% | 1 |
| деревянный | 0,30% | 1 |
| запоздалый | 0,30% | 1 |
| заря | 0,30% | 1 |
| зеленый | 0,30% | 1 |
| изумительный | 0,30% | 1 |
| какой | 0,30% | 1 |
| какой? | 0,30% | 1 |
| краски | 0,30% | 1 |
| красноватый цвет | 0,30% | 1 |
| красный цвет | 0,30% | 1 |
| куст | 0,30% | 1 |
| легко | 0,30% | 1 |
| липовый | 0,30% | 1 |
| май | 0,30% | 1 |
| мальчик | 0,30% | 1 |
| мгновение | 0,30% | 1 |
| милый | 0,30% | 1 |
| не алый | 0,30% | 1 |
| не годный | 0,30% | 1 |
| не знаю | 0,30% | 1 |
| одуванчик | 0,30% | 1 |
| отец | 0,30% | 1 |
| пёс | 0,30% | 1 |
| плавный | 0,30% | 1 |
| преалый | 0,30% | 1 |
| приятный | 0,30% | 1 |
| прощаться | 0,30% | 1 |
| растение | 0,30% | 1 |
| румяный | 0,30% | 1 |
| свет | 0,30% | 1 |
| сердце | 0,30% | 1 |
| слон | 0,30% | 1 |
| тусклый | 0,30% | 1 |
| удалый | 0,30% | 1 |
| фиолетовый | 0,30% | 1 |
| цветет | 0,30% | 1 |
| цветочный | 0,30% | 1 |
| цветы | 0,30% | 1 |
| [Всего реакций] | 334 | |
| [Различных] | 76 | |
| [Единичных] | 15,87% | 53 |
| [Нулевых] | 8,08% | 27 |
| [H] | 4,468 | |
| [V] | 0,224 |
Показатель энтропии H рассчитывается по формуле Шеннона, а ассоциативная сила стимула V выражается числом, обратным H.
Оценку степени ассоциативной силы стимула на основе исчисленной энтропии статьи ассоциативного словаря и показателя V как отражения ассоциативной силы стимула, или компактности реакций на данный стимул, применили И.Г. Овчинникова и А.С. Штерн [Овчинникова, Штерн 1989] к данным "Словаря ассоциативных норм русского языка" под редакцией А.А. Леонтьева. Величина V, вычисленная для различных ассоциативных статей, варьируется в небольшом интервале, и, вероятно, по этой причине редко рассматривается исследователями. Опыт использования этого показателя при сравнении реакций мальчиков и девочек, учащихся различных классов на материале АСШС показал, однако, его эффективность.
Так, в литературе не раз отмечалась бoльшая стереотипность женских реакций в сравнении с мужскими. Этой особенности женского реагирования должна, по — видимому, соответствовать несколько бoльшая в среднем величина V словарных статей, аккумулирующих женские реакции. Возьмем для проверки набор из всех реакций на 26 стимулов, выбранных случайно по отношению к показателю V из списка стимулов на буквы Б, В и С; отразим в Таблице 2 величину V соответствующих статей отдельно для реакций мальчиков VII — XI классов и для реакций девочек из тех же классов, затем ранжируем строки по величине разницы между показателями ассоциативной силы "мужских" и "женских" словарных статей (V1 — V2). В дополнительных столбцах укажем процент "нулевых" реакций в "мужских" и "женских" словарных статьях на указанные стимулы.
Таблица 2. Ассоциативная сила стимулов (по материалам реакций мальчиков и девочек VII — XI классов)
| Стимулы | V1 "мужских" словарных статей | V2 "женских" словарных статей | V1 — V2 | Процент мужских "нулевых" реакций | Процент женских "нулевых" реакций | |
| бабочка | 0,191 | 0,219 | — 0,028 | 0 | 1,85 | |
| буква | 0,269 | 0,287 | — 0,018 | 2,5 | 1,07 | |
| смех | 0,191 | 0,209 | — 0,018 | 10 | 9,79 | |
| вкопанный | 0,186 | 0,203 | — 0,017 | 16 | 16,49 | |
| сегодня | 0,240 | 0,252 | — 0,012 | 7,62 | 7,14 | |
| сладко | 0,245 | 0,257 | — 0,012 | 7,62 | 1,59 | |
| семья | 0,226 | 0,237 | — 0,011 | 2,86 | 1,59 | |
| белый | 0,227 | 0,237 | — 0,010 | 2,5 | 0,53 | |
| север | 0,342 | 0,351 | — 0,009 | 3,75 | 1,6 | |
| вы | 0,212 | 0,220 | — 0,008 | 6,54 | 7,8 | |
| вбок | 0,181 | 0,187 | — 0,006 | 10,63 | 12,83 | |
| война | 0,198 | 0,204 | — 0,006 | 5 | 3,21 | |
| берег | 0,213 | 0,218 | — 0,005 | 3,75 | 2,67 | |
| бой | 0,192 | 0,195 | — 0,003 | 7,5 | 4,81 | |
| быстрый | 0,199 | 0,202 | — 0,003 | 3,75 | 4,28 | |
| собраться | 0,182 | 0,184 | — 0,002 | 8,57 | 4,76 | |
| вода | 0,204 | 0,204 | 0 | 5,63 | 1,07 | |
| выборы | 0,214 | 0,214 | 0 | 10,81 | 15,87 | |
| сам | 0,213 | 0,212 | 0,001 | 16,42 | 13,61 | |
| страшная | 0,179 | 0,175 | 0,004 | 15,71 | 10,31 | |
| скоро | 0,199 | 0,193 | 0,006 | 7,5 | 4,28 | |
| сражение | 0,205 | 0,192 | 0,013 | 7,14 | 8,76 | |
| свободный | 0,201 | 0,186 | 0,015 | 11,43 | 9,52 | |
| спектакль | 0,202 | 0,184 | 0,018 | 13,57 | 7,22 | |
| впечатление | 0,204 | 0,185 | 0,019 | 27,14 | 27,32 | |
| стараться | 0,201 | 0,180 | 0,021 | 16,19 | 7,14 | |
| СРЕДНЕЕ | 0,205 | 0,214 |
Средний показатель V для "женских" словарных статей действительно оказывается бoльшим, чем для "мужских". Заметим также, что в тех "мужских" словарных статьях, которые вопреки ожиданиям дали V1 > V2 (страшная, скоро, сражение, свободный, спектакль, впечатление, стараться), особенно велико количество отказов. В материалах этих статей оно составляет в среднем 14,4% ответов, тогда как средний процент отказов в тех "мужских" статьях, что дали V1 < V2, значительно ниже: 6%. Не случайно, в трех "мужских" словарных статьях (страшная, впечатление, стараться) из семи, отличающихся большей компактностью, чем соответствующие им "женские", нулевые реакции стоят по частоте на первом месте. Таким образом, в тех случаях, когда мужские реакции продемонстрировали бoльшую компактность, высокий показатель V1 этих словарных статей в значительной мере (хотя, конечно, не абсолютно) обусловлен большим количеством отказов мальчиков от реагирования на данные стимулы. Но содержательная однородность отказов от реагирования весьма сомнительна, и, следовательно, материал указанных семи статей не опровергает тезиса о большей стереотипности женских реакций, подкрепляемого на использованном материале показателем V.
Показатель "ассоциативной силы" как несущий особую информацию о системе реакций включен наряду с другими в структуру прямых статей АСШС. Система фильтров, используемая в электронной версии АСШС, и сохраняемая в базе информация об испытуемых, о месте и времени проведения экспериментов позволяют извлекать из базы материал для различных лингвистических, психолингвистических, лингвокультурологических, социолингвистических исследований, изучать, например, возрастные изменения в строении ассоциативных полей.
Так, по материалам АСШС почти треть учащихся I — IV классов (31,28%) на стимул честь дали "нулевые" реакции; второе по частоте место (17,54%) заняла в их ответах реакция честный, поддержанная, по — видимому, прежде всего формальной близостью к стимулу; затем идут реакция отдать и содержательно связанные с ней солдат, служба, отдавать, отдать честь, офицер, военный, военная. Возможно, к этой группе принадлежит и реакция имею. Представлены в ответах учеников I — IV классов и многие другие реакции, но в качестве единичных. У учащихся V — VIII классов "нулевых" реакций на стимул честь заметно меньше (17,78%), однако им по — прежнему принадлежит первое место по частоте. Затем идут реакции честный (6,67%), иметь (4,44%), гордость (3,33%), достоинство (3,33%), моя (3,33%), служить (3,33%), уважение (3,33%) и др. У учащихся IX — XI классов самой частой оказывается уже реакция достоинство, а "нулевые" реакции отодвинуты на четвертое место. Ряд наиболее частых реакций в ответах учащихся IX — XI классов на стимул честь выглядит следующим образом: достоинство (21,74%), совесть (15,22%), долг (13,4%), "нулевая реакция" (8,7%), слава (8,7%), имею (4,35%), отвага (4,35%), отдать (4,35%), смелость(4,35%) и далее более редкие.
Постепенное уменьшение с возрастом доли отказов при реагировании на стимул честь говорит, по — видимому, о возрастающей свободе оперирования словами, входящими в данное ассоциативное поле. Имеют место и качественные изменения: младшие школьники осознают слово честь прежде всего на основе его формального сближения со словом честный (в пользу именно такой трактовки характера данной реакции свидетельствует, кроме прочего, наличие и других формальных реакций в ответах младших школьников, например честь > челюсти), а также идентифицируют его на фоне конкретной ситуации приветствия военными друг друга, связывая стимул с фразеологизмом "отдать честь". Реакции школьников средних классов и особенно старшеклассников гордость, уважение, достоинство, совесть, долг, отвага, смелость отмечают сильные связи стимула честь с полем общих этических представлений и с более абстрактной лексикой. Отметим также, что честь и достоинство — известное устойчивое сочетание терминологического характера.
Дополнительный материал для оценки возрастных изменений в поле стимула честь дают обратные статьи АСШС, от реакций к стимулам. Они показывают, что бoльшая часть перечисленных выше абстрактных существительных гордость, уважение, достоинство, совесть, долг, отвага, смелость присутствует в речевой способности не только школьников среднего и старшего возраста. На различные стимулы реагируют этими словами и младшие школьники. Приводимая ниже Таблица 3, построенная на основе данных обратных статей словаря, показывает количество соответствующих реакций в ответах школьников отдельных возрастных групп (числитель дроби соответствует абсолютному количеству тех или иных реакций, знаменатель — количеству различных стимулов, вызвавших эти реакции). Данные о стимулах, на которые получена реакция долг, в таблицу не включены, так как эта реакция с указанной сферой этики во многих случаях прямо не связана (например: долг < возвращать).
Таблица 3. Количество реакций и стимулов, на которые они получены
| Рекция | I — IV | V — VI | VII — VIII | IX — XI |
| гордость | — | 6/4 | 3/3 | 4/2 |
| уважение | 4/2 | 9/8 | 5/3 | 9/5 |
| достоинство | — | — | 4/2 | 11/2 |
| совесть | 4/2 | 3/2 | 6/3 | 27/6 |
| отвага | 2/2 | 1/1 | 1/1 | 2/1 |
| смелость | 4/4 | 5/3 | — | 3/2 |
Без учета материала обратных статей АСШС можно было бы предположить, что отмеченные различия между тремя возрастными вариантами поля честь отражают в основном лишь общий процесс постепенного обогащения словаря школьников абстрактной лексикой. Однако, как показывает Таблица 3, дело к этому не сводится: реакции уважение, совесть, отвага, смелость дают и младшие школьники, но на другие стимулы. Слова гордость, достоинство действительно появляются в корпусе реакций начиная лишь с V класса и отражают процесс накопления абстрактной лексики, но пoзднее появление реакций уважение, совесть, отвага, смелость в ассоциативном поле честь, скорее всего, нужно интерпретировать как изменения в представлениях, связанных с этим именно словом, как возрастные изменения его содержания в лексиконе школьников.
Интерпретация материала ассоциативных словарей всегда имеет гипотетический, вероятностный характер: исследователю не дан прямо тип связи между стимулом и реакцией, он только восстанавливается (с большей или меньшей степенью уверенности) путем сопоставления стимулов с полученными на них реакциями. Поэтому ассоциативный словарь как особый научный источник не должен навязывать пользователям какие — либо интерпретации, хотя бы и весьма убедительные; его задача — зафиксировать условия и результаты экспериментов, предоставляя пользователям объективные данные для их собственных гипотез. Такой взгляд на задачи словаря, конечно, ограничивает разнообразие типов информации, предназначенной для сообщения в статьях ассоциативного словаря.
С другой стороны, кажется целесообразным предоставлять пользователям сведения, хотя бы отчасти предупреждающие ошибки в интерпретации материала, например ошибки, обусловленные возможным несовпадением собственно лингвистических и/или фоновых знаний у испытуемых и пользователей словаря. Вероятность появления таких ошибок при работе с АСШС достаточно велика, поскольку в ассоциациях школьников получают отражение элементы современной молодежной культуры, которая, во — первых, сильно отличается от культуры людей других возрастных групп, к которым обычно принадлежат исследователи, во — вторых, — включает, как и современная культура в целом, много подвижных единиц, быстро меняющих свою актуальность. Такая информация составит отдельное тематически организованное приложение к АСШС. В нем должны даваться сведения о зафиксированных в базе названиях теле — и радиопередач ("Дог — шоу", "Окна", "Взгляд", "Империя страсти" и под.), о названиях товаров и выпускающих их фирм (кубики > "Кнорр", расти > "Данон", "Растишка" и др.), о фрагментах социумно прецедентных высказываний, в том числе — песенных текстов (служба > и опасна и трудна), рекламных текстов и под., об упоминаемых испытуемыми музыкальных группах, исполнителях, спортсменах ("Блестящие", "Несчастный случай", Пугачева, Шумахер и др.) о названиях популярных компьютерных игр, о прецедентных событиях (корабль > "Курск", затонуть > "Курск", ракета > "Курск") и под.
Непонятной пользователю может оказаться связь между стимулом и реакцией, если она обусловлена регионально прецедентными явлениями. Например: дверь > "Платан" ("Платан" — местная деревообрабатывающая фирма), памятник > журавли (саратовский памятник воинам, павшим в Великой Отечественной войне, включает фигуры летящих журавлей), спектакль > Цинман (Цинман — актер саратовского театра) и под.
Требуют комментария и такие случаи, когда при восприятии стимула на слух возникает эффект омонимии имени нарицательного и имени собственного. Например, самой частой (22,36%) лексической реакцией школьников на стимул момент оказалось слово клей ("Момент" — один из типов бытового клея). Реакцию клей давали на стимул момент и испытуемые (в основном студенты 1994 — 1996 гг.), ответы которых обобщены в Русском ассоциативном словаре [Караулов 1996]. Но у них реакция клей стоит на втором месте (4,62%), первое занимает реакция истина (12,9%), поддерживаемая названием популярной в середине 90 — х гг. телепередачи "Момент истины".
Информация такого рода обычно не приводится в ассоциативных словарях, нет ее пока и в АСШС, но подготовка к созданию соответствующего приложения к словарю уже ведется (см.: [Сдобнова 2003а; Сдобнова 2003б]).
В электронной версии АСШС сохраняются образы анкет, введенных в память ЭВМ, и обеспечивается поиск анкет по заданным реакциям. Эта опция особенно ценна при исследовании на материале АСШС различных тактик реагирования [Караулов 1999] и проявления коммуникативных стратегий [Гольдин 2001; Гольдин 2003]. Регулярность явления ассоциативных тактик и стратегий реагирования обусловливает, в частности, то, что, выделив анкету или группу анкет по определенной реакции, отражающей некую тактику или стратегию, мы чаще всего обнаруживаем в той же анкете и другие проявления этой тактики или стратегии.
Так, поиск записи с упомянутой выше ассоциативной парой честь — челюсть выделяет следующую анкету ученицы III класса средней школы пос. Степное (эксперимент проведен 15.01.2002 г.):
| Стимул | Реакция |
| 1. понимать | мыслить |
| 2. чемпион | золотая медаль |
| 3. элегантный | Париж с людьми |
| 4. вариант | шоколад |
| 5. право | закон |
| 6. проводить | провод |
| 7. вдвоем | число семь |
| 8. вежливый | женщина |
| 9. строй | колонна |
| 10. лохматый | пес |
| 11. свинья | свинья |
| 12. положение | ситуация |
| 13. честь | челюсть |
| 14. вечный | венок |
| 15. личность | лицо |
| 16. лев | флаг |
| 17. шайка | бродячая |
| 17. шайка | бродячая |
| 18. продукт | колбаса |
| 19. близкий | близнецы |
| 20. сказать | сказка |
| 21. государство | город |
| 22. единственный | единый |
| 23. завод | машина заводится |
| 24. замечать | метиться |
| 25. известный | знаменитый |
| 26. голос | волосок |
| 27. возвращать | прощаться |
| 28. неужели | ужин |
| 29. страус | трехногая свинья |
| 30. забота | забор |
В этой анкете ассоциативные пары голос > волосок, неужели > ужин, забота > забор явно построены в соответствии с той же тактикой формального (фонетического) реагирования, что и пара честь — челюсть. Большое количество реакций, однокоренных и квазиоднокоренных стимулу (проводить — провод; личность — лицо; близкий — близнецы; сказать — сказка; единственный — единый; завод — заводится; замечать — метиться), подтверждает важность формальных связей для данного испытуемого. На этом фоне и некоторые другие пары стимулов и реакций той же анкеты (вежливый — женщина, вечный — венок, возвращать — прощаться) представляются построенными с опорой не только на смысл, но и на формальное сходство ассоциатов.
Понятно, что ассоциативные словари, построенные на основе экспериментов, проведенных с большим количеством испытуемых, но за относительно небольшой период времени (менее 10 лет), лишь условно позволяют говорить о динамике ассоциаций. Фактически, как это сделано и нами выше при обсуждении реакций на стимул честь, на полученном материале рассматривается специфика словесного реагирования представителей различных возрастных групп населения и экстраполируется во временнyю последовательность. Но и при длительных массовых экспериментах сохраняется условность исторических интерпретаций, поскольку массовые эксперименты характеризуют неиндивидуализированного, "усредненного" субстрата ассоциативно — вербальной сети. Реальную динамику ассоциативной сети можно наблюдать в длительных экспериментах с одними и теми же испытуемыми, строя индивидуальные ассоциативные словари. Материал для индивидуальных ассоциативных словарей саратовских школьников собирается и составит особое приложение к описываемому компьютерному словарю (см. [Сдобнова 2004] и статью А.П. Сдобновой в настоящем сборнике.
Литература
Гольдин В.Е. Ассоциативный эксперимент как речевая игра // Жизнь языка. М., 2001.
Гольдин В.Е. Речевое поведение младших школьников: ассоциативные тактики и стратегии реагирования // Модернизация начального образования. Саратов, 2003.
Караулов Ю.Н. Активная грамматика и ассоциативно — вербальная сеть. М., 1999.
Караулов Ю.Н. Русский ассоциативный словарь как новый лингвистический источник и инструмент анализа языковой способности // Караулов Ю.Н., Сорокин Ю.А., Тарасов Е.Ф., Уфимцева Н.В., Черкасова Г.А. Русский ассоциативный словарь. Кн. 1. М., 1994.
Караулов Ю.Н., Сорокин Ю.А., Тарасов Е.Ф., Уфимцева Н.В., Черкасова Г.А. Русский ассоциативный словарь. Кн. 3. М., 1996.
Овчинникова И.Г., Штерн А.С. Ассоциативная сила русского слова // Психолингвистические проблемы фонетики и лексики. Калинин, 1989.
Сдобнова А.П. Литературные феномены в ассоциативном словаре школьников Саратова и Саратовской области // Междисциплинарные связи при изучении литературы. Саратов, 2003.
Сдобнова А.П. Отражение динамики лексикона школьников в ассоциативном словаре // Модернизация начального образования. Саратов, 2003.
Сдобнова А.П. Индивидуальные ассоциативные словари как лингвистические источники // Проблемы русской лексикографии. Тезисы докладов международной конференции. Шестые Шмелевские чтения 24 — 26 февраля 2004 г. М., 2004.
Словарь ассоциативных норм русского языка / Под ред. А.А. Леонтьева. М., 1977.
Опубликовано в кн.: Русский язык сегодня. Вып. 3. Сб. статей / РАН. Ин — т рус. яз. им. В.В. Виноградова. М., 2004. С. 64 — 75.
