Технология извлечения знаний из нейронных сетей: апробация, проектирование ПО, использование в психолингвистике
| Примечание | Целью дипломной работы является апробация гибкой технологии извлечения знаний из нейронных сетей, настраиваемой с учетом предпочтений пользователя. |
| Загрузить архив: | |
| Файл: ref-27882.zip (207kb [zip], Скачиваний: 74) скачать |
Министерство образования Российской Федерации
Омский Государственный Университет
Математический факультет
Горбань Павел Александрович
ТЕХНОЛОГИЯ ИЗВЛЕЧЕНИЯ ЗНАНИЙ ИЗ НЕЙРОННЫХ СЕТЕЙ:
АПРОБАЦИЯ, ПРОЕКТИРОВАНИЕ ПО,
ИСПОЛЬЗОВАНИЕ В ПСИХОЛИНГВИСТИКЕ
Дипломная работа
Научный руководитель:
Член-корреспондент РАН
В.В. Шайдуров
Введение.. PAGEREF _Toc200625771 h 4
Цель работы.. PAGEREF _Toc200625772 h 4
Основные задачи исследования. PAGEREF _Toc200625773 h 4
Основные результаты работы, полученные лично автором.. PAGEREF _Toc200625774 h 4
Апробация работы.. PAGEREF _Toc200625775 h 5
Публикации.. PAGEREF _Toc200625776 h 5
Глава 1. Проблема извлечения знаний и обзор методов извлечения знаний.. PAGEREF _Toc200625777 h 6
1.1 Знание и приобретение знаний.. PAGEREF _Toc200625778 h 6
1.1.1 "Знание". PAGEREF _Toc200625779 h 6
1.1.2. Приобретение знаний. PAGEREF _Toc200625780 h 8
1.2. Методы извлечения и приобретения знаний.. PAGEREF _Toc200625781 h 8
1.2.1.1. Трудности при разработке экспертных систем.. PAGEREF _Toc200625783 h 11
1.2.2. Методы извлечения знаний из таблиц данных. PAGEREF _Toc200625784 h 12
1.2.2.1. Технология извлечения знаний из таблиц данных. PAGEREF _Toc200625785 h 12
1.2.2.2. Таблица эмпирических данных. PAGEREF _Toc200625786 h 13
1.2.2.3. Статистические методы извлечения знаний из таблицы данных. PAGEREF _Toc200625787 h 15
1.2.3. Методы идентификации систем.. PAGEREF _Toc200625788 h 15
1.2.4. Другие методы обработки данных. PAGEREF _Toc200625789 h 16
1.3. Требования к технологии извлечения знаний.. PAGEREF _Toc200625790 h 17
Глава 2. Нейронные сети.. PAGEREF _Toc200625791 h 19
2.1. Коннекционизм.. PAGEREF _Toc200625792 h 19
2.2. Элементы нейронных сетей.. PAGEREF _Toc200625793 h 20
2.3. Основные архитектуры нейронных сетей.. PAGEREF _Toc200625794 h 21
2.4. Обучение нейронных сетей как минимизация функции ошибки.. PAGEREF _Toc200625795 h 22
Глава 3. Упрощение нейронной сети. PAGEREF _Toc200625796 h 27
3.1. Что такое упрощение нейронной сети и зачем оно нужно.. PAGEREF _Toc200625797 h 27
3.2. Задача извлечения знаний из нейронной сети.. PAGEREF _Toc200625798 h 28
3.3. Методы упрощения нейронных сетей.. PAGEREF _Toc200625799 h 29
3.3.1. Контрастирование синапсов нейросети. PAGEREF _Toc200625800 h 30
3.3.2. Контрастирование нейронов нейросети. PAGEREF _Toc200625801 h 32
3.3.3. Контрастирование входных сигналов нейросети. PAGEREF _Toc200625802 h 35
3.3.4. Бинаризация синапсов. PAGEREF _Toc200625803 h 36
3.3.5. Упрощение нелинейных преобразователей нейронов. PAGEREF _Toc200625804 h 37
3.3.6. Дополнительные модификации алгоритмов контрастирования. PAGEREF _Toc200625805 h 37
3.3.7. Методы модификации структуры обученной сети. PAGEREF _Toc200625806 h 38
3.4. Требования к процессу упрощения сети для извлечения знаний.. PAGEREF _Toc200625807 h 38
3.5. Упрощающие операции над нейронной сетью... PAGEREF _Toc200625808 h 39
3.6. Процедура комплексного упрощения нейронной сети.. PAGEREF _Toc200625809 h 40
Глава 4. Методы извлечениязнанийиз искусственныхнейронныхсетей.. PAGEREF _Toc200625810 h 41
4.1. Существующие методы извлечения знаний из обученной нейросети.. PAGEREF _Toc200625811 h 41
4.1.1. Методы на основе квантования сигналов сети. PAGEREF _Toc200625812 h 42
4.1.2. Методы извлечения знаний параллельно с обучением нейросети. PAGEREF _Toc200625813 h 44
4.1.3. Методы извлечения знаний из обученной нейросети. PAGEREF _Toc200625814 h 46
4.2. Методы извлечения знаний: требования к методам.. PAGEREF _Toc200625815 h 50
4.4. Приемы повышения вербализуемости нейронной сети.. PAGEREF _Toc200625817 h 56
4.4.1. Добавление синдрома в набор входных симптомов. PAGEREF _Toc200625818 h 56
4.4.2. Построение иерархии продукционных правил. PAGEREF _Toc200625819 h 57
5.1. Семантический дифференциал. PAGEREF _Toc200625822 h 60
5.2. MAN-многообразия. PAGEREF _Toc200625823 h 63
Литература.. PAGEREF _Toc200625824 h 65
Публикации автора по теме диплома.. PAGEREF _Toc200625825 h 69
Приложение 1. Плакаты для защиты диплома. PAGEREF _Toc200625826 h 71
ftp://ftp.sas.com/pub/neural/importance.html
53.Goh T.-H. Semantic Extraction Using
Neural Network Modelling and Sensitivity Analisys / Proc. IJCNN 1993,
54.Howlan S.J., Hinton G.E. Simplifying Neural Network by Soft Weight Sharing / Neural Computations, 1992. Vol.4. №4. - pp.473-493.
55.Keegstra H., Jansen W.J., Nijhuis J.A.G., Spaanenburg L., Stevens H., Udding J.T. Exploiting Network Redundancy for Low-Cost Neural Network Realizations / Proc. IEEE ICNN 1996, Washington, DC, USA. Vol.2. - pp.951-955.
56.Chen A.M., Lu H.-M., Hecht-Nielsen R. On the Geometry of Feedforward Neural Network Error Surfaces // Neural Computations, 1993. - 5. pp. 910-927.
57.
58.Gorban A.N., Mirkes Ye.M., Tsaregorodtsev V.G. Generation of explicit knowledge from empirical data through pruning of trainable neural networks / Int. Joint Conf. on Neural Networks, Washington, DC, USA, 1999.
59.Ishibuchi H., Nii M. Generating Fuzzy If-Then Rules from Trained Neural Networks: Linguistic Analysis of Neural Networks / Proc. 1996 IEEE ICNN, Washington, DC, USA. Vol.2. - pp.1133-1138.
60.Lozowski A., Cholewo T.J., Zurada J.M. Crisp Rule Extraction from Perceptron Network Classifiers / Proc. 1996 IEEE ICNN, Washington, DC, USA. Plenary, Panel and Special Sessions Volume. - pp.94-99.
61.Lu H., Setiono R., Liu H. Effective Data Mining Using Neural Networks / IEEE Trans. on Knowledge and Data Engineering, 1996, Vol.8, №6. – pp.957-961.
62.Duch W., Adamczak R., Grabczewski K.
Optimization of Logical Rules Derived by Neural Procedures / Proc. 1999 IJCNN,
63.Duch W., Adamczak R., Grabczewski K.
Neural Optimization of Linguistic Variables and Membership Functions / Proc.
1999 ICONIP,
64.Ishikawa M. Rule Extraction by
Successive Regularization / Proc. 1996 IEEE ICNN,
65.Sun R., Peterson T. Learning in
Reactive Sequential Decision Tasks: the CLARION Model / Proc. 1996 IEEE ICNN,
66.Gallant S.I. Connectionist Expert Systems / Communications of the ACM, 1988, №31. – pp.152-169.
67.Saito K., Nakano R. Medical Diagnostic Expert System Based on PDP Model / Proc. IEEE ICNN, 1988. – pp.255-262.
68.Fu L.M. Rule Learning by Searching on Adapted Nets / Proc. AAAI, 1991. - pp.590-595.
69.Towell G., Shavlik J.W. Interpretation of Artificial Neural Networks: Mapping Knowledge-based Neural Networks into Rules / Advances in Neural Information Processing Systems 4 (Moody J.E., Hanson S.J., Lippmann R.P. eds.). Morgan Kaufmann, 1992. - pp. 977-984.
70.Fu L.M. Rule Generation From Neural
Networks / IEEE Trans. on Systems,
71.Yi L., Hongbao S. The N-R Method of Acquiring Multi-step Reasoning Production Rules Based on NN / Proc. 1996 IEEE ICNN, Washington, DC, USA. Vol.2. - pp.1150-1155.
72.Towell G., Shavlik J.W., Noodewier M.O. Refinement of Approximately Correct Domain Theories by Knowledge-based Neural Networks / Proc. AAAI'90, Boston, MA, USA, 1990. - pp.861-866.
73.Towell G., Shavlik J.W. Extracting Refined Rules from Knowledge-based Neural Networks / Machine Learning, 1993. Vol.13. - pp. 71-101.
74.Towell G., Shavlik J.W. Knowledge-based Artificial Neural Networks / Artificial Intelligence, 1994. Vol.70, №3. - pp.119-165.
75.Opitz D., Shavlik J. Heuristically
Expanding Knowledge-based Neural Networks / Proc. 13 Int. Joint Conf. on
Artificial Intelligence,
76.Opitz D., Shavlik J. Dynamically Adding Symbolically Meaningful Nodes to Knowledge-based Neural Networks / Knowledge-based Systems, 1995. - pp.301-311.
77.Craven M., Shavlik J. Learning Symbolic Rules Using Artificial Neural Networks / Proc. 10 Int. Conf. on Machine Learning, Amherst, MA, USA. Morgan Kaufmann, 1993. - pp.73-80.
78.Craven M., Shavlik J. Using Sampling and Queries to Extract Rules from Trained Neural Networks / Proc. 11 Int. Conf. on Machine Learning, New Brunswick, NJ, USA, 1994. - pp.37-45.
79.Medler D.A., McCaughan D.B., Dawson
M.R.W., Willson L. When Local int't Enough: Extracting Distributed Rules from
Networks / Proc. 1999 IJCNN,
80.Craven M.W., Shavlik J.W. Extracting
Comprehensible Concept Representations from Trained Neural Networks / IJCAI Workshop on Comprehensibility in
Machine Learning,
81.Andrews R., Diederich J., Tickle A.B. A Survey and Critique of Techniques for Extracting Rules from Trained Artificial Neural Networks / Knowledge Based Systems, 1995, №8. - pp.373-389.
82.Craven M.W., Shavlik J.W. Using Neural Networks for Data Mining / Future Generation Computer Systems, 1997.
83. Craven M.W., Shavlik J.W. Rule Extraction: Where Do We Go From Here? Department of Computer Sciences, University of Wisconsin, Machine Learning Research Group Working Paper 99-1. 1999.
84. Michalski R.S. A Theory and Methodology of Inductive Learning / Artificial Intelligence, 1983, Vol.20. – pp.111-161.
85. McMillan C., Mozer M.C., Smolensky P. The Connectionist Scientist Game: Rule Extraction and Refinement in a Neural Network / Proc. XIII Annual Conf. of the Cognitive Science Society, Hillsdale, NJ, USA, 1991. Erlbaum Press, 1991.
86.Language, meaning and culture: the
selected papers of C. E. Osgood / ed. by Charles. E. Osgood and Oliver C. S.
Tzeng.
87. и анализ выборов американских президентов, основанный на технологии производства явных знаний из данных // Материалы XXXVII Международной научной студенческой конференции "Cтудент и научно-технический прогресс": Информационные технологии. Новосибирск, НГУ, 1999
Публикации автора по теме диплома
1. "Нейрокомпьютеры": разработка, применение. 2002,No 4. С. 14-19.
2.(Электроннаяверсия: http:// www.biophys.msu.ru/ scripts/ trans.pl/rus/ cyrillic/ awse/ CONFER/ MCE99/ 072.htm )
3.
Gorban
P.A. Relations between Social, Economic and Political Traits of
4.
5.
6.
Благодарности
Автор благодарен своему научному руководителю, всем сотрудника группы "Нейрокомп" и, в особенности, В.Г. Царегородцеву за внимание к работе, поддержку и разрешение использовать результаты совместных работ в дипломе. Я существенно использовал в дипломной работе описание программы «НейроПро» (В.Г. Царегородцев), технический отчет с обзором экспертных систем (А. Батуро), а также лекции проф. А.Н. Горбаня по нейронным сетям.
Приложение 1. Плакаты для защиты диплома.
ТЕХНОЛОГИЯ ИЗВЛЕЧЕНИЯ ЗНАНИЙ ИЗ НЕЙРОННЫХ СЕТЕЙ:
¨АПРОБАЦИЯ,
¨ПРОЕКТИРОВАНИЕ ПО,
¨ИСПОЛЬЗОВАНИЕ В ПСИХОЛИНГВИСТИКЕ
ЦЕЛЬ РАБОТЫ
¨ апробация гибкой технологии извлечения знаний из нейронных сетей, настраиваемой с учетом предпочтений пользователя;
¨ тестирование, пробная эксплуатация и разработка новой версии программных средств, реализующих данную технологию;
¨ проведение исследований индивидуальных пространств смыслов на основе данной технологии.
ОСНОВНЫЕ ЗАДАЧИ РАБОТЫ
¨ анализ разработанных методов извлечения явных знаний из нейронных сетей с указанием их ограничений и областей применимости;
¨ апробация гибкой настраиваемой на основе предпочтений пользователя технологии извлечения знаний, опирающейся на предварительное проведение комплексного упрощения нейронной сети, выполняющегося с учетом сформированных пользователем требований к результирующему виду извлекаемых знаний;
¨ тестирование, пробная эксплуатация и разработка новой версии программных средств, реализующих данную технологию;
¨ усовершенствование метода семантического дифференциала Осгуда при помощи технологии разреживания обучаемых нейронных сетей.
НЕЙРОНЫ, СЕТИ, ОБУЧЕНИЕ
Формальный нейрон
|
Слоистая сеть |
ОБУЧЕНИЕ – МИНИМИЗАЦИЯ ОШИБКИ НА ПРИМЕРАХ С ИЗВЕСТНЫМ ОТВЕТОМ
МЕТОДЫ (АЛГОРИТМЫ)
ОБРАТНОГО РАСПРОСТРАНЕНИЯ
Вычисление сложной функции многих переменных представим, как движение по графу: в каждой его вершине производится вычисление простой функции (рис. а).
Вычисление градиента (для оптимизации) представляется обратным движением (рис. б).
Рис. а. Прохождение вершины t в прямом направлении.
Рис. б. Прохождение вершины t в обратном направлении.
|
|
Схематическое представление вычисления сложной функции одного переменного и ее производных.
ЗАДАЧА ИЗВЛЕЧЕНИЯ ЗНАНИЙ ИЗ НЕЙРОННОЙ СЕТИ
вырезание "всего лишнего"
нейросеть логически прозрачная нейросеть
данные
неявные знания явные знания
Нейросеть в ходе обучения формирует неявные знания, в ходе упрощения сети достигается логически прозрачная структура сети, удовлетворяющая некоторым заданным требованиям, и по ней сети возможно записать правила принятия решения в явном виде.
Результатом процесса извлечения знаний должен являться набор правил, который с заданной точностью решает заданное число примеров обучающей выборки
ЗНАЧИМОСТЬ И УПРОЩЕНИЕ
Показатели значимости – оценки изменения значения штрафной функции после некоторой модификации нейросети.
Показатели значимости нулевого порядка, основаны на рассмотрении абсолютной величины веса синапса.
Показатели значимости первого порядка оценивают по линейному приближению изменение значения штрафной функции после модификации.
Показатели значимости второго порядка используют второе тейлоровское приближение изменения штрафной функции после модификации.
КРИТЕРИИ ЛОГИЧЕСКОЙ ПРОЗРАЧНОСТИ
1.Чем меньше слоев нейронов в сети, тем сеть более логически прозрачна. В более сложных случаях: чем меньше нейронов в каждом из имеющихся путей прохождения сигналов в сети от входа к выходу, тем лучше.
2.Чем меньше число нейронов в каждом слое сети, тем лучше.
3.Чем меньше входных сигналов сети, тем лучше.
4.Чем меньше число приходящих на нейрон сигналов, тем лучше.
5.Чем меньше общее число синапсов в сети, тем лучше.
6.Необходимо приведение значений настраиваемых параметров сети к конечному набору выделенных значений.
Упрощение (контрастирование) нейронной сети строится как последовательный процесс исключения из сети наименее значимого элемента, уменьшающий нужный показатель, и дальнейшего подучивания сети. Если после шага упрощения невозможно доучивание сети до требуемой точности, то возвращаемся к сети, полученной на предыдущем шаге, и завершаем процесс упрощения.
МЕТОД СЕМАНТИЧЕСКОГО ДИФФЕРЕНЦИАЛА
Слова осмысляются человеком не через "толковый словарь", а через ощущения, переживания. Определить смысл слова – значит выделить этот комплекс переживаний. Путь к смыслу через качественные признаки понятия.
ГИПОТЕЗА ОСГУДА –
СУЩЕСТВУЮТ КООРДИНАТЫ СМЫСЛА:
все существенные свойства понятия определяются на основании небольшого числа базисных свойств
|
|
|||||||||
 |
|||||||||
|
Cлово
 |
|||
 |
|||
Основной базис Осгуда:
Оценка («Хороший-Плохой»),
Сила («Сильный-Слабый»),
Активность («Активный-Пассивный»)
ОТЛИЧИЕ НАШЕЙ ПОСТАНОВКИ
ОТ ЗАДАЧИ ОСГУДА
|
У Осгуда |
У нас |
|
Ищется базис для всех носителей языка («Средний базис»). |
Ищется базис для индивидуального носителя языка («Базис индивидуальных смыслов»). |
|
Ищутся линейные связи. |
Ищутся нелинейные связи (параметр, характеризующий регулярность связи – число нейронов). |
|
У Осгуда признаки, не восстанавливаемые по базисным, выбрасываются, как незначимые. |
У нас объекты, признаки которых не удается восстановить, рассматриваются как особые, характеризующие индивидуальные отклонения («психоаналитические»). |
ОТЛИЧИЕ НАШИХ РЕЗУЛЬТАТОВ
ОТ РЕЗУЛЬТАТОВ ОСГУДА
|
У Осгуда |
У нас |
|
Пространство смыслов трехмерно, ошибка предсказания свойств велика. |
Размерность пространства смыслов индивидуальна, само пространство есть объединение типового MAN-многообразия с небольшим числом точек «психоаналитических» больших отклонений. Именно их наличие не позволяет дать точное «трехмерное» (среднекультурное) предсказание. |
КООРДИНАТЫ И ОСОБЫЕ ТОЧКИ ИНДИВИДУАЛЬНЫХ СМЫСЛОВЫХ ПРОСТРАНСТВ
Определяющий набор признаков 1-го человека (размерность 7):
Умный – глупый
Шумный – тихий
Разумный – неразумный
Плотный – рыхлый
Дружественный–враждебный
Страшный – не страшный
Опасный – безопасный.
Исключения: горшок, теорема, наука, деньги
2-го человека (размерность 6):
Сильный – слабый
Приятный – неприятный
Опасный – безопасный
Страшный – не страшный
Дружественный–враждебный
Удобный – неудобный.
Исключения: работа, жена, наука, деньги, тортик
3-го человека (размерность 2):
Приятный – неприятный
Опасный – безопасный.
Исключения: нет
ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ,
ПОЛУЧЕННЫЕ ЛИЧНО АВТОРОМ
1.Предложены следующие приемы, упрощающие и делающие более гибким процесс вербализации (семантического анализа – осмысления в терминах проблемной области) извлеченного из сети набора правил:
a)На основе гипотезы о неединственности извлекаемых правил и учитывая, что разные фрагменты сети (поднаборы правил) будут более или менее правдоподобны и интерпретируемы, предложено конструирование новой, более понятной пользователю нейронной сети из наиболее просто интерпретируемых фрагментов других сетей, решающих ту же задачу.
b)Предложено добавление выходного сигнала некоторого фрагмента сети (содержательно интерпретируемого и правдоподобного с точки зрения пользователя) в качестве нового интегрального признака в число независимых признаков таблицы данных, и решение задачи извлечения знаний на основе полученного расширенного набора признаков.
2.Разработано техническое задание на новую версию программы-нейроимитатора, реализующую предложенные технологии.
3.Усовершенствован метод семантического дифференциала Осгуда при помощи технологии разреживания обучаемых нейронных сетей. Проведена серия экспериментов, заключающихся в исследовании индивидуальных смысловых пространств, проинтерпретированы их результаты.
4.Предложена гипотеза о структуре индивидуального пространства смыслов: оно состоит из многообразия малой размерности, задаваемого культурой («ман-многообразия» от немецкого безличного местоимения «man») и сравнительно небольшого множества индивидуальных отклонений, которые могут быть важны для диагностики.
Приложение 2. Статья: Горбань П.А. Нейросетевой анализ структуры индивидуального пространства смыслов. "Нейрокомпьютеры": разработка, применение. 2002,No 4. С. 14-19.
УДК 681.31
Нейросетевой анализ структуры индивидуального пространства смыслов
П.А.Горбань
Усовершенствован метод семантического дифференциала Осгуда при помощи технологии разреживания обучаемых нейронных сетей. Проведена серия экспериментов, заключающихся в исследовании индивидуальных смысловых пространств, проинтерпретированы их результаты. Предложена гипотеза о структуре индивидуального пространства смыслов: оно состоит из многообразия малой размерности, задаваемого культурой («ман-многообразия» от немецкого безличного местоимения «man») и сравнительно небольшого множества индивидуальных отклонений, которые могут быть важны для диагностики. Каждая культура имеет небольшое количество специфических для нее ман -многообразий (субкультур).
The method of the semantic differential by Osgood was improved using the technology of pruning neural networks. The series of the experiments, consists of the research of the individual meaning space was made, and there given an interpretation of their results. A hypothesis about the structure of the individual meaning space, concluding in that this consists of the manifold of small dimention (man-manifold, from the german indefinite pronoun «man») and a small quantity of individual divertions, which could be important for the psychodiagnostics, was proposed. Every culture have a small amount of its specific man-manifolds (subcultures).
Слова осмысляются человеком не через "толковый словарь", а через ощущения, переживания. За каждым словом у человека стоит несколько этих базовых переживаний: собака - это что-то маленькое, добродушненькое, пушистое, с мокрым язычком, …, но это и здоровенный, грозно рычащий зверь со злобными глазами, огромными клыками, … . Большинство слов кодирует некоторые группы переживаний, ощущений, и определить смысл слова, то есть эти самые переживания – довольно сложная задача.
Дж. Осгуд с соавторами в работе под названием “Измерение значений” ввели для решения этой задачи метод “семантического дифференциала” (обзор литературы дан в работе [1]). Они предложили искать координаты слова в пространстве свойств следующим образом. Был собран некоторый набор слов (например, "мама", "папа" и т.д.) и набор признаков к этим словам (таких, как близкий - далекий, хороший - плохой, и т.д.), и опрашиваемые люди оценивали слова по этим шкалам. Затем отыскивался минимальный набор координат смысла, по которому можно восстановить все остальные. Было выделено 3 базовых координаты смысла, по которым все остальные можно предсказать достаточно точно: сильный - слабый, активный - пассивный и хороший - плохой. С другой стороны, выявились огромные различия между культурами, например, у японцев и американцев очень многие вещи имеют существенно разные смысловые характеристики.
Существуют различные способы выделения основных признаков (базовых координат), например, метод главных компонент, факторный анализ и др. В данной работе используются нейросетевые методы. Разработка технологии сокращения описания и извлечения знаний из данных с помощью обучаемых и разреживаемых нейронных сетей началась в 90-е годы XX века (см., например, [2-4]) и к настоящему времени созданы библиотеки нейросетевых программ даже для PC, позволяющие строить полуэмпирические теории в различных областях [5-7].
В данной работе с помощью нейроимитатора исследовались индивидуальные смысловые пространства. Был создан вопросник, в котором определяются координаты (от –10 до 10) 40 слов по 27 параметрам и были проведены эксперименты на нескольких людях.
Слова:
43.Папа
44.Мама
45.Болезнь
46.Детский сад
47.Школа
48.Собака
49.Кот
50.Воробей
51.Ворона
52.Апельсин
53.Яблоко
54.Дед Мороз
55.Дерево
56.Змея
57.Еда
58.Тортик
59.Горшок
60.Брат
61.Сестра
62.Работа
63.Деньги
64.Квартира
65.Муж (жена)
66.Дедушка
67.Бабушка
68.Музыка
69.Президент
70.Парламент
71.Политика
72.Наука
73.Политик
74.Ученый
75.Теорема
76.Выборы
77.Коммунизм
78.Доказательство
79.Россия
80.Америка
81.Китай
82.Израиль
83.Религия
84.Бог
Параметры:
28.Плотный – рыхлый
29.Молодой – старый
30.Светлый – темный
31.Разумный – неразумный
32.Холодный – горячий
33.Быстрый – медленный
34.Близкий – далекий
35.Пугливый – бесстрашный
36.Страшный – не страшный
37.Спокойный – беспокойный
38.Веселый – грустный
39.Удобный – неудобный
40.Красивый – некрасивый
41.Опасный – безопасный
42.Приятный – неприятный
43.Ручной – дикий
44.Утонченный – грубый
45.Умный – глупый
46.Шумный – тихий
47.Ласковый – грубый
48.Большой – маленький
49.Дружественный – враждебный
50.Мягкий – твердый
51.Добрый – злой
52.Активный – пассивный
53.Хороший – плохой
54.Сильный – слабый
В экспериментах отыскивался минимальный набор координат смысла, по которому можно восстановить все остальные с точностью до тенденции (т.е. с точностью до 3 баллов). Это делалось при помощи нейросетевого имитатора NeuroPro [5]. Следует отметить, что предсказание с точностью до 3 баллов фактически соответствует переходу от 21-балльных шкал (от –10 до 10) к традиционным 7-балльным (от –3 до 3).
С помощью NeuroPro возможно получение показателей значимости входных сигналов для принятия нейросетью решения, показателей чувствительности выходного сигнала сети к изменению входных сигналов, показателей значимости и чувствительности по отдельным примерам выборки.
За начальную архитектуру была взята слоистая нейронная сеть, состоящая из трех слоев по 10 нейронов в каждом. Далее проводились последовательно следующие операции.
3) Обучение нейронной сети с максимальной допустимой ошибкой обучения 0.49 балла (такая ошибка приводит к тому, что после округления ошибка обучения фактически равна 0). Как показал опыт, такой ошибки обучения чаще всего достаточно для предсказаний с требуемой точностью, то есть для ошибки обобщения, меньшей 3 баллов.
4) Из входных сигналов выбирался наименее значимый и исключался, после чего проводилось повторное обучение нейросети с новыми входными сигналами и прежней ошибкой обучения.
Эта процедура проводилась до тех пор, пока нейросеть могла обучиться. В результате этих операций были получены минимальные определяющие наборы признаков (т.е. наборы входных сигналов, оставшиеся после сокращения их числа).
Для разных людей получены очень разные результаты (первые результаты представлены в [8]), совсем непохожие на результаты Осгуда. Вот типичные примеры:
Определяющий набор признаков 1-го человека (размерность 7):
Умный – глупый, шумный – тихий, разумный – неразумный, плотный – рыхлый, дружественный – враждебный, страшный – не страшный, опасный – безопасный.
2-го человека: сильный – слабый, приятный – неприятный, опасный – безопасный, страшный – не страшный, дружественный – враждебный, удобный – неудобный (размерность 6).
3-го человека: приятный – неприятный, опасный – безопасный (размерность 2).
Представляет интерес, что Осгудовские признаки почти не представлены в большинстве наборов. В связи с этим было решено проверить, можно ли предсказать значения произвольно выбранных признаков при помощи набора Осгуда (ошибка обучения в экспериментах допускалась ±0.49 балла). Практически во всех случаях нейронные сети обучались с приемлемой ошибкой обучения, но ошибка обобщения в экспериментах со скользящим контролем (нейронные сети обучались по всем словам, кроме 2-х – 3-х, а потом тестировались на этих словах) часто была недопустимо велика (5-9 баллов).
После этого проводились следующие эксперименты: нейронная сеть обучалась предсказывать значения параметров по уже определенному минимальному набору признаков на одной половине слов, далее она тестировалась на словах из другой половины. При этом для большинства слов нейронные сети давали удовлетворительные прогнозы по всем параметрам (с точностью до 3 баллов), но почти во всех случаях обнаруживались одно - два слова, для которых сразу по нескольким признакам ошибка нейронных сетей была очень велика.
Итак, для каждого человека обнаруживается многообразие сравнительно малой размерности, в небольшой окрестности которого лежат почти все слова.
При осмыслении этого возникает гипотеза, связанная с тем, что отношение человека к большинству вещей, событий и т.д. не индивидуально, а сформировано культурой, в которой этот человек рос, его окружением и поэтому зависит от сравнительно небольшого числа признаков. В связи с этим и могли появиться многообразия малой размерности, в небольшой окрестности которых лежат почти все слова. Назовем их ман–многообразиями (от немецкого неопределенного местоимения man (некто)). Вероятно, для каждой определенной культуры имеется небольшое количество различных ман-многообразий, специфичных для нее. В ходе воспитания человек присваивает одно из типичных ман–многообразий. Например, определяющий набор признаков 3-го человека представляется основным набором признаков и для животных: опасность и приятность имеют прямой химический аналог и соответствуют уровню адреналина, эндорфинов и энкефалинов.
Обнаружено, что у большинства людей есть слова, которые неожиданно "выпадают" из ман-многообразий, ‑ отстоят от них довольно далеко. Вероятно, это слова, с которыми у человека связаны какие-либо сильные переживания, ощущения, что приводит к появлению "индивидуальности" оценки или же слова, свое истинное отношение к которым человек пытается скрыть. Есть еще один тип таких точек, специфичных для каждой отдельной культуры (или субкультуры), особое отношение к которым сформировано самой культурой (например, в России – Великая Отечественная, в мусульманских странах – бог). Интерпретация "индивидуальных точек" может дать полезную психодиагностическую информацию, а анализ особенных точек культуры - культурологическую. Возможно проведение культурологических исследований путем сравнения особенностей и закономерностей для различных культур.
Уже первые опыты показывают, что набор индивидуальных точек дает яркий и узнаваемый портрет личности, а общекультурные особенности пока не были изучены, так как требуют более масштабных исследований.
В перспективе результаты работы могут быть использованы во многих областях, где требуется информация о психологии и психическом здоровье человека, могут быть применены для создания компьютерных психодиагностических методик, выявляющих и анализирующих индивидуальные особенности и скрытые напряжения и т.п.
Литература
1.
Language, meaning and culture: the
selected papers of C. E. Osgood / ed. by Charles. E. Osgood and Oliver C. S.
Tzeng.
2. Горбань А.Н. Обучение нейронных сетей. М.: изд. СССР-США СП "ParaGraph", 1990. - 160с. (English Translation: AMSE Transaction, Scientific Siberian, A, 1993, Vol. 6. Neurocomputing, рp.1-134).
3. Le Cun Y., Denker J.S., Solla S.A. Optimal Brain Damage / Advances in Neural Information Processing Systems 2. - Morgan Kaufmann, 1990. - pp.598-605.
4.McMillan C., Mozer M.C., Smolensky P. The Connectionist Scientist Game: Rule Extraction and Refinement in a Neural Network / Proc. XIII Annual Conf. of the Cognitive Science Society, Hillsdale, NJ, USA, 1991. Erlbaum Press, 1991.
5.Царегородцев В.Г. Производство полуэмпирических знаний из таблиц данных с помощью обучаемых искуственных нейронных сетей // Методы нейроинформатики. Красноярск: Изд-во КГТУ, 1998.
6. Gorban A.N., Mirkes Ye.M., Tsaregorodtsev V.G. Generation of explicit knowledge from empirical data through pruning of trainable neural networks / Int. Joint Conf. on Neural Networks, Washington, DC, USA, 1999.
7. Tsaregorodtsev V.G., Nazimova D.I., Nozhenkova L.F. Neural Identification of the Zonal Classes and Siberian Forest Formations Based on Climatic Parameters / Proc. Int. Symposium "Biodiversity and Dynamics of Ecosystems in North Eurasia", Novosibirsk, Aug. 2000. Vol.4. Part 1. - pp.37-39.
8. Горбань П.А. Нейросетевая реализация метода семантического дифференциалаи анализ выборов американских президентов, основанный на технологии производства явных знаний из данных // Материалы XXXVII Международной научной студенческой конференции "Cтудент и научно-технический прогресс": Информационные технологии. Новосибирск, НГУ, 1999
Горбань Павел Александрович (1982 г.р.) –
Студент 4 курса математического факультета КрасГУ.
Область научных интересов: нейроинформатика, теория групп.