авторефераты диссертаций БЕСПЛАТНАЯ БИБЛИОТЕКА РОССИИ

КОНФЕРЕНЦИИ, КНИГИ, ПОСОБИЯ, НАУЧНЫЕ ИЗДАНИЯ

<< ГЛАВНАЯ
АГРОИНЖЕНЕРИЯ
АСТРОНОМИЯ
БЕЗОПАСНОСТЬ
БИОЛОГИЯ
ЗЕМЛЯ
ИНФОРМАТИКА
ИСКУССТВОВЕДЕНИЕ
ИСТОРИЯ
КУЛЬТУРОЛОГИЯ
МАШИНОСТРОЕНИЕ
МЕДИЦИНА
МЕТАЛЛУРГИЯ
МЕХАНИКА
ПЕДАГОГИКА
ПОЛИТИКА
ПРИБОРОСТРОЕНИЕ
ПРОДОВОЛЬСТВИЕ
ПСИХОЛОГИЯ
РАДИОТЕХНИКА
СЕЛЬСКОЕ ХОЗЯЙСТВО
СОЦИОЛОГИЯ
СТРОИТЕЛЬСТВО
ТЕХНИЧЕСКИЕ НАУКИ
ТРАНСПОРТ
ФАРМАЦЕВТИКА
ФИЗИКА
ФИЗИОЛОГИЯ
ФИЛОЛОГИЯ
ФИЛОСОФИЯ
ХИМИЯ
ЭКОНОМИКА
ЭЛЕКТРОТЕХНИКА
ЭНЕРГЕТИКА
ЮРИСПРУДЕНЦИЯ
ЯЗЫКОЗНАНИЕ
РАЗНОЕ
КОНТАКТЫ


Pages:   || 2 | 3 | 4 | 5 |   ...   | 6 |
-- [ Страница 1 ] --

Глава 2. Онтологии учебных курсов и структуризация материала 1

Снитюк В.Е., Юрченко К.Н.

Интеллектуальное управление

оцениванием знаний

Монография

Черкассы 2013

2 Интеллектуальное управление оцениванием знаний

ББК 32.815

C. 53

УДК 004.896

ISBN 978-966-2200-28-7

Снитюк В.Е., Юрченко К.Н. Интеллектуальное управление

оцениванием знаний. Черкассы, 2013. 262 с.

Динамика современного мира является причиной и основани ем внедрения новых методов обучения и контроля знаний. На сме ну каноническим парадигмам приходят новые технологии: он лайн-обучение, видеоконференции, обучение «в течении жизни» и др. Эффективность их внедрения и использования зависит от мно гих факторов, главным среди которых является интеллектуализа ция процессов обучения и контроля знаний.

В монографии рассмотрены аспекты создания технологичных автоматизированных систем обучения и оценивания. Предложены модели и методы структуризации учебного материала, его онтоло гического представления, а также разработана технология адап тивного определения уровня подготовленности обучаемого. Полу ченные результаты позволяют сократить время контроля знаний, оптимизировать планы обучения и самообучения, объективизиро вать процессы оценивания. Кроме обучения и контроля знаний, они могут быть применимы при проведении экспертиз, определе нии компетентности экспертов, осуществлении профессиональной подготовки и создании различного рода экспертных компьютер ных систем.

Для научных сотрудников, преподавателей, специалистов в области создания и использования автоматизированных систем обучения и контроля знаний, моделирования процессов обучения, адаптивных систем контроля знаний, а также тех лиц, деятельность которых связана с преподаванием, проведением экспертиз, про фессиональной подготовкой и оцениванием знаний.

Табл. 16. Рис. 24. Библиогр. 191 наим.

Р е ц е н з е н т ы:

Волошин О.Ф., доктор технических наук, профессор (Киевский национальный университет им. Т. Шевченко) Тимченко А.А., доктор технических наук, профессор (Черкасский государственный технологический универси тет) Монография утверждена к печати ученым советом Черкасского государственного технологического университета, протокол № 7 от 15.04.2013 и ученым советом Академии пожарной безопасности имени Героев Чернобыля, протокол № 6 от 22.03. Содержание СОДЕРЖАНИЕ Стр.

СПИСОК СОКРАЩЕНИЙ……………………………… ВВЕДЕНИЕ………………………………………………….. Глава СОВРЕМЕННЫЕ ЭЛЕМЕНТЫ ИНТЕЛЛЕКТУАЛЬ НЫХ КОМПЬЮТЕРНЫХ ТЕХНОЛОГИЙ ОЦЕНИ ВАНИЯ. ПРОБЛЕМЫ И АСПЕКТЫ ИХ РЕШЕНИЯ 1.1. Проблема и задачи проектирования и использования интеллектуальных систем профессиональной подго товки……………………………………………………….… 1.2. Экспертные системы как базовая структура оценива ния знаний……………………………………………........... 1.3. Анализ информационных технологий, применяемых в процессах оценивания знаний и умений………….... 1.4. Структурно-логические элементы построения авто матизированных систем контроля знаний и обуче ния……….…………………………………………………… Резюме……………………………………………………….. Глава ОНТОЛОГИИ УЧЕБНЫХ КУРСОВ И СТРУКТУ РИЗАЦИЯ УЧЕБНОГО МАТЕРИАЛА……….………..



2 2.1. Теоретические и прикладные аспекты применения онтологий………………………………..…………..……… 2.2. Обзор предметных областей разработки и использо вания онтологий……………………………………………. 2.3. Проектирование и управление процессом контроля знаний на основе онтологии предметной области....... 2.4. Принципы разработки и подходы к созданию систем контроля знаний с использованием онтологий…….... 2.5. Контроль знаний с использованием онтологии учеб ного курса…………………………………….……………… 2.6. Элементы структуризации учебного материала…...… Резюме…………………………………………………..…… Глава КЛАССИФИКАЦИЯ ВОПРОСОВ ДЛЯ КОНТРОЛЯ ЗНАНИЙ…………………………………………..………… 3 4 Интеллектуальное управление оцениванием знаний 3.1. Формализация типов вопросов, используемых при контроле знаний……………………………………………. 3.2. Элементы логических схем контроля знаний………… 3.3. Некоторые аспекты оценивания знаний………………. 3.4. Модели и методы определения компетентности экспертов на базе аксиомы несмещенности…………... Резюме……………………………………………………….. Глава ОБЪЕКТИВИЗАЦИЯ И ОПТИМИЗАЦИЯ КОН ТРОЛЯ ЗНАНИЙ…………………..……………………….

4 4.1. Необходимые условия построения эффективных ин теллектуальных систем профессиональной подготов ки…………………….……………………………………….. 4.2. Восходящая и нисходящая схемы контроля знаний.

Эффективность и адаптивность………………………… 4.3. Построение логической схемы контроля знаний……. 4.4. Модели определения профессиональной направлен ности обучаемых………………………………………….. 4.5. Элементы структуризации учебного материала как следствие процесса контроля знаний…………………... Резюме………………………………………………………... Глава ЭЛЕМЕНТЫ АДАПТИВНОЙ ТЕХНОЛОГИИ ОЦЕ НИВАНИЯ …………….…………………………………....

5 5.1. Технология определения адекватности логической схемы тестирования……………………………………….. 5.2. Метод корректировки уровня сложности вопросов в режиме реального времени………………………………. 5.3. Адаптация сложности вопросов при закрытом кон троле знаний……………………………………………….. 5.4. Модели для определения корректности оценок и адаптации сложности вопросов………………………… 5.5. Модели контроля знаний с учетом критерия времени 5.6. Аспекты интегральной оценки корректности логиче ской схемы контроля знаний…………………………….. Резюме………………………………………………………... Содержание Глава ЭЛЕМЕНТЫ ПАРАДИГМЫ ПРОЕКТИРОВАНИЯ ИНТЕЛЛЕКТУАЛЬНЫХ СИСТЕМ ПРОФЕССИО НАЛЬНОЙ ПОДГОТОВКИ…………………………….. 6.1. Системный подход к проектированию экспертных систем……………………………………………………….. 6.2. Структуризация процесса интегрального оценива ния знаний в экспертных системах…………………….. 6.3. Принципы формирования и структура базы знаний интеллектуальной системы профессиональной под готовки «ПрофКонтроль»………………………………… 6.4. Структурно-функциональная схема системы «ПрофКотроль»…………………………………………….. 6.5. Экспериментальное определение адекватности логи ческой схемы контроля знаний…………………………. 6.6. Экспериментальная верификация результатов кон троля знаний с использованием адаптивных схем…... Резюме………………………………………………………... ЗАКЛЮЧЕНИЕ…………………………………………….. ГЛОССАРИЙ……………………………………………….. СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ….... ПРИЛОЖЕНИЯ……………………………………………. 6 Интеллектуальное управление оцениванием знаний СПИСОК СОКРАЩЕНИЙ IRT – Item Response Theory.





ЛПР – Лицо, принимающее решение.

ИАС – Информационно-аналитическая система.

БУМ – Блок учебного материала.

АСУ – Автоматизированная система управления.

СППР – Система поддержки принятия решений.

ЭС – Экспертная система.

ИСПП – Интеллектуальная система профессиональной подготовки.

МЧС – Министерство чрезвычайных ситуаций.

ФП – Функция принадлежности.

ОСС – Оперативно-спасательная служба.

АСОКЗ – Автоматизированная система обучения и контроля знаний.

КСПП – Компьютерная система профессиональной подготовки.

ОСП – «Организация службы и подготовки».

ПТ – «Пожарная тактика».

ОРК – «Организация роботы с кадрами».

ОППР – «Организация пожарно-профилактической роботы».

ПТХ – «Пожарная техника».

Введение ВВЕДЕНИЕ Проблема повышения эффективности учебного процес са неразрывно связана с необходимостью учета современных тенденций развития науки и техники, а также общественных и социально-экономических процессов. Наличие консерва торов, не приемлющих внедрения новых форм обучения, и новаторов, ратующих за их безотлагательное внедрение и использование, создает широкое поле для дискуссий. Благо даря паритету мнений осуществляется уход от резких шагов в сторону применения той или иной парадигмы обучения, реализуется эволюционный путь развития, вследствие чего сфера образования не остается в стороне от достижений научно-технического процесса и не теряет личностно ориентированной направленности.

Монография посвящена решению проблемы повышения эффективности процессов обучения и контроля знаний с ис пользованием компьютерной техники как в коллективах с учителем, так и при индивидуальном обучении и самообу чении. Главное внимание уделено технологичности процес сов обучения и оценивания знаний. При этом показано ре шение двух задач: структурирования учебного материала, являющегося базисом для проведения автоматизированного контроля знаний и обучения, а также обеспечения адаптив ности таких процессов с ориентаций на особенности обучае мого или группы обучаемых.

В первой главе выполнен анализ процессов автоматизи рованного обучения и контроля знаний, позволивший сде лать вывод об отсутствии системных исследований по струк туризации и систематизации учебного материала и его пред ставления в базах знаний автоматизированных систем обу чения и контроля знаний. Указаны отличия отечественных и зарубежных систем, предложено большее внимание уделять осуществлению обратной связи, т.е. влиянию знаний обуча емых на формирование базы знаний с целью выработки наилучшего управления процессом обучения.

Во второй главе показана необходимость разработки технологий, направленных на систематизацию, классифика 8 Интеллектуальное управление оцениванием знаний цию и разработку иерархий учебного материала. Предложен новый подход к разработке автоматизированных систем обу чения и контроля знаний, базирующийся на использовании онтологий и интеллектуализации процесса оценивания. Со ответствующие системы получили название «интеллекту альные системы профессиональной подготовки». В основе их функционирования лежит композиция четырех составляю щих. Первая из них – логическая схема учебного курса, яв ляющаяся базовым элементом при определении по следовательности задаваемых вопросов. Вторая – онтология предметной области, предназначенная для формирования логической схемы контроля знаний и составляющих ее во просов. Классификация вопросов, предусматривающая фор мализацию вопросов в зависимости от типа ответов, образует третью составляющую. На последнем этапе используется процедура определения промежуточных и интегральной оценок экзаменуемого. Определены особенности формиро вания логической схемы контроля знаний на принципах ин цидентности структуре онтологии. Разработаны базовые элементы проведения контроля знаний индуктивного и де дуктивного характера.

Предложенный индуктивный подход к формированию логической схемы контроля знаний позволяет: объективизи ровать процесс оценивания знаний, обеспечить полноту оценивания, автоматизировать процедуру формирования множества вопросов и их задаваемых последовательностей, минимизировать время контроля знаний.

Формализация типов вопросов в зависимости от ответов выполнена в третьей главе. Предложены модели оценивания знаний, исходя из вероятностных конструкций ответов. Раз работана процедура определения компетентности экспертов, как частной задачи контроля знаний, в условиях неопреде ленности на базе аксиомы несмещенности, согласно которой экспертное заключение большинства компетентно. Авторы утверждают, что предложенная процедура не претендует на абсолютность, как и все другие методы оценивания субъек тивных характеристик.

В четвертой главе дано определение эффективной и Введение технологичной интеллектуальной системы профессиональ ной подготовки. Рассмотрены восходящий и нисходящий подходы к представлению учебного материала на основе графовой схемы построения и разработаны соответствующие оптимизированные методы контроля знаний обучаемых.

Предложены модели и метод определения профессиональ ной направленности обучаемых, базирующиеся на использо вании продукционных правил. Разработан метод построения плана обучения в зависимости от результатов входного или промежуточного тестирования, базирующийся на определе нии приоритетности и статуса блока учебного материала.

Такой план позволит оптимизировать структуру процесса самообучения при дистанционном образовании, а также позволит осуществить обучение на желаемом уровне, ука занном обучаемым.

Модели и методы, позволяющие обеспечить адаптив ность и объективность оценивания знаний, предложены в пятой главе. Разработана технология, позволяющая опреде лить адекватность логической схемы тестирования знаний.

Построены формальные и конструктивные модели коррек тировки уровня сложности вопросов, а также модели для определения корректности оценивания и адаптивности сложности вопросов. Для обучаемых по специальным про граммам разработаны модели корректировки сложности во просов с учетом многокритериальности процесса оценива ния.

В последней главе рассмотрены аспекты проектирования интеллектуальных систем профессиональной подготовки.

Определены принципы создания таких систем, рассмотрены их задачи, структура базы знаний и элементный состав. При ведены результаты экспериментов, которые позволили сде лать многочисленные выводы в пользу применения предло женных идей и конструктивных элементов создания интел лектуальных систем профессиональной подготовки.

Эффективность полученных результатов заключается:

– в минимизации времени проведения экспертиз и контроля знаний;

– в объективизации полученных решений, базирующейся на 10 Интеллектуальное управление оцениванием знаний автоматизации процесса экспертного анализа;

– более полном охвате предметной области и уменьшении информационной избыточности тестовых вопросов и их по следовательностей;

– непрямом формировании у экспертов и обучающихся представлений о структуре предметной области, ее базовых элементах и их функциональных взаимосвязях.

Глава 1. Современные элементы интеллектуальных технологий Глава СОВРЕМЕННЫЕ ЭЛЕМЕНТЫ ИНТЕЛЛЕКТУАЛЬНЫХ КОМПЬЮТЕРНЫХ ТЕХНОЛОГИЙ ОЦЕНИВАНИЯ.

ПРОБЛЕМЫ И АСПЕКТЫ ИХ РЕШЕНИЯ 1.1. Проблема и задачи проектирования и использования интеллектуальных систем профессиональной подготовки Последнее столетие и, особенно, его последние десятиле тия отмечены качественным рывком в разработке и исполь зовании информационных технологий. Такой вывод базиру ется на трех «китах»: создании вычислительной техники, разработке соответствующего программного обеспечения и применении первых двух составляющих к решению все бо лее сложных прикладных задач. Развитие глобальной сети и телекоммуникаций – еще один аспект, определяющий совре менное состояние производственной сферы и инфраструк туры. Широкое проникновение информационных техноло гий во все области жизнедеятельности человека привело к тому, что значительная часть мировых финансовых потоков генерируется и проходит через информационно-коммуника ционную сферу. В связи с этим возникло обоснованное пред ложение считать современный этап развития «информаци онным обществом». С другой стороны, экспоненциальный рост информации в мире и ее распространение через сеть Интернет, а также развитие самой сети и ее новые сервисы дают основания называть этот этап «обществом без границ».

Свободное распространение информации, рост хранилищ данных, извлечение новых знаний и использование для этих целей территориально удаленных кластерных и Grid-систем, указывает на формирование «общества, базирующегося на знаниях» [85, 88].

Динамика причинно-следственных процессов современ ного мира является одним из главных факторов, определяю щих необходимость эффективного профессионального ро 12 Интеллектуальное управление оцениванием знаний ста его субъектов. Такой тезис является особенно актуальным для стран с переходной экономикой. Особенности их эконо мического развития оказывают влияние на выбор и реализа цию технологий производства, обусловливая гибкость и воз можность переориентации на выпуск новой продукции в со ответствии с рыночными условиями. Такие новые техноло гии и определенная ресурсно-материальная база требуют но вых знаний об особенностях их реализации, характеристи ках, преимуществах и недостатках. Страны, не желающие оказаться в стороне от мирового научно-технического про гресса, пытаются принимать все меры для изучения и ис пользования таких технологий, что позволит не только уве личить эффективность национальных экономик, но и предотвратить всевозможные катастрофы как непременные атрибуты современности.

В последние десятилетия наблюдается рост объемов под готовки специалистов, однако их компетентность, способ ность адекватно реагировать на вызовы современности, при нимать правильные решения остается под сомнением. Со временем все больше учебных дисциплин, в т.ч. относящихся к профессиональной подготовке, изучается с использованием компьютерной техники. В связи с этим возникает необходи мость создания методологических основ применения интел лектуальных технологий в обучении, вообще, и в професси ональной подготовке, в частности. Подготовка специалистов в высших учебных заведениях, а также повышение их ква лификации на различных курсах заканчивается процессом оценивания знаний. Существует значительное количество научных исследований, в которых отражены различные под ходы к обучению, контролю знаний и созданию автоматизи рованных систем обучения и контроля знаний (АСОКЗ).

Одной из наиболее сложных задач является объективиза ция процесса оценивания знаний и умений. Ее решение со провождается необходимостью разработки АСОКЗ при усло вии выполнения ряда предпосылок, а именно, предвари тельного определения:

– принципов, которые должны быть учтены и на которых бу дут базироваться такие системы;

Глава 1. Современные элементы интеллектуальных технологий – структур, которые будут лежать в основе их построения;

– технологий проведения автоматизированного контроля уровня знаний и (или) профессиональной подготовленно сти.

Актуальными также являются задачи:

– проведения анализа моделей, методов и инструментальных средств, используемых в процессах контроля знаний и оце нивании компетентности специалистов;

– определения принципов, которые будут положены в осно ву создания многокритериальной технологии оценивания и определения профессиональной пригодности специали стов;

– разработки моделей целевых функций, исходя из значений которых будет определяться оценка обучаемого или специ алиста, предусмотрев возможность обработки информа ции, заданной в качественной форме;

– разработки методов интегрального оценивания знаний обучаемых и компетентности специалистов с учетом раз нородной информации и влияния внешней среды;

– определения принципов создания и разработки структуры базы знаний для оценивания знаний и определения компе тентности специалистов;

– выполнения экспериментальной верификации разработан ных моделей и методов.

Профессиональная подготовка является необходимым условием карьерного роста, высокой заработной платы, ува жения в коллективе и т.п. С другой стороны, что более важ но, квалифицированный специалист является составной ча стью профессионального ядра любого предприятия или учреждения, залогом его эффективного функционирования.

Заметим, что в некоторых службах и ведомствах высокая ква лификация и профессиональная подготовленность сотруд ника – непременное условие преодоления или мини мизации негативных последствий критических ситуаций.

Аналитический обзор методов контроля уровня профес сиональной подготовленности сотрудников различного про филя, а также обучаемых свидетельствует о преимуществен ном использовании традиционных методов обучения и кон 14 Интеллектуальное управление оцениванием знаний троля знаний. В частности, контроль знаний происходит в форме зачетов, экзаменов или тестирования. В то же время такое оценивание знаний для представителей некоторых от раслей является неполным и имеет низкий уровень объек тивности. Такой вывод, в частности, имеет место для пред ставителей оперативно-спасательных служб, которые долж ны принимать решения в сложных критических условиях, вызванных пожарами, техногенными и экологическими ка тастрофами, следствием которых могут быть многочислен ные человеческие жертвы и значительный материальный ущерб. Поэтому при контроле знаний целесообразно было бы учитывать сопутствующие обстоятельства и ориентиро ваться на использование современных информационных технологий [23, 62, 82]. Проведенный анализ релевантных технологий и их элементной базы, применяемых для оценки знаний и умений, свидетельствует о низком уровне разра ботки технологий контроля знаний и на недостаточное ме тодическое обеспечение такого процесса.

В большинстве случаев в таких системах реализован жесткий каркас организации подачи учебного материала или тестирования. Соответственно, рассматриваемые систе мы характеризуются информационной недостаточностью и информационной избыточностью. Информационная недо статочность связана с тем фактом, что успешное прохожде ние теста не гарантирует полного знания учебного материа ла, а информационная избыточность заключается в присут ствии в тестах вопросов, которые повторно "перекрывают" предметную область.

Еще одним недостатком большинства современных АСОКЗ является отсутствие ориентации на обучаемого и со ответствующих адаптивных механизмов. В то же время в Германии создаются системы, функционирование которых ориентировано также и на психоэмоциональное состояние пользователя [5].

Все указанные выше аспекты являются причиной и осно ванием для разработки экспертных и обучающих систем, в которых интегрированы возможности глобальной сети, уда ленного обучения и получения новой информации. Сегодня Глава 1. Современные элементы интеллектуальных технологий сложно представить вид деятельности, где не была бы задей ствована компьютерная техника и, где бы ни осуществлялись попытки применения экспертных систем.

1.2. Экспертные системы как базовая структура оценивания знаний Разработка экспертных систем (ЭС) относится к основ ному и наиболее раннему направлению искусственного ин теллекта. Первые ЭС, базирующиеся на использовании вы числительной техники, известны с 60-х годов прошлого сто летия. Сегодня сложно назвать отрасль науки или производ ства, где бы они ни использовались. Известно, что первые ЭС были предназначены для решения задач диагностики и классификации [7, 24, 138]. Промышленное применение ЭС в 80-е годы прошлого столетия связывалось с процессами при нятия решений в энергетике, промышленности и военной отраслях [22, 49, 56, 62, 105].

Оптимизация процессов проектирования, создания, функционирования и сопровождения ЭС является важной задачей теории искусственного интеллекта и методов приня тия решений. В каждом конкретном случае ее решение ра ционально осуществлять с использованием технологий, бази рующихся на методологии системного анализа, онтологиях предметных областей, принципах и методах самоорганиза ции. Как уже было указано выше, стремительное движение по этапам общество без границинформационное обще ствообщество, базирующееся на знаниях и лавинопо добный рост количества информации значительно услож нили адекватное использование ЭС, что связано с неполно той и нечеткостью информации, ее субъективностью. Воз никли проблемы представления знаний экспертов, оптими зации процессов получения заключений в ЭС, определения полноты информационных баз.

Выполним краткий анализ, определим характеристики и составные части процесса создания ЭС. Известно, что пред посылкой и побудительным мотивом получения новых зна ний является идея или необходимость. В случае ЭС такая 16 Интеллектуальное управление оцениванием знаний необходимость заключается в получении некоторого вывода, являющимся одним из определяющих факторов при приня тии решений. С помощью АСОКЗ, как одного из типов ЭС, оценивают также и уровень знаний. Проиллюстрируем про цесс создания ЭС при помощи трех методологических струк турных единиц, которыми являются онтология (O ), систем ный анализ (CA) и технологии самоорганизации (CO ).

Следуя этапам проведения CA, в соответствие с [17, 86, 88, 132], определим цель создания ЭС как средства, атрибу том которого является способность накапливать экспертные знания и впоследствии возможность заменить экспертов в процессах принятия решений [116]. Задачи, решаемые для достижения цели, определяются предметной областью. В частности, для АСОКЗ такими задачами являются контроль знаний, определение их уровня и, частично, их приобрете ние. Функционирование ЭС определяется внешней средой, из которой поступает информация в виде тем, вопросов, воз можных ответов, правил вывода и в которую передается ре зультат – оценка уровня знаний.

Как сложную систему, ЭС можно представить тремя мо делями [164]: строения, функционирования и развития. Мо дель строения является теоретико-множественной моделью M0 It, Iq, I a, R0, (1.1) в которой отображен элементный базис системы: I t ин формационная таблица тем контроля знаний;

I q таблицы вопросов (в зависимости от типов вопросов их может быть несколько);

I a таблицы возможных ответов с указанием гра дации их правильности;

R0 совокупность правил вывода, иногда представляемая некоторой процедурой или алгорит мом.

Модель функционирования определяет процесс дости жения цели системой, который осуществляется ее элемента ми, подсистемами, целостной ЭС M f Ot, Oq, Oa, P, P2,..., Pn, A, (1.2) где Ot динамические операции, сопровождающие процесс Глава 1. Современные элементы интеллектуальных технологий выбора темы;

Oq динамические операции выбора множе ства вопросов;

Oa динамические операции формирования множества возможных ответов и их оценки;

Pi, i 1, n сово купность операций, реализующих последовательность пере ходов при тестировании;

A алгоритм оценивания знаний.

Модель развития отражает движение ЭС, обладающей атрибутами открытости, мобильности, системного и инфор мационного единства, комплексности по этапам ее жизнен ного цикла Md Ad AmAu, Br, (1.3) где логическая дизъюнкция или конъюнкция, Ad про цедуры адаптации к изменению внешних условий;

Am про цедуры модернизации и использования новых технологий;

Au процедуры частичной или полной утилизации;

Br ме ханизмы обратной связи, позволяющие с учетом будущих процессов производить изменения в ЭС на всех этапах ее жизненного цикла.

С внедрением персональных компьютеров в сферу обра зования началась разработка систем контроля знаний, а да лее и обучения. Существующие сегодня автоматизирован ные системы являются интегральными средствами как обу чения, так и контроля знаний. В них пытаются реализовать принципы адаптивности с использованием различных кри териев [5, 21, 25, 29, 45, 74, 94], но вместе с тем, остается ряд тенденций, которые уже несколько десятилетий сопровож дают процессы создания и использования таких систем. В частности:

– перечень вопросов составляется преподавателем, исходя из субъективных предпочтений и заключений;

– вопросы чаще всего имеют замкнутый тестовый характер;

– для получения оценки необходимо ответить на некоторое заранее определенное количество вопросов;

– трудоемкость реализации адаптивных элементов приводит к отсутствию практических приложений с внедренными теоретическими наработками.

Первые шаги в создании экспертных систем в сфере об 18 Интеллектуальное управление оцениванием знаний разования сводились к разработке систем тестового контроля знаний учащихся [60]. И сегодня почти в каждом высшем учебном заведении используют одну, а то и несколько таких систем автоматизированного контроля знаний. На следую щем этапе предлагались системы обучения, которые с разви тием мультимедийных технологий вывели на новый уровень преподавание отдельных дисциплин. Интеграция систем обучения и контроля позволила замкнуть цикл обучения.

Жесткость такой структуры стала причиной внедрения в ав томатизированные системы адаптационных механизмов, ба зирующихся на различных принципах и моделях [50, 80, 99, 128].

Анализ многочисленных научных публикаций зарубеж ных и отечественных авторов свидетельствует об их интересе к разработке систем дистанционного обучения и контроля знаний. При этом отметим, что первые, в подавляющем большинстве, сосредоточены на системах электронного обу чения (E-learning) и них почти отсутствуют упоминания о системах контроля знаний. Украинские и российские иссле дования, в основном, посвящены именно системам контроля знаний, в основе которых лежат традиционные схемы тести рования.

Современные мировые тенденции мотивируют создание таких АСОКЗ, которые ориентированы на определенную мо дель пользователя. Недостаточно изученной является про блема объективизации уровня сложности задаваемых вопро сов и, соответственно, определения интегральной оценки знаний [126].

Одним из проявлений современных информационных технологий в образовании является внедрение дистанцион ного обучения. В Украине его распространение тормозится слабым развитием коммуникационной инфраструктуры и, не в последнюю очередь, отсутствием единой методологии контроля и оценивания знаний обучаемых. Эта проблема является сложной, слабоструктурированной и, в значитель ной мере, субъективизированной. Идеи и принципы ди станционного образования могут быть успешно реализован ными лишь при минимизации априорной неопределенно Глава 1. Современные элементы интеллектуальных технологий сти процесса оценивания и внедрении АСОКЗ.

Большинство АСОКЗ имеет довольно простую структу ру, в основе которой лежат тесты. Каждый тест состоит из определенного количества вопросов. За верный ответ на один вопрос учащийся получает "1", за неправильный ответ "0". Числовой отрезок возможных результатов разбивается на интервалы, каждому интервалу отвечает определенная оценка. В лучшем случае вопросы имеют весовые коэффици енты. Такой подход к созданию и использования АСОКЗ имеет ряд важных причин:

– создают программные реализации систем контроля знаний, чаще всего, специалисты в компьютерных науках, которые имеют довольно слабые знания педагогики и ее подходов к тестированию, а педагоги не имеют возможности ни оцен ки тестов из-за их специализированности, ни самостоя тельного создания АСОКЗ из-за незнания основ програм мирования;

– динамика перемещения дисциплин в учебных планах и кадрового состава приводит к отсутствию адекватной ста тистики оценки знаний учащихся и, как следствие, невоз можности создания качественных заданий и эффективных систем контроля знаний;

– полное отсутствие единой теории построения АСОКЗ, мо делей и методов, на которых она должна быть основана;

из вестные только отдельные подходы, которые базируются на элементарной алгебре и, в лучшем случае, элементах ста тистики;

– задачи АСОКЗ являются неформализованными, отсутству ет понятие оптимального теста, не разработаны методы са моорганизации информационной базы в процессе функ ционирования системы, а также, в зависимости от вида контроля, условия его прерывания.

Рассмотрим АСОКЗ, которые используются для завер шающего контроля. Они включают в себя: задачи, правила получения ответов на них, сами ответы, оценки решений за дач и рекомендации по интерпретации результатов. Целевая функция, которая определяет эффективность ( E ) контроля 20 Интеллектуальное управление оцениванием знаний знаний, тогда имеет вид E F ( H1, H 2, H 3, T, K ), (1.4) где H1 априорная энтропия, которая определяется уровнем знаний студента и его интуицией, H 2 энтропия, которая присуща преподавателям при оценке знаний студента и ба зируется на результатах АСОКЗ, опыте и интуиции, H композиционная энтропия внешней среды, студента и пре подавателя, T время контроля, K количество задач. Оче видно, что создание эффективной АСОКЗ равносильно ре шению задачи E max (1.5) или совокупности задач Hi min, i 1,3, T min, K min. (1.6) Процесс решения совокупности задач (1.6) должен базиро ваться на следующих принципах:

– необходимым условием эффективного функционирования АСОКЗ является построение структурно-логической схемы учебного курса и его отображение на логическую схему контроля знаний;

– достаточное условие – единая методология оценивания с использованием интеллектуальных технологий.

Эффективное использование АСОКЗ возможно лишь при наличии синергетических процедур, направленных на повышение технологичности процесса оценивания.

Типичным представителем ЭС являются АСОКЗ по дис циплинам, связанным с информационными технологиями.

Не останавливаясь на задачах верификации тестов и оценки результатов, отметим, что в них в полной мере отражены все вышеуказанные проблемы. В дальнейшем изложении будем руководствоваться выводом [8] о том, что основным прин ципом инженерии знаний является то, что возможности ре шателя задач интеллектуального агента в первую очередь определяются его информационным базисом и лишь во вто рую используемым методом вывода.

Учитывая приведенные недостатки, определим основ ные принципы создания эффективных АСОКЗ:

Глава 1. Современные элементы интеллектуальных технологий – база знаний должна содержать блоки учебного материала (БУМ) как минимальные единицы учебных текстов и муль тимедиа для изучения, которые в полном объеме «покры вают» учебный курс;

база вопросов должна содержать почти все типы вопросов, которые может задать человек, а не только вопросы с отве тами типа "Да-Нет";

предусмотрение возможности ответов как количе ственного, так и качественного характера, а также их ана лиз;

интеграции систем обучения и контроля, их взаимосвязи и взаимозависимости;

наличия адаптивных механизмов обучения и контроля;

ориентация структуры процесса обучения на конечного пользователя;

наличие градации оценок сложности вопросов;

представление множества вопросов в виде графа, имеюще го иерархическую "И-Или" структуру;

предусмотрение возможности многокритериального оце нивания, что важно именно для профессиональной подго товки.

Процесс обучения рационально осуществлять на основе структурно-логической схемы, которая является основным интегрирующим элементом разработки и использования ав томатизированной системы контроля знаний. Ее первой со ставляющей является методика оценивания (определения компетентности) в условиях неопределенности [144, 150]. Не определенность присуща многим процессам принятия ре шений [149, 153] и является следствием непредсказуемости динамики внешней среды, отсутствия или неполноты ин формации, невозможности осуществления адекватной оцен ки ситуации в критических условиях, субъективизмом выво дов лица, принимающего решения (ЛПР).

22 Интеллектуальное управление оцениванием знаний 1.3. Анализ информационных технологий, применяемых в процессах оценивания знаний и умений В последние десятилетия в центре внимания исследовате лей находятся задачи и аспекты применения новых инфор мационных технологий в процессах контроля знаний, ведь одна из важных общественных задач в образовании – повы шение его качества на всех уровнях. Достичь этого возможно, внедряя новые прогрессивные методы управления учебным процессом. Эффективным инструментом такого подхода яв ляется контроль знаний и через обратную связь – адаптив ные технологии обучения. Развитие этого направления началось в 1954 году, когда профессор B.F. Skinner [32] пред ложил идею программируемого обучения, которая заключа лась в повышении эффективности управления учебным процессом путем внедрения кибернетических элементов и его коррекцией в соответствии с психологическим состояни ем обучаемого лица. Основы адаптивного программируемо го обучения были разработаны в 50-х годах прошлого века Г.

Паском [37, 166], который считал, что учебная программа должна поддерживает оптимальный уровень сложности учебного материала индивидуально для каждого обучаемо го, тем самым автоматически адаптируясь к человеку.

Контроль знаний в форме тестирования является одним из наиболее технологичных. Его можно считать параметри ческой формой проверки и оценивания подготовленности обучаемого. Никакая другая из известных форм контроля знаний не имеет такого арсенала вариативных возможно стей. В то же время не нужно абсолютизировать тестирова ние, которое имеет и ряд недостатков, на которые будет ука зано ниже.

Рассмотрим классические и современные формы кон троля знаний в системе профессиональной подготовки.

Наиболее известным подходом к созданию тестов и интер претации их результатов является педагогическая теория из мерений IRT (Item Response Theory), которая развивается с 60-х годов прошлого века за границей [1]. Заметим, что те стирование в его классической форме применялось еще с Глава 1. Современные элементы интеллектуальных технологий начала 20-го века. В работе [41] указывается на то, что в году M.W Richardson, анализируя результаты тестирования 1200 студентов в 12 группах, обратила внимание на то, что часть неправильных ответов в разных группах напоминает логистическую кривую y e x (1 e x ) (рис. 1.2).

1, 0, 0, 0, 0, - -2, -2, -2, -1, -1, -1, -0, -0, -0, 0, 0, 0, 1, 1, 1, 2, 2, 2, сложность задания Рис. 1.1. Часть неправильных ответов (логистическая кривая) В 1943 году D.N. Lawley в университете Эдинбурга пока зал, что много конструктивов классической теории тестов могут быть представлены как элементы параметров характе ристической кривой [19]. Эта работа стала истоком теории IRT как теории измерений. Систематизировал теорию IRT, осуществил ее алгоритмизацию и внедрил в практику тести рования проф. F.M. Lord, соответствующие результаты отоб ражены в [20, 21]. В далеких 60-х годах прошлого столетия проф. B.D. Wright указал [37] на важность работ по измере ниям датского математика D. Rasch [30] и с того времени его результаты играют определяющую роль в IRT. Проф. В.А.

Аванесов утверждает, что ведущая идея IRT заключается в прогнозировании результатов тестирования на заданиях разного уровня сложности, что особенно необходимо в си стемах профессионального отбора, адаптивного обучения и адаптивного тестового контроля [43]. Основной эвристикой 24 Интеллектуальное управление оцениванием знаний IRT является то, что вероятность правильного ответа на зада ние у хорошо подготовленного лица должна быть большей, чем у слабо подготовленного. К определяющим понятиям IRT относят уровень сложности задания, подготовленность обучаемого и дифференцирующий параметр задания. Ис пользование IRT позволяет решить три задачи:

найти параметры заданий;

найти параметры знаний обучаемых;

подобрать функцию для определения вероятности пра вильного ответа на вопрос теста.

Преимуществами IRT являются:

стандартизированный характер как оценки уровня подго товленности, так и сложности заданий, что позволяет объ ективизировать процесс оценивания, сравнивать знания разных лиц и устанавливать объективные рейтинги;

полученные оценки не зависят от уровня подбора заданий, что положительно влияет на качество оценивания;

простота компьютеризации расчетов;

относительная инвариантность значений уровня знаний и сложности заданий, их стойкость.

К такому же направлению исследований относятся работы В.П. Беспалько, Л.В. Макаровой, В.І. Михеева, Б.У. Родионова и других ученых.

Рассмотрим основные идеи и результаты, полученные в направлении автоматизации процессов контроля знаний и обучения. Важное направление оптимизации процесса со здания АСОКЗ заключается в структуризации и системати зации учебного материала. На сегодня практически отсут ствуют системные исследования способов представления знаний из учебных текстов в электронных базах данных. В то же время активно разрабатываются технологии компьютер ного тестирования. Развитие дистанционного обучения, ин формационных ресурсов сети Интернет является основой, мотивом разработки и использования компьютерных обуча ющих систем и систем удаленного контроля знаний. Основ ными задачами, которые решаются при их создании, явля ются:

Глава 1. Современные элементы интеллектуальных технологий – разработка рациональной технологии создания в процессе автоматизированного обучения и контроля знаний ин формационного ресурса системы управления учебным процессом;

– разработка структуры информационной базы системы обучения и контроля знаний;

– разработка программных средств обучения и контроля зна ний как элемента системы управления учебным процессом.

Таких систем в последние годы разработано немало, но декларативно-технический подход к их созданию свидетель ствует о необходимости создания действительно эффектив ных компьютерных систем, особенно в области профессио нальной подготовки. В [81] отмечено, что методы оценки знаний делятся на математические и классификационные. В частности, в основании первых лежат: простые модели;

мо дели, в которых учитываются параметры заданий;

модели, базирующиеся на уровне изучения;

кусочно-линейные мо дели и модели на основе вероятностных критериев.

В простейшей модели оценка определяется по формуле k R Ri n, где Ri – правильный ответ на i -е задание, k – ко i личество правильных ответов на n предложенных. Характе ристики контрольных вопросов учитываются в модели на основании параметров заданий. В частности, таким парамет ром может быть время выполнения заданий. Характеристи кой задания в модели на основании уровней изучения и есть уровень изучения, для определения которого он предназна чен. Задания делятся на 5 групп, которые отвечают уровням усвоения: понимание, распознавание, воссоздание, примене ние, творческая деятельность. Каждый из этих уровней оце нивается.

В методе кусочно-линейной аппроксимации алгоритм оценивания базируется на классификации заданий согласно их значимости, сложности и спецификации. Указанные ха рактеристики имеют соответствующие коэффициенты. В ос нове же модели на базе вероятностных критериев лежит утверждение о зависимости вероятности правильного ответа 26 Интеллектуальное управление оцениванием знаний обучаемого от уровня его подготовленности и от параметров задания. При вычислении вероятности оценки обучаемого учитываются: сложность и время выполнения задания;

число предложенных заданий;

число неправильно выполненных заданий и т.д.

Классификационные модели предназначены для отне сения обучаемого к одному из устойчивых, заранее опреде ленных классов, исходя из близости его характеристик к эта лону. При этом используется алгоритм, предложенный Ю.И.

Журавлевым [77]. В нем создается учебная таблица, каждая строка которой содержит данные о количестве предложен ных заданий;

среднем балле;

количестве попыток выполнить задание;

количестве обращений к справочной информации;

ранге. Согласно определенному критерию оценивается рас стояние значений характеристик обучаемого до значений строк таблицы и находится наименьшая. К соответствующе му классу и относится обучаемый.

В работе [106] рассматривается контроль знаний при ди станционном обучении, причем дистанционное образование рассматривается как совокупность бизнес-процессов. Автор указывает, что такое представление позволяет повысить эф фективность обучения за счет выбора разных вариантов ор ганизационно-экономических процедур дистанционного обучения. Особенностью разработанных топологических моделей является анализ частично правильных ответов обу чаемого. Предложены также элементы адаптивности, основ ная сущность которых заключается в том, что по результатам контроля проводится ориентированное на конкретное лицо обучение.

Существуют попытки создать общую методологию раз работки тестовых заданий для контроля знаний [40, 43, 170].

Утверждается, что на сегодня отсутствуют отечественная научная теория педагогических (математических) измерений и математико-статистические методы для проверки соответ ствия тестов научно-обоснованным критериям качества. Те стирование дает объективную, сопоставимую и количествен ную оценку качества подготовки. Всячески подчеркиваются преимущества тестового контроля, к главным из которых от Глава 1. Современные элементы интеллектуальных технологий носят: высокую содержательную, прогностическую и крите риальную валидность;

высокую надежность;

возможность стандартизации;

дифференциацию шкалы тестовых баллов;

единственность требований ко всем обучаемым;

всесторон ность и объективность;

индивидуальный характер контроля и возможность регулярного систематического его проведе ния [170].

Тестовый контроль имеет и недостатки, к которым отно сятся: использование вопросов только тестового характера, отсутствие адаптивности и реального применения инфор мационных технологий.

Учебный процесс также предлагается проводить на базе самоорганизующихся средств контроля знаний и обучения [125]. Автором сделано предположение о взаимоопределяю щих связях между всеми вопросами информационной базы.

Указывается, что ее структура предварительно не определе на, а формируется как следствие процесса автоматического распознавания структурных связей в предметной области.

Утверждается, что реализация АСОКЗ на таком принципе автоматизации позволяет минимизировать время контроля, хотя очевидно, что построение структуры на множестве по нятий является длительным и трудоемким процессом.

Разрабатывается подход, в соответствие с которым моде ли и методы обучения и контроля знаний являются элемен тами общей автоматизированной системы управления учеб ным процессом [190]. Задача определения объема тестовых заданий для объективной оценки знаний, рассматривается с учетом того, что все тестовые вопросы имеют одинаковую сложность. Минимальное количество вопросов теста предла гается определять как величину обратную частоте непра вильных ответов. Заметим, что здесь не указано на принципы формирования тестовых вопросов, их полноту, возможную разнотипность ответов. Исследование сужено к упрощенной схеме тестирования и использование его результатов воз можно лишь при условии полноты тестовых вопросов и вы полнении ряда дополнительных условий.

Большинство исследований базируется на тезисе о том, что контроль знаний является составляющей процесса обу 28 Интеллектуальное управление оцениванием знаний чения [68]. Исходя из этого, предложено характеризовать тест как эффективный, если он является валидным, надежным, дискриминантным и в нем используются шкалы интервалов с наличием нормативных данных. Формирование тестов в таком случае абсолютно оторвано от учебного материала, и тест может быть определен как эффективный, если он сфор мирован по небольшой его части.

Важную роль в процессе оценки играет логическая схема контроля знаний, важным элементом которой являются формы представления вопросов и ответов. В.С. Аванесов так классифицирует вопросы, исходя из вариантов ответов [42, 43]:

- закрытые: выбор одного или нескольких вариантов ответов;

- определение порядка вариантов ответов;

- открытые: числовые или текстовые ответы, которые кон струируются;

- определение соответствия двух множеств.

Детализация такой схемы приведена в [157], где решается задача определения компетентности экспертов в условиях неопределенности и соответствующие вопросы классифици руют по ответам таких типов: «Да-Нет», «один из несколь ких», «несколько из многих», «число», «интервал», «нечеткий интервал», «слово», «предложение». Такая классификация, в отличие от приведенной в [42, 44], является конструктивной и позволяет предложить методы оценки ответов на вопросы.

Рационально оценивать ответы на вопросы, класси фицированные в [42], выполняя измерения отклонения мно жества ответов, данных обучаемым, от множества правиль ных ответов [92]. Такой подход является правильным, но от сутствие конструктивизма нивелирует его положительный эффект.

Очевидно, что существует зависимость результата кон троля знаний от формы представления задач, а также прояв ляется его связь с индивидуальными психофизическими осо бенностями обучаемых [137].

Для определения результирующей оценки за тест, исхо дя из оценок ответов на каждый вопрос, могут использовать ся и нечеткие модели [38, 39, 48, 123]. Адаптивность здесь по Глава 1. Современные элементы интеллектуальных технологий нимают как корректировку оценок ответов на основе коэф фициентов отсечения для термов «норма», «медленно», «очень медленно», что значительно сужает содержание этого понятия. Почти все полученные результаты являются след ствием экспертных заключений, что значительно субъекти визирует процесс оценивания.

Для моделирования структуры учебного материала, си стематизации его понятий предлагается применять матема тический аппарат теории графов, а именно, адаптивные се мантические модели учебного материала как многоуровне вые иерархические структуры в виде семантических сетей, представленных ориентированным графом, в вершинах ко торого находятся понятия предметной области, а дуги обо значают связи (отношения) между ними [180].

Из других идей и технологий, которые релевантны ис следуемой теме, отметим использование автоматизирован ной системы контроля знаний для обеспечения оперативной связи и корректировки учебного процесса [69], технологии текущего и итогового контроля знаний на основе методов экспертных систем [73, 147], машинное оценивание знаний в системе управления дистанционным обучением [4, 28, 75, 92, 98, 108, 136], управления контролем знаний как составной ча стью процесса оптимизации управления высшим учебным заведением [93, 114, 115, 140, 162], адаптивное тестирование в практике диагностики способностей и знаний [89, 100, 158], многослойное тестирование знаний [101] и оценивание па раметров тестов [106], проектирование компьютерных систем для образовательной сферы на основе методов программной инженерии [49, 74].

По разным причинам реализация перспективных идей, приводимых в статьях и диссертациях, остается на низком уровне. Определим доминантные характеристики современ ных инструментальных средств обучения и контроля на примере нескольких систем, активно представленных в гло бальной сети.

Первая из них – система «x-TLS». Как утверждают ее раз работчики [135], система «x-TLS» – современное инструмен тальное средство для создания автоматизированных обуча 30 Интеллектуальное управление оцениванием знаний ющих и контролирующих систем на основе расширенных мультимедийных тестовых заданий. На самом деле, система предназначена для контроля знаний, и только, если считать выбор одного варианта ответа на вопрос из нескольких обу чением, то тогда такое утверждение может претендовать на справедливость. В «x-TLS» реализованы вопросы с ответами, предусматривающие выбор одного (двух) вариантов из не скольких. Правильность выбора ответа определяется в про центах (например, 100% и 20%).

Другая система «Аргус-М» является системой интерак тивного контроля и дистанционного образования [46], она имеет те же недостатки, что и «x-TLS». Вопросы должны быть только закрытого типа, т.е. с жестко заданными вариантами ответов с необходимостью выбора одного правильного отве та. Отсутствуют элементы адаптивных технологий и тесты носят программированный характер.

Известный программный продукт SunRav TestOfficePro предназначен для создания тестов, проведения тестирования и обработки результатов тестирования [33]. В нем реализован выбор пяти типов вопросов: одиночный выбор, множествен ный выбор, открытый, соответствие, упорядоченный список.

Выбор вопросов осуществляется случайно, вопросы могут иметь весовые коэффициенты и ограничение времени на ответы. Авторы утверждают, что в процессе тестирования присутствуют элементы адаптивности, но конструктивный путь ее реализации не указан.

Анализ украинских и российских АСОКЗ свидетельству ет о том, что они являются отражением той информацион ной среды, которая их порождает. В них отображена попытка стандартизировать подходы к проектированию, разработке и использованию инструментальных средств автоматизиро ванного обучения и контроля знаний. Одной из основных проблем создания АСОКЗ является разработка структуры информационной базы, основной составляющей являются алгоритмы статистической обработки значений матрицы те стирования и определения надежности тестов. Примеры функционирующих систем свидетельствуют об их локаль ной используемости.

Глава 1. Современные элементы интеллектуальных технологий Другие акценты доминируют в зарубежных программ ных продуктах [31, 36]. В частности, в Немецком исследова тельском центре искусственного интеллекта (DFKI) выпол нен ряд проектов по разработке систем дистанционного обу чения и контроля знаний. К таким проектам относятся [5, 29]:

- Le Active Math, где скомбинированы семантический Web и адаптивные гипермедиа технологии с интеллектуальными методами обучения, такими как открытое учебное модели рование и учебные диалоги;

- IClass, в котором интегрирована концепция продолженного обучения с моделированием и анализом действий;

- WISDOM - сетевой проект поддержки адаптации к ре гиональным структурным изменениям рынка труда и осу ществления инновационной профессиональной деятель ности;

- TEAL, в котором реализована интеграция Е-обучения и ме неджмента знаний, что позволяет сотрудникам компаний решать проблемы эффективно и автономно;

- PROLEARN - проект, который финансировался Европей ской комиссией, предназначенный для реализации техно логии продленного профессионального обучения.

Очевидно, что главное внимание в указанных проектах уделено концепции «обучения в течение жизни», мультиме дийным технологиям и использованию в промышленных условиях.

Подавляющее большинство отечественных систем обу чения и контроля знаний реализуют ту же стратегию, что и рассмотренные системы «x-TLS» и «Аргус-М». Они имеют те же характеристики и их трудно назвать эффективными ин струментальными средствами. Такой вывод следует из того, что хоть их использование и является атрибутом объективи зации процесса контроля знаний, но отсутствие методологи ческой составляющей приводит к негативным результатам, в частности, к отсутствию логической схемы обучения и сме щенности оценок обучаемых.

Выполненный анализ современных технологий управ ления процессом обучения и контроля знаний позволяет 32 Интеллектуальное управление оцениванием знаний сделать следующие выводы. В последние десятилетия значи тельное количество научных исследований посвящается ав томатизированным системам обучения и контроля знаний.

Такой интерес объясняется развитием компьютерной техни ки, сети Интернет и дистанционного обучения. Еще одной важной причиной этого является стремление избежать зна чительной субъективизации процессов принятия решений при оценивании знаний обучаемого.

В основу функционирования автоматизированных си стем контроля знаний положено тестирование обучаемого.

Наряду с определенным положительным эффектом, кото рый заключается в объективизации оценки и возможности удаленного доступа, такие системы имеют ряд недостатков, на которые почти не обращается внимание. Их перечень приведен в [148], он включает в себя: неструктурированность учебного материала, по которому проводится контроль зна ний;

информационную избыточность и недостаточность;

от сутствие возможности использования вопросов, отличных от тестовых;

необоснованность методов формирования инте гральной оценки и т.д.

Мировые образовательные процессы определяют в про цессах обучения и контроля знаний как приоритетное направление ориентацию на обучаемого. Составляющей та кого подхода является реализация принципа адаптивности в широком смысле этого понятия. Проблема создания эффек тивных автоматизированных систем обучения и контроля знаний является многогранной и различные ее грани отме чены во многих публикациях. Вместе с тем проблема адек ватности схемы оценивания, правильности ее построения ЛПР, почти не отражена. Одним из ее аспектов является кор ректировка сложности вопросов и их адаптация к уровню знаний группы обучаемых, что является как минимум ин формативным фактором для ЛПР, или, как максимум, важ ным констатирующим пунктом оценивания.

В современных обучающих системах важное место долж ны занять подсистемы контроля знаний, тестирующие си стемы, которые, в первую очередь, реализуют основной принцип автоматизации - обратную связь, т.е. влияние реак Глава 1. Современные элементы интеллектуальных технологий тивной подсистемы выхода системы обучения (в нашем слу чае, качества знаний обучаемых) на ее вход (базу знаний) с целью выработки наилучшего управления (методологиче ской составляющей) процессом обучения.

Важное направление оптимизации процесса создания систем обучения и контроля знаний заключается в структу ризации и систематизации учебного материала. Необходимо применение системного подхода к разработке электронных баз данных как основы современных ЭС. Под системным подходом понимают научно-прикладную методологию ре шения сложных проблем, составляющими которой является систематизация, формализация и целеориентация [164].

На начальных этапах применение принципов разработки ЭС к созданию АСОКЗ привело к разработке низкоэффек тивных систем, использование которых, тем не менее, имеет два преимущества: меньшее время контроля знаний и уменьшение субъективизма оценки. Вместе с тем, в АСОКЗ остается еще ряд недостатков, которые едва ли не полностью перекрывают вышеупомянутые преимущества. Такие недо статки указывают на почти полное отсутствие технологиче ских элементов, которые обеспечили бы действительно эф фективный процесс обучения и контроля знаний.

Выполнив анализ научных источников, можно утвер ждать, что на сегодня почти отсутствуют: элементы отече ственной научной теории педагогических (математических) измерений и управления процессом контроля знаний;

мате матико-статистические методы для проверки соответствия тестов научно обоснованным критериям качества. Чаще кон троль знаний осуществляется в форме неадаптивного тести рования при сильных априорных ограничениях. При этом не указываются принципы формирования тестовых вопро сов, не определяется их полнота, отсутствует реализация разнотипности ответов. Такая упрощенная схема тестирова ния является эффективной лишь при условии полноты множества тестовых вопросов и выполнения ряда дополни тельных условий. Одновременно заметим, что предпосылкой этого является построение структуры на множестве понятий, являющееся длительным и трудоемким процессом.

34 Интеллектуальное управление оцениванием знаний Учитывая количество научно-педагогических работни ков и их заинтересованность в создании АСОКЗ, отметим, что количество и публикаций, и созданных систем является значительным. За последние двадцать лет только в Украине защищены десятки диссертаций, посвященных тем или иным аспектам создания и использования АСОКЗ. Подавля ющее большинство таких научных работ ориентировано на решение задач оценивания знаний обучаемого. Примером исследований в этом направлении является работа [99], в ко торой рассматривается задача определения оптимального количества вопросов, задаваемых обучаемому, в зависимости от последовательности его ответов. Выше отмечено, что каж дое высшее учебное заведение использует одну или несколь ко систем типа АСОКЗ. Значительное их количество содер жит только подсистему контроля знаний в форме тестирова ния с фиксированным количеством вопросов и ответов на них [168]. Анализ моделей, методов и инструментальных средств обучения и контроля знаний свидетельствует об от сутствии единого методологического подхода к их разработ ке и реализации, а также об отсутствии оптимизационных процедур при формировании стратегии обучения и кон троля знаний [169].

Еще один важный вывод заключается в том, что профес сиональная подготовка специалистов в различных предмет ных областях осуществляется без учета особенностей их бу дущей деятельности. Однокритериальность оценивания знаний и умений значительно нивелирует результативность процесса обучения и не соответствует уровню практической подготовленности специалистов. Особенно это актуально для работников оперативно-спасательной службы, для кото рых определяющими критериями эффективной деятельно сти является правильность и время принятия решений [159].


За рубежом проверка знаний и умений специалистов осу ществляется с использованием тренажеров и симуляторов, где в режиме реального времени определяется уровень про фессиональной подготовленности. В Украине такие системы внедряются медленно из-за их значительной стоимости, по Глава 1. Современные элементы интеллектуальных технологий этому рациональным является использование программных моделирующих систем.

1.4. Структурно-логические элементы построения автоматизированных систем контроля знаний и обучения Структура, содержание и принципы контроля уровня знаний является информационной основой дальнейшего управления качеством обучения. Контроль уровня про фессиональной подготовленности является технологическим процессом, включающим в себя комплекс методов, алгорит мов, организационных форм и средств, которые являются необходимым условием совершенствования качества обуче ния.

Выполнив анализ существующей системы подготовки специалистов, необходимо отметить, что:

- традиционные технологии контроля знаний и умений ба зируются на оценке уровня подготовленности специалиста, причем такой процесс не является достаточно объектив ным и диагностическим, его результаты не поддаются ком плексному анализу;

- результаты контроля знаний, полученные из разных источ ников (оценки на экзаменах по профильным предметам), анализируются и обобщаются, как правило, изолированно, что не позволяет получить целостной картины и сделать выводы относительно профессиональной направленности обучаемого;

- показатели, подлежащие оценке, недостаточно обоснованы и не в полной мере отражают корреляцию между различ ными элементами контроля знаний;

- полученная в результате контроля знаний, информация ис пользуется только для оперативного управления, в то же время тактические и стратегические ее аспекты остаются непроанализированными и неиспользованными, в частно сти, и для оптимизации учебного процесса.

Дадим формальные определения, которые буду исполь зоваться в дальнейшем изложении.

Интеллектуальной системой профессиональной подго 36 Интеллектуальное управление оцениванием знаний товки (ИСПП) называется автоматизированная знаниеори ентированая система, предназначенная для обучения, мно гокритериального оценивания и определения уровня про фессиональной направленности обучающихся, в которой накапливается, обрабатывается и хранится информация в виде фактов, правил вывода и процедур применения таких правил. С одной стороны, ИСПП является экспертной систе мой, поскольку в ней «сохраняется» экспертный опыт, а с другой - это система поддержки принятия решений, по скольку она является определяющим звеном в процессе оце нивания знаний. Очевидно, что указанными функциями функционирование ИСПП не ограничивается.

Особо важную роль играют ИСПП сотрудников опера тивно-спасательных служб, поскольку от уровня их подго товки зависит масштаб негативных последствий аварий и ка тастроф. Аналитический обзор методов контроля уровня профессиональной подготовленности таких сотрудников свидетельствует о преимущественном использовании тради ционных методов обучения и контроля знаний. В частности, контроль знаний происходит в форме экзаменов или тести рования. В то же время такое оценивание знаний работников оперативно-спасательных служб является не полным и имеет низкий уровень объективности. Последние выводы связаны с тем, что спасатели должны принимать решения в сложных критических условиях, вызванных пожарами, техногенными и экологическими катастрофами, следствием которых могут быть многочисленные человеческие жертвы и значительный материальный ущерб. Поэтому при контроле знаний целе сообразно было бы учитывать такие обстоятельства и ориен тироваться на использование современных информаци онных технологий [57, 61, 62]. Проведенный анализ реле вантных технологий и их элементной базы, применяемых для оценки знаний и умений специалистов, указывает на низкий уровень как разработки средств контроля, так и на недостаточное методическое обеспечение этого процесса.

Процесс профессиональной подготовки работников оперативно-спасательных служб предлагается осуществлять на основе структурно-логической схемы, которая является Глава 1. Современные элементы интеллектуальных технологий основным интегрирующим элементом разработки и исполь зования автоматизированной системы контроля знаний. Ее первой составляющей есть методика определения компе тентности специалистов в условиях неопределенности. Не определенность присуща многим процессам принятия ре шений и является следствием непредсказуемости динамики внешней среды, отсутствия или неполноты информации, не возможности осуществления адекватной оценки ситуации в критических условиях.

Таким образом, повышение эффективности процессов обучения и определения уровня профессиональной подго товленности связано с успешным решением задач и учетом аспектов:

- построения логико-иерархической схемы контроля знаний;

- структурирования учебного материала по результатам кон троля знаний и определения его приоритетности;

- разработкой адаптивных моделей оценки знаний и коррек ции сложности вопросов, в т.ч. с учетом критерия времени;

- определение профессиональной направленности специали стов.

Построение ИСПП базируется на определенных идеях и априорных принципах. В частности, для классификации во просов контроля знаний выбрано схему, приведенную в ра ботах [151, 154, 156, 157]. Для каждого из предложенных там типов вопросов разработаны процедуры оценки, исходя из отклонения ответов обучаемого от правильных ответов, и ме тод формирования интегральной оценки [150]. В работе [156] было предложено осуществлять структуризацию предметной области, которой, являются предметные области учебных курсов, что позволило оптимизировать процессы тестирова ния за счет самоорганизации множества вопросов, задавае мых обучаемым. Аспекты создания эффективных ИСПП как одного из видов АСОКЗ рассмотрены в [148], где определено, что такие системы должны удовлетворять требованиям: ми нимизации времени обучения и контроля знаний;

полноты контроля знаний;

отсутствия или минимального наличия информационной избыточности и информационной недо статочности;

максимально возможной объективизации ре 38 Интеллектуальное управление оцениванием знаний зультатов оценивания.

Исследования последних лет ориентируют на внедрение принципа адаптивности в теорию и практику создания АСОКЗ. Понимание этого принципа у разработчиков раз лично. Чаще адаптивными АСОКЗ считаются системы, кото рые ориентированы на модель обучаемого [181]. Нераскры тым остается принцип адаптивности в применении к созда нию ИСПП и его использование в процессе проектирования соответствующих баз данных.

Подготовка работников оперативно-спасательных служб в высших учебных заведениях, а также повышение их ква лификации на различных курсах заканчивается процессом оценивания знаний. Сложной проблемой является объекти визация процесса оценивания знаний и умений. Ее решение сопровождается необходимостью разработки систем кон троля уровня подготовленности сотрудников при условии выполнения ряда предпосылок, а именно определение:

- принципов, которые будут учитываться и на которых будут базироваться такие системы;

- структуры, которая будет лежать в основе их построения;

- технологии проведения автоматизированного контроля уровня подготовленности.

Структурно-логическая схема проектирования эффек тивных ИСПП с учетом указанных аспектов и задач содер жит такие этапы. Во-первых, необходимо проведение анали за технологий, которые используются для обучения и кон троля знаний в определенной предметной области. Его ре зультатом станет определение их особенностей, указание на преимущества и недостатки. В его основу положен вывод о локальности положительных особенностей методов и ин струментальных средств, а также о глобальности проблемы отсутствия единой методологической парадигмы, которая бы стала основой реализации технологических схем обучения и оценивания, особенно при подготовке специалистов опера тивно-спасательных служб.

Выполненный анализ позволяет сформулировать соот ветствующие принципы и задачи, состоящие из трех основ ных частей. На первом этапе повышения эффективности Глава 1. Современные элементы интеллектуальных технологий процесса обучения и контроля знаний предложено осу ществлять оптимизацию логических схем контроля знаний и обучения. Для этого дано определение эффективной систе мы обучения и контроля знаний и показано как достичь оп тимальности ее составляющих характеристик. Выполнение структуризации логической схемы контроля знаний станет необходимым условием минимизации времени оценивания.

Базовые методы проведения контроля знаний будут базиро ваться на нисходящей и восходящей схемах оценивания.

Кроме определения уровня профессиональной подго товленности необходимо установить еще и профессиональ ную направленность специалистов [117], для чего будут предложены модели на основе продукционных правил. Учи тывая результаты контроля знаний, будет разработан метод определения приоритетности учебного материала, который станет основой планирования индивидуализированного учебного процесса.

Определению адекватности схемы контроля знаний, а именно соответствия сложности вопросов в комплексе уров ню знаний обучающихся, и разработке соответствующих мо делей посвящен второй этап исследования. В зависимости от типа вопросов будет разработан метод оценки знаний спе циалистов на основе моделей уровня знаний и разработаны модели адаптивной корректировки сложности вопросов в режиме «реального времени», который предусматривает ее пересчет после прохождения контроля знаний каждым обу чаемым. Поскольку для специалистов оперативно спасательной службы одним из основных критериев оценки является минимизация времени на принятие решений, то в дальнейшем выполнена модификация моделей с учетом критерия времени.

На третьем этапе исследования будут предложены прин ципы и разработана структура базы знаний интеллектуаль ной системы профессиональной подготовки, с использова нием которой проведены эксперименты и верифицированы теоретические результаты исследования.

В комплексе реализация всех этапов структурно логической схемы исследования создаст предпосылки утвер 40 Интеллектуальное управление оцениванием знаний ждать, что на основе анализа известных технологий автома тизированного контроля знаний и обучения определена необходимость создания методологических основ разработки эффективных интеллектуальных систем профессиональной подготовки. Учитывая необходимость специалистов опера тивно-спасательных служб принимать решения в условиях неопределенности, базовыми технологиями будем считать технологию предвидения и прогнозирования [83, 146], моде лирования процессов [91], подходы к решению сложных проблем [133], теоретические основы контроля знаний, в т.ч.

статистические [129, 143], интеллектуальное управление с учетом неопределенности [78, 79, 167, 172, 191]. Полученные модели и методы составят основу адаптивной технологии, что позволит реализовать многокритериальное оценивание, минимизировать его время и определять профессиональную направленность специалистов оперативно-спасательной службы.

РЕЗЮМЕ В первой главе выполнен анализ процессов автоматизи рованного обучения и контроля знаний, начиная с концеп ции программированного обучения, IRT-теории и заканчи вая аналитическим обзором современных научных результа тов. Сделан вывод об отсутствии системных исследований по структуризации и систематизации учебного материала и его представление в базах знаний автоматизированных систем обучения и контроля знаний.

Определены доминантные характеристики современных инструментальных средств обучения и контроля на примере украинских и зарубежных систем. Показано, что преимуще ственное внимание в первых системах сосредоточено на кон троле знаний при почти полном отсутствии адаптивных тех нологий и технологий индивидуализированного обучения. В зарубежных программных продуктах доминируют элементы концепции «обучения в течение жизни», мультимедийные технологии и ориентация на использование в промышлен ных условиях.

Глава 1. Современные элементы интеллектуальных технологий Проведенный анализ свидетельствует об отсутствии единого методологического подхода к созданию автоматизи рованных систем обучения и контроля знаний и необходи мости реализации основного принципа автоматизации обратной связи, т.е. влияния реактивной системы выхода си стемы обучения (в нашем случае, знаний обучаемых,) на ее вход (базу знаний) с целью выработки наилучшего управле ния (методологической составляющей) процессом обучения.

Разработана структурно-логическая схема исследования, в основу которой положена методология системного анализа.

Основными ее этапами определено разработку логических схем оценивания и обучения, элементов адаптивного кон троля знаний и планирования процесса обучения, а также принципов разработки и формирования структуры базы знаний интеллектуальных систем профессиональной подго товки.

Глава 2. Онтологии учебных курсов и структуризация материала Глава ОНТОЛОГИИ УЧЕБНЫХ КУРСОВ И СТРУКТУРИЗАЦИЯ УЧЕБНОГО МАТЕРИАЛА 2.1. Теоретические и прикладные аспекты применения онтологий Переход от постиндустриального к информационному обществу и далее к обществу, базирующемуся на знаниях, происходит в условиях лавиноподобного роста количества информации, содержащейся в базах данных и знаний. Необ ходимым условием осуществления такого перехода является создание автоматизированных систем, в которых интегриро ван экспертный опыт, выполняются процедуры систематиза ции, классификации и прогнозирования.

Разработка ЭС как одного из видов автоматизированных систем является приоритетным направлением искусственно го интеллекта. В них осуществляется сбор, хранение, обра ботка, анализ данных и знаний. Экспертные системы исполь зуются для решения широкого круга задач, к которым, в первую очередь, относятся интерпретация, прогнозирова ние, диагностика, проектирование, планирование, монито ринг и управление в медицине, математике, машинострое нии, обороне, образовании и т.д.

Современные ЭС присутствуют почти в каждой отрасли, где есть необходимость в поддержке процессов принятия решений. Вместе с тем, их эффективность по сравнению с возможным потенциалом остается чрезвычайно низкой.

Развитие информационного общества определило пер спективы существования систем, которые взаимодействуют, и является пространственно разнесенными. В то время, когда проблемы коммуникационного характера в значительной мере решены, информационно-аналитическое сопрово ждение функционирования таких систем, к которым отно сятся виртуальные предприятия, системы дистанционного Глава 2. Онтологии учебных курсов и структуризация материала обучения, "электронные дома" и т.д., оставляет желать луч шего. Для оптимизации информационно-консультативного сопровождения процессов принятия решений, составной ча стью которого является применение ЭС, рациональным яв ляется использование системного подхода [164] и формиро вание логической схемы задач. Элементный базис такой схе мы определяется реализацией следующих составляющих:

- классификации и исследования эффективности современ ных методов и средств проведения экспертиз;

- выполнения классификации и обоснования полноты струк турных элементов понятийной базы в зависимости от направления использования ЭС;

- разработки стратегии формирования дерева экспертного анализа (установка перечня и порядка формирования после довательности правил) на основе понятийной базы;

- выполнения анализа современных методов формирования онтологий и соответствующих предметных областей;

- разработки принципов, структуры и элементного базиса для создания онтологий предметных областей;

- разработки моделей и методов автоматизированного созда ния онтологий, основываясь на E-представлении данных;

- разработки метода композиционной оценки результатов экспертного анализа;

- определения принципов, структуры, элементной базы ин формационного наполнения системы экспертного анализа, включая средства представления исходной информации и результатов;

- выполнения экспериментальной верификации предложен ных моделей и методов на базе разработанной ЭС.

Известно [105], что в ЭС выполняются операции на осно ве целей и на основе данных, соответствующие поиску в глу бину и в ширину. Специфика ЭС определяет ее направлен ность на решение задач нахождения закономерностей, к ко торым относятся: ассоциация, последовательность, кластери зация, классификация и прогнозирование [182].

Ассоциация имеет место в том случае, когда несколько элементов, событий, семантических элементов связаны меж ду собой. Если между ними существует связь во времени, го 44 Интеллектуальное управление оцениванием знаний ворится о существовании последовательности. С помощью классификации определяют группу, которой принадлежит новый элемент. При выполнении кластеризации группы яв ляются неизвестными и только формируются. Прогнозиро вание возможно при условии существования информации об объекте с привязкой ко времени.

Одной из технологий, которая позволяет осуществлять эффективную обработку информации на основе знаний, яв ляется использование онтологий [124]. Понятие онтологии, заимствованное из философии, в последние годы активно используется в информатике. Одни исследователи рассмат ривают онтологию как концептуальную семантическую сущность, другие – как специальный семантический объект.

Главное внимание в релевантных многочисленных пуб ликациях сосредоточено в областях, связанных с информа ционным поиском, решением задач формализации, структу ризации и классификации разрозненного материала. Стре мительное развитие глобальной мировой сети Интернет со здало предпосылки для разработки, функционирования и развития дистанционно удаленных программных систем, базирующихся на использовании онтологий.

В работе [13] онтология определена как точная специфи кация концептуализации. Разные точки зрения на такое определение обсуждаются в [12, 15]. В частности, обозначены онтологии верхнего уровня, онтологии предметной области, онтологии задач и онтологии приложений.

Общепринято онтологию предметной области представ лять тройкой элементов O X, R, F, (2.1) где X конечное множество концептов, R множество от ношений между концептами, F множество функций ин терпретации концептов и отношений.

Графически онтология имеет вид сети, вершины кото рой являются терминами и отношениями, а ребра указывают на связи между ними. Построение онтологии полезно для использования в:

- системах обучения при поиске нужной информации [109];

Глава 2. Онтологии учебных курсов и структуризация материала - поисковых системах с использованием семантически зна чимых фрагментов текста [122];

- научных исследованиях при отслеживании полезных дан ных и знаний в потоках информации [179];

- системном анализе при исследовании предметной области [97, 130];

- интеграции данных и знаний при композиции информа ционных баз [124].

Таким образом, созданию эффективной ЭC долж но предшествовать формирование онтологии предметной области (рис. 2.1). В свою очередь, это становится возможным при условии существования базы данных, содержащей всю необходимую информацию об объекте или процессе. Буду щий пользователь такой системы (заказчик) определяет набор и структуру правил, а эксперт определяет соответ ствующую онтологию, создавая тем самым фиксированную иерархическую систему вывода. Для того, чтобы иметь воз можность масштабирования ЭС необходимо также создать онтологии средств представления входящей и исходящей информации, а также программных элементов.



Pages:   || 2 | 3 | 4 | 5 |   ...   | 6 |
 

Похожие работы:





 
© 2013 www.libed.ru - «Бесплатная библиотека научно-практических конференций»

Материалы этого сайта размещены для ознакомления, все права принадлежат их авторам.
Если Вы не согласны с тем, что Ваш материал размещён на этом сайте, пожалуйста, напишите нам, мы в течении 1-2 рабочих дней удалим его.