Методические рекомендации по разработке контрольно — измерительных материалов для выявления уровня подготовки студентов СПО

Государственное бюджетное профессиональное образовательное учреждение
«Спасский техникум отраслевых технологий»

Методические рекомендации
по разработке контрольно - измерительных материалов для выявления уровня
подготовки студентов СПО

г. Болгар 2016
Рассмотрено на заседании ПЦК
Протокол № 4
« 12 »_марта_2016 г.
Председатель: _Захарова_
______Захарова В.Л______
Ф.И.О. Согласовано
«12 »_марта_2016 г.
зам. директора по УМР Марянина Марянина К.С. Ф.И.О.

«УТВЕРЖДАЮ»
«12 »_марта_2016 г.
Зам директора по УР Саиткина
____Саиткина А.П
Ф.И.О.
Организация-разработчик:
ГБПОУ «Спасский техникум отраслевых технологий»
Разработчик:
Захарова В.Л., преподаватель спец. дисциплин ГБПОУ «СТОТ»
Рецензент
Рачкова Н.А. -зам. директора по теоретическому обучению
Рецензия
на методические рекомендации по разработке контрольно - измерительных материалов для выявления уровня подготовки студентов СПО
Методические рекомендации по разработке контрольно - измерительных материалов для выявления уровня подготовки студентов СПО составлены в соответствии с учетом специфики подготовки дипломированных студентов СПО в и требованиями Федерального государственного образовательного стандарта (2012 года). Методические рекомендации, предлагаемые преподавателям содержит: теоретические основы тестирования; методику разработки контрольно-измерительных материалов; заключение, спаисок использованной литературы и приложения.
Методические рекомендации знакомят с измерениями в педагогическом контроле, дают представление о том, что представляет из себя тест. Очень подробно в работе описаны формы тестовых занятий и их влияние на качество педагогических измерений. Автор также знакомит с макетом структурной матрицы оценки уровня сформированности компетенций, с методикой разработки контрольно-измерительных материалов, с правилами оформления паспорта КИМ, с анализом качества КИМ и их коррекцией.
Методические рекомендации отличаются четкой структурой и логической последовательностью. Методические рекомендации, в основном, представляют практический интерес для молодых преподавателей.
Рецензент Рачкова /Н.А.Рачкова/
СОДЕРЖАНИЕ
TOC \o "1-3" \h \z \u Введение PAGEREF _Toc278742386 \h 31.Теоретические основы тестирования PAGEREF _Toc278742387 \h 41.1.Измерения в педагогическом контроле PAGEREF _Toc278742388 \h 41.2.Что такое тест? PAGEREF _Toc278742389 \h 41.3.Форма тестовых заданий PAGEREF _Toc278742390 \h 101.4.Влияние формы тестов на качество педагогических измерений PAGEREF _Toc278742391 \h 131.5.Компьютерный тест как средство педагогического измерения PAGEREF _Toc278742392 \h 152.Методика разработки контрольно-измерительных материалов PAGEREF _Toc278742393 \h 152.1.Рабочая программа учебных дисциплин PAGEREF _Toc278742394 \h 172.2.Диагностическая карта соответствия КИМ требованиям ФГОС СПО PAGEREF _Toc278742395 \h 192.3.Разработка структуры КИМ202.4.Составление тестовых заданий202.5.Оформление паспорта КИМ222.6.Аудит КИМ222.7.Составление компьютерной программы теста222.8.Анализ качества КИМ и их коррекция PAGEREF _Toc278742401 \h 23Заключение PAGEREF _Toc278742402 \h 24Список литературы26Приложения …………………………………………………………………….. 27
Аннотация
Происходящие в современном обществе социально-экономические изменения выдвигают высокие требования к системе образования, к обучению и воспитанию специалистов различного уровня подготовки.
В концепции модернизации российского образования на период до 2010 года сформулированы требования к системе образования в следующем виде: «Развивающемуся обществу нужны современно образованные, нравственные, предприимчивые люди, которые могут самостоятельно принимать ответственные решения в ситуации выбора, прогнозируя их возможные последствия, способные к сотрудничеству, отличающиеся мобильностью, динамизмом, конструктивностью и обладающие развитым чувством ответственности за судьбу страны».
Отношение к выбранной профессии, умение увидеть ее со стороны и себя в ней играет большую роль в становлении человека как профессионала.
В процессе обучения каждый студент в сравнительно небольшой промежуток своей жизни должен получить представление о выбранной профессии, базовые знания, умения и навыки, найти свое место в обществе. Уровень получаемых знаний, умений и навыков определяется разнообразными видами и формами контроля.
Успешное развитие профессионального образования во многом будет зависеть от того, насколько оно сумеет вписаться в общемировые образовательные процессы и играть в них роль, соответствующую его потенциальным возможностям. С этих позиций, исследование основных тенденций разработки контрольно-измерительных материалов для выявления уровня подготовки специалистов на основе информационных компьютерных технологий, способствующую повышению эффективности образовательного процесса представляется весьма актуальным.
Теоретические основы тестированияИзмерения в педагогическом контролеПедагогическое измерение – это процесс установления соответствия между оцениваемыми характеристиками обучаемых и точками эмпирической шкалы, в которой отношения между различными оценками характеристик выражены свойствами числового ряда [3].
При педагогическом измерении в качестве характеристик обучаемых обычно выступают знания и умения, освоенные ими на момент выполнения теста. Роль единицы измерения играют тестовые задания, объектом оценки являются сами обучаемые, а результатом измерения – шкала баллов тестируемых студентов. Среди современных способов педагогических измерений (наблюдение, устная форма проверки знаний, письменная форма проверки знаний, собеседование в виде интервью, тестирование) наиболее объективным способом является тестирование [4].
Что такое тест?Тест – это инструмент, краткое стандартизованное испытание, в основе которого лежит специально подготовленный набор заданий, позволяющих объективно и надежно оценить исследуемые качества на основе использования статистических методов.
Временем возникновения теста считается конец XIX века, когда для изучения индивидуальных различий начинают применяться различные способы измерения. Нужно отметить значительный вклад американского психолога Дж. Кеттела в развитие идеи статистического анализа при определении индивидуальных различий. Считая тест средством для проведения научного эксперимента, он выделил ряд требований к его чистоте.
Требования к чистоте теста по ДЖ. Кеттеллу:
– «одинаковость условий для всех испытуемых» (положено в основу принципа стандартизации процедуры проведения тестирования);
– «ограничение времени» (используется в зависимости от целей тестирования);
– «отсутствие зрителей» (реализуется как учет влияния внешних факторов);
– «статистическая обработка результатов (отражается в методах статистического анализа).
199072520955000370522520955000Структурные компоненты теста
Тестовое задание Эталон
Задача в тестовой форме, предназначенная для выполнения Образец полного и правильного выполнения действия служащий для сравнения достигнутого уровня с планируемым
При разработке и использовании уже готовых тестов важно знать, насколько они соответствуют запроектированным целям. Ответ на этот вопрос дают критерии качества теста.
Надежность – характеристика теста, показывающая обеспечивает ли тест объективность результатов; отражающая точность диагностических измерений; устойчивость результатов теста к действию случайных факторов.
Валидность (пригодный) – характеристика теста, указывающая на то, что тест измеряет и насколько хорошо он это делает; пригодность тестовых результатов для той цели, ради которой проводится тестирование (качество заданий, их число в тесте, глубина охвата содержания, баланс распределения заданий в тесте по степени трудности).
Объективность – оценивания, как показала практика, обеспечивается максимальной стандартизацией ее проведения. Объективность процедуры измерения возможна лишь при одинаковых условиях для всех участников. Кроме того, эта процедура должна дополняться объективностью обработки данных и интерпретации полученных результатов [3].
Разновидности типов заданий в зависимости от уровня познавательной деятельности приведены в табл. 1.
Таблица 1
Уровни познавательной
деятельности Типы контрольных заданий
Восприятие информации, знакомство с предметом. Признак – опознавание объектов, явлений. 1. Задания (вопросы, задачи), способствующие усвоению информации на уровне знакомства, в т.ч. на узнавание, воспроизведение отдельных фактов, понятий, правил.
2. Восприятие и механическое отображение полученной информации. Признак – передача, пересказ информации. 2. Задания, предполагающие усвоение и воспроизведение информации на уровне простых мыслительных операций. Формируются навыки деятельности по образцу в стандартах, известных условиях.
3. Информация воспринимается, отображается, анализируется, осмысливается и на основе этого применяется. Признак – практическое применение полученных знаний в различных ситуациях. 3. Задания, требующие для усвоения информации сложных мыслительных операций и формирующие умения действовать в нестандартной обстановке: проблемные, предполагающие мыслительные действия на интерпретацию.
4. Полученные знания не только применяются, но на их основе создаются новые. Признак – творческое репродуцирование нового знания. 4. Проблемные задания, развивающие продуктивно-творческое мышление, в т.ч. задания по анализу сложных ситуаций.
Существует несколько уровней познавательной деятельности.
На первом уровне происходит восприятие информации, знакомство с предметом. Его признаком является опознавание объектов, явлений.
На втором – происходит не только восприятие информации, но и механическое отображение полученной информации.
На третьем – информация воспринимается, отображается, анализируется, осмысляется и на основе этого применяется. Признак третьего уровня – практическое применение полученных знаний в различных ситуациях.
На четвертом уровне полученные знания не только применяются, но на их основе создаются новые. Характерный признак – творческое репродуцирование нового знания.
В соответствии с уровнями познавательной деятельности можно выделить четыре типа контрольных заданий.
К первому типу относятся задания (вопросы, задачи), способствующие усвоению информации на уровне знакомства, в том числе на узнавание (опознавание, различие), воспроизведение отдельных фактов, данных, понятий, определений, норм, нормативов, правил.
Ко второму типу относятся задания, предполагающие усвоение и воспроизведение обучаемым информации на уровне простых мыслительных операций. Выполнение подобных заданий формирует у обучаемого навыки деятельности по образцу в известных условиях. Содержание заданий различно, в том числе определение, перечисление, описание фактов, процессов и приемов деятельности, анализ и синтез, предполагающие действия сравнения и различия, упорядочения. Например, последовательность расчетных операций при покупке товара в магазине, показатели, используемые для оценки существенных недостатков в товаре.
К третьему типу относят задания, требующие для усвоения информации относительно сложных мыслительных операций и формулирующие умение действовать в нестандартной обстановке. По содержанию задания этого типа являются, в основном, проблемами и предполагают мыслительные действия на интерпретацию (объяснение смысла, значения), аргументацию, оценку. Например, чем объяснить, чем вызвано, почему происходит. Традиционные вопросы предполагают многословные ответы, поэтому формулирование подобных заданий в тестовой форме с краткими ответами – сложная и трудоемкая работа.
Четвертый тип составляют проблемные задания, развивающие продуктивно-творческое мышление, в том числе задания по анализу сложных ситуаций, на эвристический поиск, формулировку проблемных вопросов. В таких заданиях возможны несколько, в принципе, правильных решений, отличающихся незначительно от эталонного (наилучшего). Кроме того, важно знать, как обучаемый пришел к тому или иному решению, выяснить ход его рассуждений, ознакомится с приводимыми выкладками, расчетами. Для выполнения и оценки подобных проблемных заданий четвертого типа используются в основном письменные работы. Разработка четвертого типа проблемных заданий в тестовой форме и автоматизированная проверка умений, навыков их выполнения – сложная научно-методическая проблема.
Следует отметить, что имеются и другие трактовки уровней знаний и умений, например: 1 – иметь представление; 2 – знать и уметь использовать; 3 – знать, понимать и уметь грамотно использовать; 4 – владеть.
Более детальную классификацию видов знаний для их измерений дает Аванесов В. С. («Теоретические основы разработки заданий в тестовой форме» стр. 84-85):
1 – знание названий, имен;
2 – знание смысла названий и имен;
3 – фактуальные знания;
4 – знание определений;
5 – сравнительные сопоставительные знания;
6 – классификационные знания;
7 – знание противоположностей, противоречий, синонимичных и антонимичных объектов;
8 – ассоциативные знания;
9 – причинные знания; знания причинно-следственных отношений, знание оснований, принципов классификации;
10 – алгоритмические, процедурные знания;
11 – технологические знания;
12 – обобщенные, системные знания;
13 – оценочные знания;
14 – вероятностные знания;
15 – процессуальные знания;
16 – абстрактные знания;
17 – структурные знания.
При разработке дисциплинарных и других тестов рекомендуется использовать задания:
на сравнение («В чем сходство…», «Чем отличается …», «Признаки, отличающие … от … »);
на установление причинно-следственных связей («Что произойдет, если .…», «Как изменится …», «Что послужило причиной …», «Какие причины …», «Какая связь существует…», «Чем объясняется …», «От чего зависит …», «Почему …»);
на определение цели действия процесса («Какую цель преследует…», «Каково назначение …», «Для чего выполняется …»);
на установление характерных черт, признаков или качеств предметов, явлений («Укажите особенности…», «Укажите признаки, характерные для…»);
на классификацию предметов, явлений по указанному признаку («Укажите… , относящуюся к …», «На какие группы подразделяют …», «Что относится к …» ;
на установление значения того или иного явления, процесса (Какое влияние оказывает…);
на объяснение, обоснование («Чем объяснить …», «Увеличение … при сокращении … объясняется…»);
на выводы и обобщения («Какой вывод можно сделать …», «Сущность … заключается в …»).
Классификация тестов по уровню усвоения учебного материала (по Беспалько В.П.) приведена на рис. 1.
Уровень усвоения, на который рассчитан тест, зависит не столько от его формы, сколько от содержания задания и от того, как проходило обучение по соответствующим учебным элементам.
Рис 1. Классификация тестов по В.С. Беспалько
Рис 1. Классификация тестов по В.С. Беспалько

Форма тестовых заданийИспользуемые на устных и письменных зачетах и экзаменах традиционные задачи и вопросы, без переработки не могут быть использованы в тестах. Для них специально разрабатываются задания в тестовой форме. Как показывает опыт, значительная часть первоначально составленных заданий многократно перерабатывается. По результатам проверки на разных обучаемых исключаются самые простые, очень сложные, плохо сформулированные задания.
Тестовые задания – это материал учебной дисциплины определенного объема, содержания и формы, предназначенные для контроля знаний. По определению Аванесова В. С. (Научные проблемы тестового контроля знаний стр. 38-39), тестовое задание – варьирующая по элементам содержания и по трудности единица контрольного материала, сформулированная в утвердительной форме предложения с неизвестным. Цель разработки заданий – создание теста для объективной проверки и оценки знаний.
Для подготовки дисциплинарных, квалификационных и других тестов используются различные формы (виды, типы) тестовых заданий. Выделяют четыре основные формы (табл. 2):
закрытые;
на установление соответствия;
на установление правильной последовательности;
открытые.
Таблица 2
Формы тестовых заданий Модификация
Закрытые Вопросы с выбираемыми ответами, вариантами ответов, множественным выбором. К ним относят: фасетные задания, задания-задачи с предлагаемым вариантом ответов – числами.
На установление соответствия Устанавливается соответствие элементов одного множества элементам другого. К ним относят: термины-определения, показатели-способы расчета, хозяйственные операции.
На определение правильной последовательности Необходимо указать порядок выполнения процессов, операций, вычислений. Обучаемый вводит номера предлагаемых операций в нужной последовательности.
Разновидность – задания на ранжирование: расположение элементов по возрастанию их значимости.
Открытые Задания на заполнение пропусков, на завершение фраз, предложений: в месте пропуска (точек) указывается слово или несколько слов.
На практике применяются различные модификации закрытых заданий, называемых также вопросами с выбираемыми ответами, вариантами ответов, множественным выбором. К закрытым относят фасетные задания (с изменяющимся ключевым словом), задания-задачи с предлагаемыми вариантами ответов – числами. При контроле знаний обучаемый из предлагаемых вариантов ответов выбирает один или несколько правильных.
В заданиях второй формы устанавливается соответствие элементов одного множества элементам другого. Иногда их называют заданиями на совмещение.
В заданиях на определение правильной последовательности необходимо указать порядок выполнения процессов, операций, вычислений. Обучаемый вводит номера предлагаемых в задании операций в нужной последовательности. Это форма заданий может использоваться также для проверки знаний определений, последовательности дают правильную их формулировку.
Похожими являются задания на ранжирование – расположение элементов по возрастанию или убыванию их значимости, свойств, количественных характеристик.
Открытые задания называют также заданиями на заполнение пропусков, на завершение фраз, предложений. При контроле знаний обучаемый должен вспомнить и написать в поле ввода экранной формы слово, несколько слов.
По содержанию действий обучаемого при контроле знаний можно выделить задания на:
− выбор одного ответа;
− выбор нескольких ответов;
− установление соответствия;
− установление правильной последовательности;
− ранжирование;
− заполнение пропусков, завершение предложений;
− подстановку;
− составление ответа;
− вычисление ответа;
− вычисление и выбор ответа.
Все перечисленные формы тестовых заданий имеют определенные достоинства и недостатки. Выбор их зависит от учебной дисциплины, назначения теста, ориентации на студентов различных специальностей, возможностей системы компьютерного тестирования.
Влияние формы тестов на качество педагогических измеренийВ новых вариантах психологических и педагогических теорий тестов больше внимание стало уделяться характеру умственной деятельности учащихся в процессе выполнения тестовых заданий различных форм.
Содержание теста не может быть только легким, средним или трудным. Здесь в полной мере проявляется известная мысль о зависимости результатов применяемого метода. Легкие задания теста создают только видимость наличия знаний у учащихся, потому что ими проверяются минимальные знания. В этой связи можно заметить, что ориентация федерального органа управления образованием на проверку минимального уровня знаний не дает, и не может, даже по определению, дать представление о реальном уровне знаний, т.е. дать ту информацию, которая давно уже нужна обществу и органам управления. Искажает результаты тестирования и подбор заведомо трудных заданий, в результате чего у большинства обучаемых оказываются заниженные баллы. Ориентация на трудные задания нередко рассматривается как средство усиления мотивации к учебе. Однако это средство действует неоднозначно. Одних трудные задания могут подтолкнуть к учебе, других − оттолкнуть от нее. Подобная ориентация искажает результаты и в итоге, снижает качество педагогического измерения.
При определении теста уже отмечалось, что все задания теста, хотелось бы подчеркнуть, независимо от содержания тем, разделов и от учебных дисциплин, располагаются в порядке возрастающей трудности. Распространенная, до недавнего времени, рекомендация включать в тест больше заданий средней трудности, оправдана с точки зрения определения надежности измерения по формулам классической теории тестов. Существующие в этой теории методы оценки надежности теста дают снижение надежности при включении в тест легких и трудных заданий. В то же время увлечение заданиями одной только средней трудности приводит к серьезной деформации содержания теста: последний теряет способность нормально отображать содержание изучаемой дисциплины, в которой всегда есть легкий и трудный материал. Таким образом, в погоне за теоретически высокой надежностью теряется содержательная валидность тестовых результатов. Стремление же поднять валидность результатов теста нередко сопровождается снижением их точности.
Если тестируется слабая, по подготовленности, группа учащихся, то оказывается, что трудные задания теста просто не работают, потому что ни один учащийся не может правильно на них ответить. Такие задания из дальнейшей обработки данных изымаются. В адаптивных контролирующих системах они не предлагаются. Содержание теста для слабых учащихся будет заметно отличаться от содержания теста для сильных учащихся. У последних, наоборот, не работают легкие задания, так как все знающие испытуемые на легкие задания отвечают правильно. Таким образом, содержание традиционного теста существенным образом варьирует в зависимости от уровня подготовленности тех групп учащихся, на измерение знаний которых нацелен тест.
Оптимальное отображение содержания учебного материала в тестовые задания требуемого уровня трудности предполагает возможность выбора подходящей формы.
Содержание теста выражается в одной из четырех основных форм заданий. Это:
1) задания с выбором одного или нескольких правильных ответов из числа предложенных;
2) задания открытой формы, где ответ испытуемый дописывает сам, в отведенном для этого месте;
3) задания на установление соответствия;
4) задания на установление правильной последовательности действий.
(Формы тестовых заданий приведены в приложении 10).
Компьютерный тест как средство педагогического измеренияВ последнее время благодаря развитию информационных технологий и компьютерной техники, широкое применение в образовании получают компьютерные тесты в качестве эффективных средств педагогического измерения. Их эффективность обуславливается возможностью оперативного проведения тестового контроля и быстротой обработки результатов.
Известные теории тестов и методики их конструирования [7] распространяются и на компьютерные тесты.
Однако, компьютерные тесты имеют ряд особенностей, которые обусловлены спецификой компьютерного тестирования и автоматизированной обработки результатов.
Ниже приведена методика разработки контрольно-измерительных материалов на основе компьютерных тестов.
Методика разработки контрольно-измерительных материалов
Технологические этапы методики разработки контрольно-измерительных материалов (КИМ) представлены на рис. 2.
Требования ГОС + Учебный план
Рабочая программа
Диагностическая карта соответствия КИМ требованиям ГОС СПО
Разработка структуры КИМ с выделением совокупности дидактических единиц (ДЕ)
Подбор тестовых заданий, комплектование КИМ в соответствии со структурой, определение критериев тестовых заданий
Критерии КИМа
Оформление паспорта КИМ разработчиком
Аудит КИМ (внутренний и / или внешний)
Утверждение на заседании ЭС техникума
Составление компьютерной программы теста
Тестирование студентов
Формирование результатов тестирования
Анализ качества ТБ и решаемости заданий
+ Соответствие результата критериям -
Рис. 2. Технологические этапы разработки КИМ
База тестовых заданий
Требования ГОС + Учебный план
Рабочая программа
Диагностическая карта соответствия КИМ требованиям ГОС СПО
Разработка структуры КИМ с выделением совокупности дидактических единиц (ДЕ)
Подбор тестовых заданий, комплектование КИМ в соответствии со структурой, определение критериев тестовых заданий
Критерии КИМа
Оформление паспорта КИМ разработчиком
Аудит КИМ (внутренний и / или внешний)
Утверждение на заседании ЭС техникума
Составление компьютерной программы теста
Тестирование студентов
Формирование результатов тестирования
Анализ качества ТБ и решаемости заданий
+ Соответствие результата критериям -
Рис. 2. Технологические этапы разработки КИМ
База тестовых заданий

Поскольку государственные требования к уровню подготовки выпускников определены государственными стандартами (ГОС СПО), этот документ взят за основу в технологии проектирования контрольно-измерительных материалов (КИМ).
Другим документом, определяющим содержание контрольно-измерительных материалов, является учебный план специальности, который разрабатывается в учебном заведении в соответствии с выше названным стандартом. Отметим, что неотъемлемой частью учебного плана является вариативная часть, которая формируется по результатам входной диагностики на каждом этапе непрерывного образования.
Таким образом, эти два документа являются основой и исходными данными при проектировании контрольно-измерительных материалов.
На основе этих документов устанавливается полный состав требований к первокурснику, студенту на разных этапах обучения и выпускнику, требования, содержащиеся в конкретных ГОС СПО с учетом дополнений выраженных вариативной частью.
Рабочая программа учебных дисциплинПервым этапом технологии разработки КИМ является составление рабочих программ по дисциплинам специальности. Поскольку в существующих образовательных учреждениях рабочие программы приобретены или разработаны, то данный этап практически сводится к анализу этих документов и установлению соответствия их тематического содержания требованиям ГОС и учебного плана. На этом этапе создается перечень формируемых компетенций по уровням обучения, начиная со студентов первого курса, приступающих к освоению ООП ФГОС СПО (компетентностный подход) и до выпускников ссуза, с учетом дополнительных компетенций, обусловленных спецификой специальности или направления подготовки.
На этом же этапе проводится выделение массива основных учебных модулей (ОУМ), участвующих в формировании конкретных компетенций, или ряда основных модулей, относящихся к различным дисциплинам, но формирующих одно и то же интегральное знание или умение студента.
Результатом всего этапа в целом является разработка структурной матрицы оценки уровня сформированности компетенций, разрабатываемая в контексте реализации непрерывного образования на основе аналогичной матрицы уровня ВПО (табл. 3) [8].
Таблица 3
Макет структурной матрицы оценки уровня сформированности компетенций

Обозначения в таблице [8]: ГСЭ – гуманитарный, социальный и экономический цикл; МЕН – математический и естественнонаучный цикл; Проф. – профессиональный цикл.УО – устный опрос: собеседование (УО-1), коллоквиум (УО-2), зачет (УО-3), экзамен по дисциплине, модулю (УО-4). (ПР) – письменные работы: тесты (ПР-1), контрольные работы (ПР-2), эссе (ПР-3), рефераты (ПР-4), курсовые работы (ПР-5), научно-учебные отчеты по практикам (ПР-6). ТС – технические средства контроля: программы компьютерного тестирования (ТС-1), учебные задачи (ТС-2), комплексные ситуационные задания (ТС-3) и др.
Важная роль на этом этапе отводится обязательной входной диагностике сформированности компетенций и компетентностей (табл. 4). При этом на этапе проектирования содержания входной диагностики и ее критериев, необходимо формулировать совокупность ожидаемых результатов в форме компетенций в контексте непрерывного образования. Для этого из полного набора компетенций достаточно выделить индикативные показатели результатов (прил. 4), которые, например, для направления «Металлургия» (ВПО)/«Обработка металлов давлением» (СПО) определяются из прил. 1.
Таблица 4
ОСНОВНОЕ СОДЕРЖАНИЕ КОМПЛЕКСНЫХ «ВХОДНЫХ» ИСПЫТАНИЙ СТУДЕНТОВ 1 КУРСА [8]
Коды Совокупность ожидаемых результатов обучения студентов в форме компетенций по ООП Содержание оценочных заданий для выявления сформированности
у студентов 1-го курсаобщих компетенций (ОК) и профессиональной ориентации на получение СПО
«Допороговый» уровень сформированности общих компетенций или профессиональной ориентации «Пороговый» уровень сформированности общих компетенцийили профессиональной ориентации «Повышенный (продвинутый)» уровень сформированности общих компетенций или профессиональной ориентации
ОК ОБЩИЕ КОМПЕТЕНЦИИ ОК – 1 … ОК – … ПК ПРОФЕССИОНАЛЬНЫЕ КОМПЕТЕНЦИИ ПК – 1 … ПК – … Диагностическая карта соответствия КИМ требованиям ФГОС СПОС целью снижения трудоемкости, повышения наглядности и удобства анализа соответствия содержания рабочей программы требованиям стандарта в настоящей методике используется в качестве технологического инструмента диагностическая карта соответствия контрольно-измерительных материалов требованиям Государственного стандарта среднего профессионального образования.
Диагностическая карта содержит следующие разделы:
Наименование учебной дисциплины;
Объем курса;
Требования к уровню подготовки выпускника по дисциплине;
Перечень контролируемых компетенций;
Количество контрольных точек измерений (контрольных тестов, срезов);
Вид и назначение тестов;
Тема теста;
Тематическое содержание теста (проверяемое содержание – перечень и кодировка дидактических единиц);
Количество часов по программе (с выделением практических занятий);
Количество тестовых заданий.
При разработке диагностической карты выполняется расчет контрольных точек измерений, который зависит от объема часов дисциплины в соответствии со стандартом.
Структурированные и наглядным образом представленные в диагностической карте данные составляют основу для разработки структуры КИМов и их содержания. Таким образом, диагностическая карта является основным технологическим документом настоящей методики.
Разработка структуры КИМЗаполненная диагностическая карта является также основой для разработки структуры КИМ и выделения в ней совокупности дидактических единиц (ДЕ).
Составление тестовых заданийСледующим технологическим этапом проектирования КИМ является подбор или составление тестовых заданий, их комплектование в соответствии со структурой и определение оценочных критериев выполнения тестовых заданий и теста в целом.
Для тестов, ориентированных на критерии (критериально-ориентированных), отбор содержания теста является важным этапом его создания, так как для принятия решения о достижении данной цели обучения, например, стандарта, необходимо достаточно точно и полно описать содержание стандарта и выразить его совокупностью заданий, которая была бы представительной для этой цели. Следует отметить, что в при проектировании содержания оценочных заданий разных уровней рекомендуется использовать широко применяемую таксономию Л. Андерсон и Д. Красвол (2001) [9], приведенную в прил. 3, 4.
Поэтому главной проблемой в разработке тестов, используемых для оценки достижения образовательных стандартов, является достижение соответствия содержания стандарта и содержания теста.
На данном этапе важным моментом является разработка критериев оценивания выполнения заданий студентами. Следует отметить, что в зависимости от целей и назначения диагностики существуют различные рекомендации и теории по оценке результатов измерений. Поскольку настоящая методика представляет собой универсальный технологический инструмент, который может быть использован в различных образовательных процессах и для различных целей диагностики, в ней не ставится целью определение и обоснование каких-либо конкретных оценочных критериев. При этом необходимо обратить внимание, что использование тех или иных критериев зависит от целей и задач проводимой диагностики и является прерогативой организации, производящей замеры.
Оформление паспорта КИМПаспорт КИМ (паспорт теста) является итоговым проектным нормативным документом, в котором отражается в полном объеме вся информация о тесте, указанная в диагностической карте. На основании информации, представленной в паспорте, в дальнейшем производится разработка тестовых программ, анализ тестовой базы и анализ качества подготовки студентов по результатам диагностики.
Аудит КИМОформленный разработчиком паспорт теста проходит внутренний аудит:
экспертиза КИМа методической службой учебного заведения;
экспертиза КИМа цикловой комиссией и согласование председателем ПЦК;
рассмотрение и утверждение Экспертным советом.
После проведения внутреннего аудита оформленный и утвержденный паспорт теста сдается в соответствующую службу образовательного учреждения, в функцию которой входит организация мониторинга.
Составление компьютерной программы тестаНа основании оформленных и утвержденных паспортов КИМов разрабатываются компьютерные тестовые программы, которые используются впоследствии для тестирования студентов. Следует отметить, что на рынке программных продуктов создано достаточное количество тестовых оболочек (конструкторов тестов), предназначенных для программирования КИМов. Однако, как показывает практика, такие оболочки сложны и трудоемки для использования педагогами, имеют ограниченные возможности встраивания в автоматизированную систему комплексной диагностики, и мониторинга в целом.
В результате проведенного анализа различных тестовых компьютерных систем, их технических возможностей и стоимости для применяемого мониторинга выбрана универсальная автоматизированная система диагностики качества образования «Дикобраз». Выбранная система позволяет не только провести тестирование по какому-либо тесту, но и сформировать, хранить и обработать все снятые показатели в процессе диагностики.
Теоретически в предлагаемой методике можно использовать и другие инструментальные средства (оболочки) с аналогичными возможностями, а тестовые программы разрабатывать силами преподавателей. Но как показывает практика, вовлечь в этот процесс всех педагогов-предметников, задействованных в мониторинге, не представляется возможным (в силу отсутствия навыков, подготовки и времени).
Компьютерный банк тестовых заданий хранится на сервере и периодически пополняется новыми вариантами тестовых заданий.
Анализ качества КИМ и их коррекцияОценка качества разработанных контрольно-измерительных материалов определяется после проведения компьютерного тестирования студентов. Тестирование проводится в соответствии с графиком, разработанным на основе матрицы и КТП педагогов. Инструментальная программная среда позволяет сразу по окончании тестирований автоматически сформировать и распечатать выходные формы для анализа качества тестовой базы (прил. 5):
Карта анализа ТБ;
График решаемости заданий;
Ведомость результатов тестирований в разрезе групп.
Полученные документы являются основой для дальнейшего анализа качества тестовой базы, по результатам которых составляется сводный перечень тестовых заданий, подлежащих корректировке.
Выходные формы анализа тестовой базы изучаются преподавателями, обсуждаются со студентами, после чего принимается решение о коррекции тестовой базы.
Коррекцию тестовой базы по утвержденным графикам проводят разработчики совместно с преподавателями-предметниками. Это один из ответственных этапов технологии, который является необходимым условием для составления качественных тестовых заданий.
Заключение Настоящая методика характеризует этап проектирования контрольно-измерительных материалов (КИМ), являющегося составной частью системы автоматизированного мониторинга качества подготовки студентов.
Технология разработки КИМ, так же как и вся система диагностики, в целом, построена по принципу замкнутого жизненного цикла процесса разработки КИМ, который в менеджменте качества известен как цикл Деминга.
140970062865требования стандарта
планирование и
проектирование КИМ
анализ качества КИМ
тестирование
коррекция
Внешняя среда
00требования стандарта
планирование и
проектирование КИМ
анализ качества КИМ
тестирование
коррекция
Внешняя среда

342900-3175Рис. 3. Цикл Деминга
00Рис. 3. Цикл Деминга

Оперативная информация, получаемая автоматизированным способом о результатах тестирования (в данном случае качестве теста), позволяет быстро оценить текущее состояние процесса, выделить недостатки и своевременно устранить их. Поскольку процесс разработки КИМ, как и любой другой, не является постоянным и находится под воздействием различных факторов внешней среды, то предлагаемая методика позволяет осуществлять непрерывное динамичное функционирование процесса, своевременно корректируя ход его выполнения. Таким образом, тестовая база, используемая в процессе мониторинга качества подготовки студентов, не является постоянной составляющей процесса, а находится в условиях постоянного совершенствования в зависимости от многообразия воздействия внешних фактов (в том числе и изменения образовательных стандартов). В конечном итоге такая схема может гарантировать соответствие цели прогнозируемым результатам, что и является самым главным эффективным показателем качества, в данном случае педагогического средства измерения.
Список литературыАванесов B.C. Научные проблемы тестового контроля знаний М., 1994;
Беспалько В.П. Слагаемые педагогической технологии. М: Педагогика, 1989.
Гулидов И.Н. Педагогический контроль и его обеспечение. – М.: «Форум», 2005.
Корсак К. О качестве систем педагогических измерений //Народное образование. 2002. №4
Кузнецов А.А. Мониторинг качества подготовки учащихся // Стандарты и мониторинг, 2001.
Майоров А.Н. Теория и практика создания тестов для системы образования. - М., «Интеллект центр», 2001. - 296 с.
Челышкова М.Б. Теория и практика конструирования педагогических тестов. М.: ЛОГОС, 2002.
Ефремова Н.Ф., Казанович В.Г. Оценка качества подготовки обучающихся в рамках требований ФГОС ВПО: создание фондов оценочных средств для аттестации студентов вузов при реализации компетентностно-ориентированных ООП ВПО нового поколения: Установочные организационно-методические материалы тематического семинарского цикла. – М.: Исследовательский центр проблем качества подготовки специалистов, 2010. – 36 с.
Степчева З.В., Маттис, Л.А. Роль таксономического подхода в достижении нового качества обучения по информатике и ИКТ в системе автоматизированного внутришкольного мониторинга // ИНФОРМАТИКА: ПРОБЛЕМЫ, МЕТОДОЛОГИЯ, ТЕХНОЛОГИИ: Материалы докладов X международной ШКОЛЫ – КОНФЕРЕНЦИИ «ИНФОРМАТИКА В ОБРАЗОВАНИИ». – Воронеж: ВГУ – 2010. – С.12-18.
Приложение 1
Таксономия мыслительных умений по Л. Андерсон и Д. Красвол
Уровень когнитивных процессов Категории знания
Интеллектуальные компетенции декларативное концептуальное процессуальное метакогнитивное
Запомнить
Узнавание
Припоминание Понимать
Интерпретация
Приведение примеров
Классификация
Обобщение
Умозаключение
Сравнение
Объяснение Применить
Исполнение
Применение Анализировать
Дифференциация
Организация
Соотнесение Оценить
Проверка
Критика Создать
Генерация
Планирование
Производство Приложение 2
Комплекс единых сквозных индикаторов
Обобщенные индикаторы
результатов образования учебного процесса
1 Набор показателей в (виде спецификации учебных элементов), на основе единых принятых критериев оценки; шкалы оценивания в соответствии с задачами контроля наличие в образовательном учреждении системы автоматизированного внутреннего мониторинга качества, критериально соотнесенной с внешней независимой оценкой;
коллективный характер разработки оценочных средств (в качестве внешних экспертов должны активно использоваться работодатели, студенты выпускных курсов вуза, преподаватели смежных дисциплин учреждений разных ступеней образования, профессиональных сообществ, СМИ и других общественно-государственных институтов);
использование новых форм оценивания (групповых, взаимооценок, экспертных оценок и др.);
требования к квалификации организаторов оценивания;
наличие рефлексии по итогам оценивания;
структура портфолио;
доступность статистической информации всем заинтересованным пользователям.
2 Способности к творческой деятельности (способствующей подготовке студента, готового обеспечивать решения новых задач, связанных с недостаточностью конкретных специальных знаний и отсутствием общепринятых алгоритмов профессионального поведения), а также формируемого портфолио Приложение 3
Матрица конструирования содержания уровней знания
на примере ДЕ «Поведение материалов в новых условиях» по дисциплине «Материаловедение»
Уровни когнитивных процессов
Декларативное знание
Знать/Помнить Понимать Применять Анализировать Оценивать Создавать
основные понятия и определения:
легирование, химический состав, структура
Выписать законы и зависимости,
принципы классификации легированных сталей Изложить суть процессов, происходящих при легировании материалов Анализировать взаимосвязь процессов, происходящих в материале при легировании и дальнейшей эксплуатации Осуществить выбор легированного материала в зависимости от заданных условий его эксплуатации Создавать систему выбора приоритетных свойств характеризующих условия эксплуатации
материалов с оценкой поведения в новых условиях
Концептуальное знание
Знать/Помнить Понимать Применять Анализировать Оценивать Создавать
Оперировать определениями характеристик материалов
Объясните смысл легирования и выбора механических свойств (прочность, пластичность и т.д.) Составлять таблицы свойств и характеристик материалов, карты применения Формулировать своими словами
Оцените поведение материала в новых условиях
Предложите последовательность выбора материала в новых условиях
Продолжение прил. 3
Процессуальное знание
Знать/Помнить Понимать: Применять Анализировать Оценивать Создавать
Обозначения легирующих элементов, принципы классификации легированных сталей взаимосвязь между легирующими элементами и вносимыми ими свойствами
Прогнозировать возможность использования разных комбинаций легирования Осуществлять качественный анализ свойств конструкционных материалов Осуществлять сопоставительный анализ материалов и свойств
Формализуйте алгоритм выбора материала в новых условиях
Метакогнитивное знание
Знать/Помнить Понимать: Применять Анализировать Оценивать Создавать
Маркировку и классификацию легированных сталей Понимать традиционные условия эксплуатации и влияние легирующих элементов на формирование комплекса эксплуатационных свойств
Уметь формировать матрицу свойств материалов в различных условиях их эксплуатации с учетом воздействия внешних факторов Выстраивать иерархические картины свойств материалов в различных условиях эксплуатации Оценка достижимости формирования заданного комплекса свойств Реализация идей в жизненном контексте