Доклад на методсовет«Технология оценки уровня учебных достижений учащихся».

«Технология оценки уровня учебных достижений учащихся».
В настоящее время все более актуальным в образовательном процессе становится вопрос о Качестве образования которое рассматривается как интегральная характеристика образования, отражающая уровень соответствия достигаемых образовательных результатов нормативным требованиям, социальным и личностным ожиданиям.
Оценка качества образования - процесс, в результате которого определяется степень соответствия образовательных достижений  обучающихся, качества образовательных программ, свойств образовательного процесса и его ресурсного обеспечения в организациях образования, в региональных системах образования, в областной и республиканской системах образования государственным образовательным стандартам и другим требованиям, зафиксированным в нормативных документах к качеству образования.
Виды оценивания учебных достижений учащихся:
Внешняя оценка:
- установление соответствия достигнутых учащимися результатов требованиям стандарта;
- используется стандартизированный инструментарий

Внутренняя оценка:
- установление соответствия реальных личных достижений учащихся ожидаемым результатам обучения по учебным предметам;
- используется нестандартизированный инструментарий;
Мы будем вести речь о создании стандартизированного инструментария:
Уровень
оценки
1-ый уровень – минимально-достаточный
(оценка 3)
2-ой уровень
(оценка 4)
3-ий уровень
(оценка 5)
4-ый уровень – творческий
(оценка 5)

критерии
Общая ориентация в информации
Ориентация в причинно-следственных


связях

Ориентация в информации как системе

(сравнения, обобщения, систематизация)
Ориентация в информации при изменении контекста


индикаторы
Задания включают вопрос


Что?
Кто?
Где?
Когда?
Сколько?
Как?
Какой, какие?
Перечислите и т.д.
Почему?
Зачем?
Вследствие чего?
В связи с чем?
Каково намерение? и т.д.
Что общего?
В чем отличие?
Какова связь?
Каково значение каждого элемента?
Каковы функции каждого элемента? и т.д.
Как реализовывалось?
Можно ли реализовать по-другому?
Что будет, если? и т.д.



Цели оценивания
Фиксация состояния уровня обученности учащихся;
Динамика изменений в уровне обученности учащихся
Этапы оценки качества обучения
Выделение показателей качества обучения;
Определение критериев оценки
(эталона, требования, стандарта), на основе чего будет оцениваться данный показатель;
Разработка инструментария;
Организация сбора, обработки, анализа, интерпретации полученных данных;
Представление и распространение обобщённой информации для разных категорий пользователей;
Подготовка рекомендаций и принятие управленческих решений.

Этапы технологии оценки уровня учебных достижений учащихся
1.Составление технологической матрицы, структуры теста, спецификации тестовых заданий;

2.Проведение экспертизы составленных тестовых заданий;

3. Апробация тестовых заданий;

4. Обработка результатов тестирования

13 EMBED PowerPoint.Slide.8 1415
Отбор содержания учебного материала и составление технологической матрицы
Модель педагогического тестирования представляется в виде технологической матрицы. Содержание предмета должно полностью покрываться матрицей по всем темам.
Главной проблемой в разработке тестов, используемых для оценки достижения образовательных стандартов, является достижение соответствия содержания стандарта и содержания теста.
Необходимо, чтобы общее количество вопросов было распределено по темам таким образом, чтобы оно отражало их важность, объем и количество учебного времени.
Технологическая матрица должна отражать уровень достижений учащихся, уровень овладения материалом. В соответствии с этим каждое тестовое задание предназначается для проверки овладения учащимися определенными умениями, характеризующими отдельные компоненты познавательной деятельности: воспроизведение, применение, интеграция знаний.
Содержательно - деятельностная модель теста (технологическая матрица)
Содержательные линии
Воспроизведение знаний
Применение знаний
Интеграция знаний
Процентное соотношение в тесте







Процентное соотношение в тесте
40%
35%
25%
100%

План теста (Спецификация теста)
№ задания
Условные обозначения
Проверяемый элемент

Блок А













Блок Б









Этапы составления технологической матрицы и спецификации теста:
Определение целей тестирования
Документы, определяющие содержание тестовых заданий
План (структура теста)
Время выполнения теста
Распределение заданий по содержанию и уровню сложности
Подготовка спецификации теста
Система оценивания
Структура спецификации тестовых заданий по естествознанию 5 класс
Определение целей тестирования

Основной целью тестирования является объективная оценка уровня овладения знаниями, умениями и навыками, соответствующими государственному общеобязательному стандарту по естествознанию за 5 класс.

Документы, определяющие содержание тестовых заданий:
Государственные общеобязательные стандарты начального, основного, среднего, общего среднего образования РК. Утверждены приказом МОН РК № 367 от 09.07.2010г.
Типовой учебный план (Государственные общеобязательные стандарты среднего общего образования РК. Основные положения).
Программы. для 5 класса общеобразовательной школы. Авторы Токбергенова У.К., Карбаева Ш.Ш., Казахбаева С.К., Нуралиева С.К. Утверждено приказом №367 от 09.07.2010 г. МО и Н РК.
Учебник. Естествознание 5 класс . Абдиманапов Б.Ш., Прищепина А.В., Фокина Л.М., Алматы «Атамура», 2010
Методическое пособие для учителя.

Планирование теста
В качестве измерителя знаний и умений учащихся по естествознанию за 5 класс используются тестовые задания. Работа состоит из 30 заданий. Они расположены по нарастанию трудности и разделены на 2 блока.

Блок А содержит 24 задания, к каждому из которых даны варианты ответов. При выполнении этих заданий требуется из предложенных вариантов выбрать правильные ответы.

Блок Б содержит 6 заданий, при выполнении которых требуется записать полученный ответ
Тест имеет следующую структуру:
Раздел «Естествознание – система наук о природе» включает 2 задания.
Раздел «Земля- планета Солнечной системы» включает 10 заданий.
Раздел «Тела и вещества в природе» включает 6 заданий.
Раздел «Жизнь в природе» включает 7 заданий.
Раздел «Природа и человек» включает 5 заданий.

Распределение заданий по содержанию и уровню сложности
Содержательные
линии
Воспроизведение
знаний
Применение
знаний
Интеграция знаний
% соотношения в тесте

Е – Естествознание система наук о природе
1
1
0
6,7%

З –Земля-планета Солнечной системы
5
4
1
33,3%

Т – Тела и вещества в природе
3
1
2
20%

Ж – Жизнь в природе
2
2
3
23,3%

П –Природа и человек
1
2
2
16,6%

Всего:
12
10
8
30

 
40%
33,3%
26,7%
100%



Спецификация теста по естествознанию для учащихся 5 класса
№ задания
Условные обозначения
Проверяемый элемент

Блок А

1
Е
Естествознание – система наук о природе. Методы изучения природы.

2
З
Солнце. Солнечная система.

3
З
Форма и размер Земли. Луна- спутник Земли.

4
З
Общая характеристика строения Земли. Внутреннее строение Земли.

5
З
Гидросфера.

6
З
Атмосфера.

7
Т
Физические тела и вещества. Строение вещества. Диффузия. Чистые вещества и смеси.

8
Т
Явления природы.

9
Т
Механическое движение и равновесие.

10
Ж
Живая планета.

11
Ж
Природные сообщества.

12
П
Охраняемые природные территории.

13
Е
Методы изучения природы. Ученые – естествоиспытатели.

14
З
Звездное небо. Звездные системы.

15
З
Материки и острова.

16
З
Океаны (в сравнении)

17
З
Атмосферное давление. Погода и климат.

18
Т
Силы в природе.

19
Ж
Комнатные, лекарственные, культурные растения.

20
Ж
Грибы.

21
П
Загрязнение окружающей среды.

22
П
Как защитить природу

23
З
Горные породы и почвы.

24
Т
Световые ,тепловые, звуковые, электрические и магнитные явления

Блок Б

1
Т
Химические и физические явления.

2
Ж
Многообразие животных и их значение.

3
Ж
Многообразие растений и их значение.

4
Ж
Искусственные сообщества

5
П
Красная книга

6
П
Правила поведения в природе.

Условные обозначения: Е- естествознание – система наук о природе; З –Земля; Т – Тела и вещества; Ж – Жизнь в природе; П –природа и человек.
Система критериев оценивания
Оценивание проводится по дихотомической шкале.

За каждый правильный ответ выставляется - 1 балл, неправильный ответ -0 баллов в заданиях блока А и блока Б.

Составление спецификационной матрицы по группам:
математика 5 класс;
русский язык 5 класс;
литература 6 класс;
всемирная история 6 класс;
истрия Казахстана 10 класс;
география 11 класс.

Тест это инструмент, состоящий из квалиметрически выверенной системы тестовых заданий, стандартизированной процедуры проведения и заранее спроектированной технологии обработки и анализа результатов, предназначенный для измерения качеств и свойств личности, изменение которых возможно в процессе систематического обучения.
Тест в качестве составляющих должен иметь три элемента:
- систему заданий, зафиксированную документально,
- технологию предъявления,
- отработанную систему проверки и обработки результатов тестирования.
1.Тесты оказываются более качественным и объективным способом оценивания, объективность тестирования достигается путем стандартизации процедуры проведения и путем стандартизации и проверки показателей качества заданий и тестов целиком.


2.Тесты – более ёмкий инструмент – показатели тестов ориентированы на измерение степени, определение уровня усвоения ключевых понятий, тем и разделов учебной программы, умений, навыков, а не на констатацию наличия у учащихся определенной совокупности усвоенных знаний.

3.Тесты – более объемный инструмент – выполняя тестовую работу, каждый ученик выполняет задания, используя знания по всем темам, изучение которых предусматривала программа.

4.Тесты – более мягкий инструмент. Они ставят всех учащихся в равные условия, так как используется единая процедура и единые критерии оценки, что приводит к обеспечению объективности.
Требования, предъявляемые к тестам:
надежность,
валидность,
репрезентативность.
Факторы, определяющие надежность теста:
правильный выбор параметров, адекватно отражающих обученность;
технологичность (четкость, ясность) инструментария проверки и оценки - четкая инструкция об организации проверки, однозначность оценки;
одинаковость условий каждого тестирования;
однородность (равнозначность) измерителя.
По характеру ответов на вопросы различают два основных типа тестов:

Типы тестов:
открытого типа
закрытого типа.
Тесты открытого типа, или тесты со свободными ответами, в которых ученику необходимо самостоятельно дописать слово, словосочетание, предложение, знак, формулу и т.д. ( по слайду )
Тесты закрытого типа, или тесты с готовыми ответами, в которых ученику необходимо выбрать правильный из предложенных вариантов. ( по слайдам)
Правила составления тестовых заданий:

Содержание задания должно отвечать программным требованиям и отражать содержание обучения.
Вопрос должен содержать одну законченную мысль.
Начинайте формулировать вопрос с правильного ответа.
При составлении вопросов следует особенно внимательно использовать слова "иногда", "часто", "всегда", "все", "никогда".
Вопрос должен быть четко сформулирован, избегая слова большой, небольшой, малый, много, мало, меньше, больше и т.д.
Избегайте вводных фраз и предложений, имеющих мало связи с основной мыслью, не следует прибегать к пространным утверждениям, так как они приводят к правильному ответу, даже если учащийся его не знает.
Неправильные ответы должны быть разумны, умело подобраны, не должно быть явных неточностей, подсказок.
Правильные и неправильные ответы должны быть однозначны по содержанию, структуре и общему количеству слов.
Не задавайте вопросы с подвохом (в заблуждение могут быть введены наиболее способные учащиеся).
Реже используйте отрицание в основной части, избегайте двойных отрицаний, таких как: "Почему нельзя не делать?"

Все варианты ответов должны быть грамматически согласованы с основной частью задания, используйте короткие, простые предложения, без зависимых или независимых оборотов.
Ответ на поставленный вопрос не должен зависеть от предыдущих ответов.
Правильные и неправильные ответы должны быть однозначны по содержанию, структуре и общему количеству слов. Применяйте правдоподобные ошибочные варианты, взятые из опыта.
Если ставится вопрос количественного характера, ответы располагайте по возрастанию, если дистракторы представлены в виде слов текста, располагайте их в алфавитном порядке.
Лучше не использовать варианты ответов "ни один из перечисленных" и "все перечисленные".
Избегайте повторения.
Используйте ограничения в самом вопросе.
Не упрощайте вопросы.
Место правильного ответа должно быть определено так, чтобы оно не повторялось от вопроса к вопросу, не было закономерностей, а давалось в случайном порядке.
Лучше использовать длинный вопрос и короткий ответ.
Проанализируйте задания с точки зрения неверного ответа наиболее подготовленных учеников.

Вербальные и невербальные тесты
В вербальных тестах основным содержанием работы испытуемых являются операции с понятиями, мыслительные действия, осуществляемые в словеснологической форме.
Невербальные тесты это такой тип методик, в которых тестовый материал представлен в наглядной форме (в виде картинок, чертежей, графических изображений и т. п.). ( по слайдам)
Роль и значение невербальных средств ( по слайду)
Экспертиза тестовых заданий
Экспертиза тестовых заданий является обязательным условием для создания тестов вне зависимости от уровня их применения. После того, как тестовые задания подготовлены, следует проверить их объективность и корректность формулировки.

Тестовые задания можно считать объективными или корректно сформулированными, если мнения ряда экспертов о назначении задания, о правильности формулировки и пригодности вариантов ответов
совпадают между собой.

В качестве экспертов тестовых заданий
могут быть учителя и методисты.
Этапы экспертизы тестовых заданий:
1. Экспертиза спецификации теста

2. Экспертиза тестов по содержательным
линиям и уровням сложности

3. Комплексная оценка тестовых заданий

4. Заполнение бланка экспертной оценки тестов

Заполнение протокола экспертизы

Экспертиза тестовых заданий проводится по спецификации теста, по содержательным линиям, по уровню сложности тестовых заданий согласно прилагаемой инструкции:


13 EMBED PowerPoint.Slide.8 1415
13 EMBED PowerPoint.Slide.8 1415
Процент выполнения тестов по заданиям и по блокам
% выполнения тестов по заданиям вычисляется :
Общее количество баллов, которые набрали учащиеся делим на количество учащихся, выполнявших работу * 100%
180/250*100=72 %

% выполнения тестов по блоку:
Общее количество баллов, которые набрали учащиеся делим на Мах возможное количество баллов*100%

Например, 4280/6000*100=71,3 250*24=6000
Определение трудности:
Трудность задания является важнейшей характеристикой, определяющей место задания в тесте.
Трудность задания определяется долями выборки выполнивших и не выполнивших задание.
Например, при апробации теста на выборке в 200 человек с первым заданием справились 50 человек, а со вторым 150. Для обозначения трудности задания используется обратная величина, то есть доля тех, кто не справился с заданием. Этот показатель называется индексом трудности, который вычисляется по формуле:

U= (1- n / N)*100%,
где
U – индекс трудности в процентах;
N - общее число принимавших участие в апробации;
n - число участников тестирования, правильно
справившихся с заданием.
Для нашего примера:
U = (1 -50/200)*100 = (1-0,25)*100 = 75%
U = 100 (1- 150/200)*100 = ( 1-0,75)*100 = 25%

Значит, индекс трудности первого задания 75%, а второго 25%.

Для тестов, в том случае, если трудность задания меньше 20% или больше 80%, такое задание необходимо переработать или отбраковать.

Определение дискриминативности тестовых заданий
После проведения апробации необходимо определить коэффициент дискриминации, который является показателем пригодности задачи для теста.
Каждое тестовое задание сопоставляется по проценту правильных ответов с заданиями в других вариантах. Если процент правильных ответов на определенное задание приблизительно одинаковый во всех вариантах, то задание составлено верно.
В случае разрыва показателей в том или ином тестовом задании определяется коэффициент дискриминации, который позволит сделать выводы: задание пригодно или непригодно для включения его в тестовые задания, или это задание требует коррекции.

Определение дискриминативности необходимо для того, чтобы поставить заслон некачественным заданиям.


15