- ОПТИМАЛЬНЫЕ КОММУНИКАЦИИ (OK) - http://jarki.ru/wpress -

Принципы экпертизы контрольного блока дистанционной образовательной технологии

Калмыков А.А.

Дистанционная образовательная технология (ДОТ) предъявляет особые требования к оценке успешности обучения (контролям). Однако задачи и способы оценок успешности в ДОТ имеют ряд существенных особенностей.

Контроли, в традиционных образовательных технологиях, используются большей частью, как основания для сертификации качества приобретенных в процессе обучения знаний, умений, навыков. В этом случае, первичная ответственность за качество образовательного результата лежит на преподавателе, а итоговая, на образовательном центре, выдающим соответствующий документ. Обучающиеся и обучающие, в равной степени, утверждаются в истинности схем: «выучил – сдал – получил сертификат»; «отчитал – спросил – заполнил ведомость».

Подобные схемы закреплены в терминах: «контроль»; «успеваемость», а также в шкале измерения качества результата: «неудовлетворительное, удовлетворительное, хорошее, отличное».

Если считать, что итогом обучения является сертификация на основе оценки, то действительно весьма важным является вопрос, как обеспечить ее адекватность реальным успехам обучающегося при условии использования ДОТ. При ДОТ оценка – это мера ответственности преподавателя, который не может быть до конца уверен в том, что принимал экзамен у Иванова, а не у Петрова. Вот почему эта проблема столь часто обсуждается в связи с развитием ДОТ, актуализируя вопросы надежности идентификации слушателей, надежности и объективности процедур оценивания, неравных технических условий при которых они осуществляются, проблемы соотнесения результатов дистанционных контролей и контактных и т.п.

Несмотря на безусловную важность и актуальность этих вопросов, в настоящей статье они обсуждаться не будут, так как есть задача актуализировать другую важнейшую функцию контроля – управление учебной деятельностью в процессе учебной деятельности. Именно эту задачу должны выполнять текущие контроли, как в дистанционном, так и в обычном учебном процессе, так как ответственность преподавателя здесь за качество обратной связи с обучающимся, то есть, за ее своевременность, точность, эффективность, прозрачность.

При такой постановке, главным становится не достижение максимально объективной оценки (что само по себе проблематично), а установление диалога с обучающимся посредством оценочной фиксации этапов его учебной деятельности, приводящей к изменению способов ее осуществления.

С помощью контролей преподаватель должен помочь обучающемуся не только успешно двигаться по образовательной траектории согласно академическому календарю, но и возвращаться к слабо освоенным зонам, приобретать навыки нужные для дальнейшего движения, или пытаться получить лучший результат при выполнении новых заданий. Особую роль здесь приобретает форма подачи обратной связи, то есть тот язык, на котором преподаватель сообщает результаты своих оценок.

Это сообщение должно быть максимально прозрачным и понятным для обучающегося. Ему должны быть известны критерии оценки и шкала, по которой проведена оценка. Например, он должен точно знать, что такое «неудовлетворительно, удовлетворительно, хорошо и отлично». Естественно и критерии и шкала в равной степени должны быть понятны и самому оценщику. Так как учебные задания трудно сбалансировать и выровнять по сложности их выполнения и диагностичности, желательно чтобы была возможность дифференцировать их в зависимости от вклада (веса) данного результата в общую картину. Немаловажным являются: сложность процедуры оценки; возможность ее автоматизации; визуальная представимость, то есть возможность оперативной визуализации результата в процессе обучения, что особенно важно при использовании Интернет-технологии. К этому следует добавить свойства оценки стимулирующих ту или иную учебную активность: компенсаторную – «компенсирую неуспех в этом задании, результатом следующего задания которое для меня важнее и интереснее»; конкурентную – «буду стремиться быть в ряду первых в группе»; или трансформирующую (меняющую направленность учебной активности) – «мне нужно заботиться о своевременности выполнения заданий».

Таким образом, можно выделить следующие характеристики способа оценки:

1) прозрачность/непрозрачность – критерии оценки объявляются/не объявляются;

2) ясность/неясность – смысл шкалы легко/сложно объяснить;

3) чувствительность/нечувствительность к весам учебных заданий;

4) сложность/простота вычисления оценки;

5) автоматизируемость/неавтоматизируемость;

6) визуализируемость результата – слабая/сильная;

7) степень стимулирования учебной активности – слабая/сильная.

Попробуем дать сравнительную характеристику распространенных способов оценки успешности процесса обучения: традиционной, рейтинговой и ранговой.

1. Традиционная четырехбалльная система: (двойка, тройка, четверка, пятерка) характеризуется:

1) непрозрачностью, так как оценка носит весьма субъективный характер и ее критерии затруднительно объявить, это означает что оценка «хорошо» например, это то, что квалифицирует, как «хорошо» преподаватель;

2) ясностью, так как смысл оценки, легко объясним, в основном из-за ее привычности;

3) нечувствительностью к весам учебных заданий;

4) простотой вычисления оценки, она не вычисляется, а декларируется;

5) неавтоматизируемостью, вследствие ее субъективности;

6) слабой визуализируемостью результата, вся визуализация заключается в графическом образе двойки или пятерки;

7) слабой степенью стимулирования учебной деятельности, вследствие констатирующего и интегративного характера оценки и отсутствия в оценке информации о деталях неуспешности/успешности.

2. Рейтинговая система характеризуется:

1) прозрачностью, – есть возможность включить элементарные критерии, каждый из которых может быть объявлен. Причем практически всегда возможно использование бинарных шкал, например: вовремя/с опозданием поступило решение; полный/неполный ответ и т.п. Все эти критерии могут быть доведены до сведения обучающихся, что даст им возможность видеть предъявляемые к учебной работе требования в деталях;

2) ясностью, так как итоговая оценка будет складываться из элементарных компонентов, которые обучающийся сам может просчитать;

3) чувствительностью к весам учебных заданий. Вклад различных учебных заданий в итоговый результат можно дифференцировать с помощью введения весовых коэффициентов, которые также должны быть доведены до сведения обучающихся. Сами значения весовых коэффициентов должны быть заданы разработчиками курса или же определены с помощью экспертной оценки;

4) сложностью вычисления оценки.

В общем случае итоговая оценка (рейтинг) вычисляется как сумма баллов по всем выполненным заданиям. Баллы по заданиям одного типа вычисляются как произведение веса задания данного типа, количества заданий данного типа, суммы оценок за выполненные задания данного типа.

Подбор задаваемых разработчиком курса значений оценок и весовых коэффициентов осуществляется с учетом граничных условий.

Первое условие – максимально возможный рейтинг по учебному модулю. Он обычно приравнивается к какому-либо целому числу (например, к 100), что позволяет подобрать значения весовых коэффициентов и определить репертуар заданий (типы заданий и количество заданий разных типов) для данного учебного сценария. Если учебный процесс состоит из нескольких учебных модулей, то максимальный рейтинг по дисциплине (или учебному модулю) привязывается к количеству расчетных учебных часов, например, для курса в 72 часа максимальный рейтинг 100, для курса в 144 часа – 200 и т.д. Такой подход дает возможность нормировать количество и объем учебных заданий, а также дифференцировать показатели успешности обучения уже по сложности учебных модулей.

Второе условие – минимально допустимый (проходной) рейтинг. Рейтинговая система позволяет разработчику курса внятно сформулировать минимальные требования, не выполнение которых означает невозможность аттестации по курсу. Такой минимальной границей может быть поступления от обучающихся решений всех учебных заданий или получение определенного проходного балла при тестировании. Причем, это отчетливо будет видно и на этапе промежуточных контролей. Такой подход дает разработчику учебного курса также дополнительные возможности варьировать свои требования в зависимости от целей и задач курса, определенных в концепции курса. Так как курсы разные по содержанию, то и значение проходного рейтинга будет от курса к курсу меняться. Поэтому нельзя признать правильным подход, при котором проходной рейтинг устанавливается раз и навсегда (например, 30% от максимального).

Особо следует сказать о схемах перевода рейтинговой оценки в традиционную четырехбалльную. Для этого можно рекомендовать схему, при которой граничные значения будут делить рабочий интервал «проходных» значений рейтинга в пропорциях соответствующих золотому сечению. Второй вариант подсчета основывается на самой структуре заданий, и заключается в подсчете сумм рейтингов удовлетворительных, хороших и отличных решений заданий разного типа.

Рейтинговая система достаточно сложна для преподавателя, и может быть по настоящему эффективна, только если значительное количество операций будет автоматизировано.

5) автоматизируемостью, так как при использовании ДОТ, автоматические подсчеты рейтингов вполне могут быть заложены в обслуживающие ДОТ программные оболочки, предоставляя преподавателю возможность просто ставить «галочки» в заранее заготовленных интерактивных формах.

6) потенциально сильной визуализируемостью, так как рейтинговая система легко может быть представлена в виде графиков, схем, диаграмм и т.п. и других средств визуализации в автоматическом режиме.

7) потенциально сильной степенью стимулирования учебной деятельности, вследствие того, что информация по текущим значениям рейтинга сколь угодно точно и детально может отражать фактическое положение обучающегося на образовательной траектории.

3. Ранговая система характеризуется:

1) прозрачностью, – так как опирается на простое правило «будь лучше других»;

2) неясностью, так как выбор предпочтений, который осуществляет арбитр-преподаватель, осуществляется по его субъективным критериям;

3) нечувствительностью к весам учебных заданий. Первое место в выполнении контрольной и последнее в выпускной работе определят некое среднее место в итоговой таблице;

4) простотой осуществления оценки, так как проще ответить кто хуже, кто лучше, чем дать абсолютную оценку в баллах;

5) неавтоматизируемостью, так как оценки базируются на экспертном суждении преподавателя. Впрочем, итоговые подсчеты автоматизируются легко;

6) потенциально сильной визуализируемостью, так как ранги легко представимы различными визуальными средствами;

7) потенциально сильной степенью стимулирования учебной деятельности, так как включают элемент игры и конкуренцию.

Из рассмотренных методов оценки успешности обучающегося в качестве эффективного средства управления учебным процессом лучше использовать рейтинговые и ранговые оценки успешности. Традиционная четырехбалльная система для этой задачи не очень подходит. С другой стороны рейтинговая система весьма трудоемка и требует подробной и тщательной подготовки при проектировании курса. Только тогда она будет эффективна. Ранговая система более удобна, оперативна и понятна, однако не дает объективной абсолютной оценки, фиксируя успешность обучающегося по отношению к успешности его коллег по учебной группе.

В любой случае выбор системы оценки в значительной степени остается за преподавателем и разработчиком курса. Причем последнее, как правило, предполагает, что преподаватель самостоятельно разрабатывает собственные критериальные коридоры и использует их при осуществлении оценки, одновременно решая задачу оптимизации самой процедуры. Всегда необходимо найти компромисс между временем выполнения контрольных заданий, временем их проверки и эффективностью контроля.

Именно из-за того, что оптимальными по времени выполнения и обработки на сегодняшний день являются тесты – эта технология приобрела такую популярность. Однако эффективность ее повсеместного применения в ДОТ вызывает сомнения. Главная сложность разработки тестов заключается в необходимости предварительно провести процедуру классификации и типологизации предметной области изучаемой дисциплины, то есть процедуру таксономизации. Иными словами наложить на предметную область дисциплины некую упрощенную схему, а точнее концептуальную модель дисциплины сложившуюся у разработчика теста. Это означает, что в любом случае тест будет измерять степень соответствия концептуальной модели дисциплины обучающегося с моделью разработчика, а вовсе не знание.

Впрочем, на вопрос оценивания успешности обучения следует взглянуть еще шире.  В общем случае оценка это способ установления значимости чего-либо для действующего и познающего субъекта. Оценка успешности обучения (контроль) может быть рассмотрена в пространстве трех значимостей: теоретической (гносеологические оценки), ценностной (аксиологические оценки), компетентностной (праксиологические оценки).

Гносеологические оценки касаются свойств объектов «самих по себе». Объектом, в данном случае, являются изменения в системе знаний, умений и навыков обучающегося. Данный компонент оценки таксиномизируется проще всего и обладает наибольшей прозрачностью и ясностью. Однако его роль в управлении учебным процессом достаточно не значительна и воспринимается субъектом чаще всего как форма поощрения за старание или наказания за нерадивость. Последнее означает, что эффективность его применения уменьшается, по мере увеличения уровня образования (школа, институт, повышение квалификации и так далее). Тот, кто профессионально занимался образованием взрослых, хорошо знает, какие трудности возникают при необходимости оценивать успешность обучения уже проффесионально-сформирмировавшихся людей. В этой связи удобнее использовать некоторые пороговые  критерии: зачет-незачет, выполненное-невыполненное задание.

Аксиологический компонент оценки отражает место, как самого учебного процесса, так и приобретаемого в его результате знания в ценностной иерархии обучаемого. Это компонент в значительной степени вариативен и сильно зависит от исходных индивидуально-психологических свойств, как обучаемого, так и обучающего, что усложняет его таксономию. Вместе с тем, именно он в большей степени влияет на мотивацию обучения, удовлетворенность самим процессом обучения то есть факторам непосредственно участвующим в управлении образовательной коммуникацией.  Аксиологическую оценку действительно сложно получить, проводя тестирования или проверяя контрольные работы. Данный компонент вместе с другими включен в интегральную оценку, однако его проявленость существенно зависит от применяемой технологии оценки. Так, традиционная четырехбалльная система практически не позволяет его выявить. Несколько лучше рейтинговая система, которая в свою очередь уступает ранговой. Ранговая система здесь наиболее оптимальна, поскольку ранг в большей степени связан с местоположением актуальной учебной деятельности в ценностной иерархии субъекта и, потому, в большей степени может служить стимулирующим фактором.  На аксиологический компонент будут работать также и различные специальные оценочные процедуры, например результаты разборов проведенных в рамках учебного процесса игр, рейтинги общей сетевой активности, динамика карьеры в рамках учебного процесса и т.п.

Ограничения использования учета этого компонента связаны, прежде всего, с ситуацией, когда объекты оказываются индифферентными, безразличными для потребностей и запросов субъекта (нейтральная аксиологическая значимость). Эта ситуация возникает в учебном процессе тогда, когда его конечной целью для обучаемого является исключительно получение итогового сертификата, даже если при этом присутсвует мотивация на высокую оценку. Здесь диагностичной становиться сама фиксация подобного случая, который и является симптомом того, что вместо Петрова, учится Иванов. Иными словами, если научиться эффективно оценивать аксиологический компонент, можно будет отказаться от сложных процедур идентификации обучающегося.  Сделать это можно анализируя учебную и сопутствующую деятельность обучающегося. Здесь ДОТ в интернете предоставляет широкие возможности, особенно если в нем применяются технологии так называемого WEB 2.0. В частности, анализу может быть подвергнуто индивидуализируемое виртуальное рабочее место обучающегося. То есть, собрана информация: о его поисковых запросах,  контактах приобретенных в процессе обучения, посещенных сайтах, а также гаджетах и виджетах размещеннгых на его странице. Все это непосредственным образом связано с местом актуальной учебной деятельности в индивидуальной системе ценностей.

Вообще говоря, WEB2.0 открывает перед ДОТ качественно новые перспективы, не только с той точки зрения, что подразумевает использования множества сервисов  интерактивной работы со знанием и текстом, но и с той, что меняет сам формат представления знания.

Относительно обсуждаемой темы важно остановиться на одном принципиальном моменте, появлении так называемой фолксономии (Folksonomy), а точнее заменой таксономии фолксономией.  Термин происходит от слияния двух слов: фолк (folk — народ) и таксономия (от taxis — классификация и nomos — управление, то есть управление классификацией). Дословно означает «народное управление классификацией». Фолксономия находится в центре развития Web2.0 и подразумевает сотрудничество между пользователями в управлении  информационными потоками интернета. Пользователи помечают любой веб-сайт так называемыми «тэгами» (или «ключевыми словами), а потом обмениваются ими с другими пользователями. Фолксономия  — практика совместной категоризации информации (ссылок, фото, видео клипов) посредством произвольно выбираемых тегов. Другими словами, это понятие относится к спонтанному сотрудничеству группы людей с целью организации информации, которое интересно тем, что оно полностью отличается от традиционных формальных методов фасетной классификации. Как правило, это явление возникает только в неиерархических сообществах, а не в многоуровневых коллективах. Фолксономия производит результаты, более точно отражающие совокупную концептуальную модель информации всей группы. Эта совокупная концептуальная модель является динамическим продуктом совокупного совместно-творческого труда.

Любой образовательный процесс и является таким совместно-творческим трудом, а его продуктом становиться некоторая совокупная концептуальная модель знания, выработанная в индивидуальных и групповом сознаниях. Причем в эту модель кроме самих знаний с необходимостью входят и оценки успешности освоения учебного материала, о которых говорилось выше, а также система критериев для этих оценок.  Получается, что сам процесс оценивания успешности обучения целесообразно рассматривать как отдельный класс учебных заданий, то есть включить его в общую совместно-творческую учебную деятельность.  Это позволит снять многие противоречия присущие традиционным формам контроля, и, главное превратить контроль в авторегулятор образовательной коммуникации. Технические средства осуществления всего этого сегодня уже существуют, недостает только соответствующих дидактических разработок.

Третий компонент оценки – праксиологический, характеризует, в какой степени обучение способствует взращиванию компетенций необходимых для профессиональной деятельности. Предоставляя оценку праксиологического характера преподаватель фактически выступает в роли не судьи, а эксперта-консультанта. Сама оценка служит для выстраивания целевой функции обучения и образовательной траектории.

Здесь роль преподавателя особенно важна, поскольку обучающиеся входя в образовательный процесс, не имеют сформировавшейся модели будущей профессиональной деятельности, и не в состоянии оценить насколько приобретенные знания можно будет трансформировать в компетенции. В отличие от аксиологического компонента, праксиологический компонент легко подвергается таксономии, если, конечно, преподаватель действительно является профессионалом. В  роли такой таксономии может выступить список качеств, которые должен приобрести обучающийся в результате освоения дисциплины и который, как правило, включен в методоческую документацию, в виде достигаемых в процессе обучения целей.

Считается, что есть 5 уровней усвоения учебного материала:

I.   Репродуктивный или ознакомительный (основные индикаторы — способность студента повторить материал, узнать объект, назвать без объяснений какие-то признаки, имена и т.д.).

II.  Понимание (основные индикаторы — способность объяс¬нить, преобразовать информацию, описать причинно-следственные связи и т.д.).

III.    Применение (индикаторы — использование знаний в новых ситуациях,  способность действовать по алгоритму и адаптировать ситуации).

IV.    Аналитический (индикаторы — способность анализировать новые ситуации,  классифицировать объекты,  определять функциональные зависимости и т.д.).

V.  Творческий и оценочный (индикаторы — способность к обобщению, выработка критериев и оценка фактов и явлений, формулирование выводов и т.д.).

При интерпретации достигнутых целей, как приобритенных компетенций, можно достаточно условно выделить 3 блока:

1) компетенции представления (отражает I и II уровни);

2) компетенции понимания (II уровень);

3) компептенции умения и творческой деятельности (III—V уровни).

В этом случает шаблон формулировки целей в методической докуменгтации к дисциплине может выглядеть следующим образом:

Изучив курс, Вы должны:

Иметь представление:

•   о теоретических источниках и методологических основах .….;

•   об основных идеях классиков (конкретно), касающихся данной науки или ее отрасли;

•   об основных подходах и концепциях .….;

•   об основах классификации и видах (типах)….

Понимать (уметь объяснять и интерпретировать):

•   смысл и значение базисных понятий и категорий .… ;

•   принципы функционирования (деятельности) ….;

•   сущность современных подходов к …;

•   назначение и функции элементов .…. системы;

•   механизмы взаимодействия, структуры .….;

•   особенности ….

Уметь (быть способным):

•   определять на реальных образцах и в ситуациях проявления принципов, характеристик и свойств … ;

•   дать общее описание объекта, явления, факта по задан¬ным параметрам и характеристикам;

•   классифицировать объекты по заданным критериям;

•   пользоваться стандартными аналитическими инструментами (какими);

•   разрешать на основе заданного алгоритма и исходных данных ситуации профессиональной деятельности;

•   выбирать на основе современных подходов и методик оптимальные варианты решения следующих задач;

•   пользоваться различными профессиональными    информационными ресурсами и прикладными пакетами (следует конкретизировать) .

Здесь же набор специфичных для данного курса умений, например: составлять баланс, разрабатывать маркетинговый план, проводить учебные занятия по предмету, организовывать мероприятия, проводить финансовый анализ, составлять планы стратегического развития организации и т.д.

Творческий подблок:

•   самостоятельно анализировать явления, факты и объекты;

•   определять критерии и параметры оценки .….;

•   классифицировать объекты по самостоятельно определяемым критериям;

•   разрабатывать сценарии развития (пути и направления развития …);

•   оценивать актуальное состояние  … по самостоятельно определяемым параметрам;

•   проводить сравнительный анализ и сопоставление … ;

•   выделять преимущества, недостатки, ограничения .….;

•   формулировать выводы, предложения, решения в условиях неопределенностей (в отсутствие четких критериев и условий)….;

•   самостоятельно находить и использовать релевантную информацию.

Очевидно, что этот список далеко не полон и зависим от содержания дисциплины и будущей профессиональной деятельности. Он позволяет «в реальном времени» отслеживать, какие конкретно компетенции достигнуты на том, или ином этапе учебного процесса, какое именно качество тестируется и тренируется в том или ином учебном задании. Однако осуществление оценок на основании данного критерия существенно увеличивает трудоемкость работы преподавателя как на этапе проектирования курса, иак и в процессе обучения. В этом плане ДОТ ориентированный на интернет, вследствии присущей этой технологии алгоритмичности и интерактивности имеет определенные преимущества. В частности, соотнесение приобретаемых компетенций (в том числе и выявление их) с учебным процессом можно рассматривать как отдельное учебное задание. Это позволит актуализировать рефлекцию учебного процесса, а точнее создать условия для возникновения проекции осваеваемых знаний, умений и навыков на будущую профессиональную деятельность. Последнее будет способствовать формированию образа деятельности и самообраза в деятельности, что сделать возможным решение уже задачи образования, а не только обучения.

Эффект может быть усилен за счет разработки и включения в учебный  процесс процедур игрового моделирования профессиональной деятельности, в частности моделирования карьерного роста с соотвествующими званиями и ролями.  Например, при работе в форуме автоматически подсчитываются рейтинги участников, результаты голосований, в соотвествии с которыми определяются роли: гость, участник, модератор раздела, модератор форума и т.п.

Иными словами, существует достаточно технических средств, для реализации любого дидактического сценария.

Приведенный выше обзор способов и видов контролей позволяет в самых общих чертах выделить критерии оценки их эффективности для управления образовательной коммуникацией в ДОТ, в целях экпертизы конкретных реализаций данной технологии. В качестве общего критерия можно принять ответ на вопрос насколько полно используются управляющие возможности оценок успешности обучения в данном образовательном проекте и насколько при этом реализованы доступные технические решения.

Конкретизация общего критерия сводиться к ряду параметров, в частности:

Также необходимо охарактеризовать включенные интернет-технологии, в частности сервисы WEB2.0, как наиболее отвечающие современным требованиям. Последнее, впрочем, в большей степени относится к организации учебного процесса в целом, а не только к его контрольному блоку.

Google Bookmarks Digg Reddit del.icio.us Ma.gnolia Technorati Slashdot Yahoo My Web News2.ru БобрДобр.ru RUmarkz Ваау! Memori.ru rucity.com МоёМесто.ru Mister Wong