Стандарты метаданных и рубрики качества обучающих процессов для поиска, выбора и построения траектории обучения

1. Роль стандартов метаданных и
рубрик качества в обучающих
процессах
Валерий Платонов,
Исполнительный директор АНОО «ВУНТ»
при институтах РАН,
Инженер по научному образованию
Дирекции по развитию НИТУ МИСиС
Презентация для Всероссийского практического
форума «Образование 2016», 16 марта 2016 г.

2. Стандарт метаданных курса – стандарт интерфейса
для размещения информации на агрегаторе курсов

3. Сравнение поиска на платформах

4. Маркетплейс vs Агрегатор vs
Интегратор
Термин Определение Специфика
Маркетплейс экономическая система,
сайт, площадка, на
которой различные
компании конкурируют
друг с другом за продажи
своего продукта, товаров,
сервисов.
сервисы, удобные для
совершения сделок
между провайдерами и
покупателями
(коммуникации,
маркетинг, платежи,
сертификацию и т.п.).
Агрегатор сайт, компания, которая
собирает специфическую
информацию, данные о
продуктах от разных
провайдеров для
удобства потребителей.
обычно использует
стандарты метаданных и
рубрики качества о
продукте.
Интегратор компания, которая
собирает отдельные
продукты или элементы
продуктов (процессов,
сервисов), возможно, от
разных провайдеров с
целью формирования
системы, учитывающей
цели, задачи и
потребности заказчика
обычно создаёт
рекомендательные
сервисы

5. Примеры маркетплейсов, агрегаторов
• https://www.coursehero.com/
• https://www.skillshare.com/
• edu.hh.ru
• http://universiality.com/
• https://www.zeduki.com/
• https://www.kursoteka.ru/catalog
• http://courseon.org/
• http://eclass.cc/
• http://magistratura.su/
• http://edumarket.ru/
• https://coursmos.com/
• https://www.verbling.com/
• http://www.hotcourses.ru/
• https://www.class-central.com/
• https://www.coursetalk.com/
• https://www.noodle.com/
• https://www.coursebuffet.com/

6. Метаданные
• структурированные данные,
предназначенные для описания
характеристик образовательных
ресурсов (ЭУМК, ЭОР, объектов
контента).

7. К чему могут быть применены стандарты
метаданных в образовании?
Категории Примеры Применяемые
стандарты
Институциональные Образовательные организации
Платформы, Библиотеки
Научные организации
Эксперты, Консультанты
Производители, поставщики - провайдеры
Стартапы, венчурные и инвестиционные
компании
Репетиторы, тьюторы
Образовательные
продукты
Контент, Инструменты, Сервисы
Образовательные
ресурсы
Книги, учебные планы, пособия, видео, youtube LOM, Dublin Core, LRMI
Обучающие процессы программы, специализации, курсы, уроки,
вопросы, вебинары, школы, практика,
стажировки
ФГОС
Маркетинговые Экспозиции, выставки, мероприятия, конкурсы
Сопутствующие услуги Финансовые, Юридические, Проживание,
Трудоустройство

8. Ресурс vs Процесс
Образовательный Ресурс Образовательный процесс
По запросу Имеет дату начала и завершение
курса
Самостоятельное обучение Присутствие преподавателя,
тьютора, наставника
Асинхронное Асинхронное, Наличие синхронного
вида обучения

9. Структура процесса обучения
Образовательная
программа
Онлайн курс
Урок
Вопрос
Специализация

10. Выбор курса
Информация о курсе –
агрегатор на основе
метаданных
Предпочтение тому или иному
курсу -
рекомендательные системы
на основе рубрик качества

11. Внутреннее и внешнее измерение
Вид измерения внутреннее
измерение –
formative
внешнее оценивание –
summative
Характер данных объективная
информация,
проверяемая
Субъективная,
экспертная
Поставщик данных Провайдер сторонние эксперты
(учащиеся, заказчиков,
консультанты,
производители,
работодатели и т.д.)

12. Проблема поиска курсов,
программ, видео и т.д.
Увеличивающееся количество
обучающих объектов, множество
показателей
• Провайдеры
• платформы
• дисциплины
• образовательные технологии,
педагогики
• цена
…

13. Проблема выбора курсов,
программ, видео и т.д.

14. Как выбрать подходящий курс?
Machine Learning
Pedro Domingos, University of
Washington
Coursera
Machine Learning
Andrew Ng, Associate Professor,
Stanford University
Coursera
Machine Learning
Rohit Singh(Teaching Assistant), MIT
OpenCourseWare

15. Проблема построения
персональной траектории
обучения из элементов

16. Описание полей базы метаданных по онлайн
курсам для внутреннего измерения
Категории:
• Паспорт курса
• Учебный план
• Описание доступа
• Описание образовательной технологии
• Описание планируемых результатов
• Описание администрирования

17. Характеристики стандарта
метаданных
• открытый стандарт метаданных курса, программ,
видео и т.п.
• обязательный минимум – желательный
максимум (недостаточность тэгов для
качественного отбора)
• совместимость с другими открытыми
стандартами (пересечение полей).
• программные приложения для использования
базы метаданных другими участниками.

18. Стандарт метаданных ОК vs.
SCORM
• СМОК - сборник спецификаций и требований
по представлению информации об ОК,
позволяет обеспечить совместимость баз
метаданных об онлайн курсах от разных
провайдеров.
• SCORM сборник спецификаций и стандартов
(требований) по организации учебного
материала и всей системы дистанционного
обучения, позволяет обеспечить
совместимость компонентов и возможность
их многократного использования.

19. СМОК vs СМОО - (LOMS - стандарт
метаданных обучающих (учебных) объектов)
СМОК СМОО (IEEE и IMS)
Стандарт метаданных для описания
онлайн курсов
стандарт метаданных для описания
образовательных объектов
Онлайн Курс - законченная единица
образовательной программы обычно
по одной теме (предмету), имеющая
определенную продолжительность
(например семестр), для которого не
требуется очное присутствие
преподавателя.
Учебные Объекты определены как
любые категории (целостности),
которые могут быть использованы
для обучения, образования и
тренинга(образовательные ресурсы).
определяет категории и состав МОК. определяет синтаксис и семантику
признаков МОО.
Цель СМОК – облегчить поиск и
выбор ОК для решения задач
учащихся, пользователей, заказчиков,
консультантов, агентов,
потребителей, работодателей
Цель СМОО - поддержать
возможность многократного
использования ОО, чтобы добавить
понятности и облегчить их
совместимость обычно в контексте
систем управления дистанционным
обучением (LMS), поиск

20. Цель создания стандарта
• Облегчить поиск и выбор курса разными
целевыми группами
• Помощь в построении индивидуальной
траектории обучения
• Основа множественной модели качества
курса – персонализация рейтинга на
основании оценок учащихся, заказчиков,
преподавателей, дизайнеров, создателей,
работодателей, агентов, консультантов

21. Решаемые задачи
Разработка стандарта метаданных ОК позволит:
• Облегчить поиск и выбор ОК в зависимости от целей
и задач разных целевых групп (учащиеся, заказчики,
работодатели);
• Решить задачи : повышение гибкости маршрута и
персонализации обучения;
• Создать сообщества провайдеров ОК на основе
соглашений по разработке оценки качества ОК;
• Разработать программные приложения для
использования базы метаданных ОК другими
участниками.

22. Качество

23. Три аспекта качества
1. На основе стандартов –
выполнение определенного
минимума требований
2. На основе удовлетворения
потребительского спроса –
конкурентный
3. На основе создания новых качеств

24. Определения качества в ISO
• Качество объекта через сравнение
набора из его характеристик с рядом
требований.
• Если те характеристики отвечают всем
требованиям, то достигается высокое
или превосходное качество,
• Если те характеристики не отвечают
всем требованиям, то достигнут низкий
или плохой уровень качества.

25. Понятие качества в Бизнесе
• через удовлетворение потребностям
клиента
• относится к восприятию степени, до
которой продукт или обслуживание
оправдывают надежды клиента.
• нет определенного значения, если не
связано с определенной функцией
и/или объектом.
• перцепционный, условный и несколько
субъективный признак.

26. Определение качества в ФЗ "Об
образовании в РФ", Ст. 2, п.29
• в определенной степени
консервативны и имеют
отставание от быстро
меняющихся потребностей и от
прогресса в развитии общества
комплексная характеристика образовательной деятельности и подготовки
обучающегося, выражающая степень их соответствия федеральным
государственным образовательным стандартам, образовательным
стандартам, федеральным государственным требованиям и (или)
потребностям физического или юридического лица, в интересах которого
осуществляется образовательная деятельность, в том числе степень
достижения планируемых результатов образовательной программы

27. Как измерять качество обучения?
• во внеформальном образовании
• в исследовательском образовании
• в коннективистском подходе
• когда мы не знаем, какой результат мы
получим по завершению такого
процесса

28. Понятие качества для
внеформального обучения
вид превосходства над
любыми известными
характеристиками и даже
приводящее к
возникновению новых, до
этого неизвестных
характеристик

29. Обзор подходов к оцениванию
качества курсов
• Оценивание качества менеджмента
• Институциональное оценивание
качества онлайн обучающего процесса
• Программное оценивание
• Технологическое оценивание
• Объектное оценивание качества курсов
как ресурсов и процессов

30. Тенденции в оценивании
качества образования
Полноценные
образовательные
программы
Распакованное
образование
(курсы, уроки,
вопросы,
микродипломы)
Институциональное
оценивание
качества
Объектное
оценивание
качества

31. Стандарты ISO/IEC
• ISO/IEC 19796-2 Information Technology for
Learning, Education and Training - ITLET –
Quality Management, Assurance, and Metrics –
Part 2: Quality Model
• ISO/IEC 19796-4 Information Technology for
Learning, Education and Training - ITLET –
Quality Management, Assurance, and Metrics –
Part 4: Best Practice and Implementation Guide
• ISO/IEC 19796-5 Information Technology for
Learning, Education and Training - ITLET –
Quality Management, Assurance, and Metrics –
Part 5: Guide “How to use ISO/IEC 19796-1”

32. Институциональное оценивание
качества обучения
• ACODE (Australasian Council on Open, Distance and E-Learning) –
Австралия
• EFQUEL (UNIQUe –европейские университеты) - Европейский
фонд по обеспечению качества электронного образования
• DEAC Distance Education Accrediting Commission - США
• EADTU European Association of Distance Teaching Universities (E-
xcellence ) – ЕC
• eMM (E-Learning Maturity Model) – Новая Зеландия, Австралия,
Великобритания
• Pick&Mix – Великобритания (объединяет методики MIT90,
APQC, Quality On The Line, ACODE, eMM)
• Мониторинг электронного обучения Министерством
образования - РФ

33. Объектное оценивание качества
онлайн курсов
• QM QualityMatters
https://www.qualitymatters.org/
• eLearning Rubric
http://rubric.ecampusalberta.ca
• ECBCheck quality criteria
http://www.ecb-check.net/ InWent – Capacity Building
International, Germany and the European Foundation for Quality in
E-Learning (EFQUEL)

34. Виды оценивания качества по
субъектности оценщика
• оценка качества контента, который могут оценивать
только специалисты в теме (иногда их в
соответствующей отрасли единицы),
• внутреннее оценивания по стандартизованным
критерям
• Внешнее стандартизованное оценивание сторонней
организацией
• Интегральная оценка курса (контента+ инструментов)
потребителем или заказчиком онлайн обучения.
• Персонализированная (множественная) модель
качества курса, которая может не совпадать с
предыдущими.

35. Оценивание качества по уровням
образования
• Дошкольное образование ?
• Общее образование Inacol, QM
• Высшее образование QM, eLearning
Rubric
• Постдипломное, пожизненное,
дополнительное образование QM

36. Стандарты Рубрики
Quality MattersTM
Пятое издание, 2014 с присвоенными значениями
оценок, 8 категорий в рубрике
1. Обзор курса и введение
2. Обучающие цели (компетенции)
3. Оценивание и измерение
4. Учебные материалы
5. Деятельность на курсе и взаимодействие учащегося
6. Технология курса
7. Поддержка учащегося
8. Доступность и юзабилити

37. Стандарты Рубрики
ECBCheck Criteria
1. information about the programme
a) general description, objectives and programme organisation
b) organisational and technical requirements
2. target group orientation
3. quality of the content
4. programme/course design
a) learning design and methodology
b) motivation/participation
c) learning materials
d) e-Tutoring
e) collaborative learning
f) assignments and learning progress
g) assessment and tests
5. media design
6. technology
7. evaluation & review

38. Penn State Quality Assurance e-
Learning Design Standards
1. Navigation
2. Student Orientation
3. Syllabus
4. Instructor Response and Availability
5. Course Resource Requirements
6. Technical Support
7. Accessibility Requirements
8. Learning Objectives
9. Learning Activities and Assessment
10.Copyright Requirements
11.Course Functionality
12.Student Input for Course Improvements
https://weblearning.psu.edu/resources/penn-state-online-resources/qualityassurance/

39. Сравнение рубрик стандартов в
высшем образовании
QM
1. Обзор курса и введение
2. Обучающие цели
(компетенции)
3. Оценивание и измерение
4. Учебные материалы
5. Деятельность на курсе и
взаимодействие
учащегося
6. Технология курса
7. Поддержка учащегося
8. Доступность и юзабилити
EQS
1. Веб-стандарты
2. Стандарты информации о
курсе
3. Стандарты ресурса
4. Организационные
стандарты
5. Стандарты педагогики
6. Технологические
стандарты

40. Сравнение рубрик стандартов в
школьном образовании
QM K-12 Secondary Rubric – 9
General Standards
1. Обзор курса и введение
2. Изучение целей
(компетенции)
3. Оценка и измерение
4 Учебные материалы
5: Взаимодействие и
вовлечения ученика
6: Технология курса
7: Поддержка ученика и
преподавателя
8: Доступность
9: Стандарты соблюдения
требований норм и законов
National Standards for
Quality Online Courses K-12
1. Институциональные
стандарты
2. Стандарты Преподавания и
Изучения
3. Стандарты поддержки
4. Стандарты оценивания

41. Категории рубрики качества ООК
на EdCrunch Award
1. Обзорная и вводная часть курса
2. Обучающие цели, компетенции
3. Оценивание и измерение на курсе
4. Учебные материалы
5. Обучающая деятельность на курсе и
взаимодействие с учащимися.
6. Технология курса
7. Поддержка учащегося, администрирование
8. Доступность и юзабилити, дизайн
9. Маркетинг курса
10. Механизмы оценивания качества курса
11. Критерии качества, которые выходят за рамки
приведенных

42. Эксперты, как их отбирать
Категории экспертов Категории рубрик качества
для экспертов
Продюсеры, создатели курсов
Авторы контента
Дизайнеры
Пед дизайнеры
Преподаватели
Тьюторы
Администраторы
Специалисты в предметной области,
ученые по тематике
Учащиеся
Потребители – работодатели,
университеты, кадровые агентства
Заказчики (чиновники, общественные
организации)
Маркетологи
Медиа

43. Контакты
Валерий Платонов
Tel. +7(499)5038778, 5038787, +7(910)4687936
email: platonov.valeriy@gmail.com
https://www.facebook.com/groups/CourseQuality/
https://www.facebook.com/valeriy.platonov
@valeriy_platon
https://plus.google.com/u/0/+ValeriyPlatonov/
http://ru.linkedin.com/pub/valeriy-platonov/26/14a/a13/