1. Александр Ларьяновский, Skyeng
Как контролировать
качество услуги
когда не видишь
ни исполнителя,
ни клиента.

2. Стандартная услуга
❖ Каждый раз то же самое качество
❖ Предсказуемая цена и время
❖ Не зависит от исполнителя.
В образовании такого пока нет. Нигде.

3. Всё банально
❖ Четкие инструкции
❖ Непрерывный контроль

4. Как делались методики раньше
❖ Долгая обратная связь от
гипотезы до результата;
❖ Дорого или сложно
делаются эксперименты;
❖ Большинство
экспериментов можно
было делать только
последовательно.

5. Дожили
❖ Онлайн-образование стало
массовой услугой и
становится “Next Big Thing”
❖ Вычислительные
мощности позволяют
обрабатывать данные
“на лету”

6. Создаём эффективное
❖ Дано: 600 студентов, курс General English. Из них 200
- уровня Intermediate
❖ Требуется: создать наиболее эффективную методику
по параметрам:
❖ результативность
❖ удержание интереса/мотивации
❖ удовлетворённость учащегося

7. Решение
❖ В базовый курс из 60 уроков методистами вносятся
экспериментальные изменения…
❖ …студенты разбиваются на статистически
достоверные группы…
❖ …каждая получает курс с разными изменениями…
❖ … и начинаем всё считать.

8. Что мы измеряем

9. Винтажные кривые
1" 2" 3" 4" 5" 6" 7" 8" 9" 10" 11"
May" 100%" 72%" 35%" 40%" 42%" 35%" 40%" 19%" 26%" 27%" 28%"
Jul" 100%" 83%" 67%" 56%" 50%" 31%" 31%" 28%" 36%"
Sep" 100%" 93%" 76%" 47%" 50%" 51%" 49%"
Dec" 91%" 100%" 84%" 66%" 27%"
Feb" 100%" 84%" 38%"
35%"
100%"
76%"
0%"
10%"
20%"
30%"
40%"
50%"
60%"
70%"
80%"
90%"
100%"
%"con&nuing"students"
Number"of"month,"star&ng"from"the"reference"month"
%студентов в группе,
продолжающих обучение,
в месяцах

10. Примеры экспериментов
❖ “Плотность” однотипных материалов. Например,
“напиши пропущенное слово”. Нужно ли
чередовать внутри одного слайда, сколько должно
быть на 1 урок.
❖ Сколько минут видео и аудио должно быть в
типовом уроке, с какой частотой их ставить.
❖ Сколько нужно минут на “разогрев” ученика, в
зависимости от срока обучения и уровня.

11. Важные нюансы
❖ Берем квантиль (отсекаем экстремум в группах)
❖ Учитываем сезонность
❖ Всегда запускаем эксперименты одновременно и по
одному на группу в единицу времени
❖ Статистически достоверные данные - не раньше чем
через 2 месяца

12. Teacher’s books

13. Внедрение - сила!
❖ Следовать методикам не на словах, а на деле.
Контроль и обучение - созданы друг для друга.
❖ Инструкции и их усвояемость - тоже предмет для
тестирования и улучшения.

15. Учим это делать

16. Учим это делать

17. Контролируем выполнение
❖ Уроки записываются.
❖ Учителя это знают.
❖ Операторы слушают урок и отмечают чек-лист
❖ Методисты обсуждают с учителями их выполнение
инструкций

18. Как заставить это делать
❖ Профессиональные методисты.
❖ Мотивационная зарплата - основные KPI - это
долгосрочная результативность, удовлетворённость
учеников, срок их обучения.
❖ Наглядные показатели - методисты каждый день
видят результаты своей работы.

19. Удовлетворенность учеников

20. Удовлетворённость уроком
Быстрая обратная связь -
оценка сразу после урока по
электронной почте.

22. Оценка удовлетворенности
0
2,5
5
7,5
10
Номер урока
1 2 3 4 5 6 7 8
ученик среднее

23. Примеры экспериментов
❖ Релевантность материалов увлечениям ученика (из
темы “спорт” выбираем “дайвинг” вместо
“футбола”)
❖ Актуальный или абстрактный новостной
видеорепортаж
❖ Юмористические дидактические материалы

24. Важные нюансы
❖ Оценка урока не всегда зависит от эксперимента,
нужно учитывать оценки других учеников в тот же
день и предыдущие оценки
❖ Статистически значимые оценки эксперимента
начинаются со 100 ответов (25 учеников * 4 урока)

25. Обязательное тестирование
❖ Удовлетворенность
не означает
эффективность:
декольте повышает
первое и понижает
второе.

26. Что мы получили*
Система, в которой люди ежедневно и статистически
достоверно модифицируются учебные курсы.
Школе - для достижения лучших бизнес-результатов.
Ученикам - для максимально эффективного обучения.
* - это не конец, а настоящее продолженное время.

27. К чему это приведёт
Наступает эпоха
стандартизированных
персональных решений в
образовании.
Почти наступила.

28. Итого.
1. Всё уже придумано. Главное - делать.
2. Контролировать можно то, что документировано.
3. Контроль должен быть заложен в систему
изначально.
4. Чего нельзя измерить, того не существует.