Использование аналитики
Обзор
API анализа учебной деятельности YooLearn — это открытая система, которая может стать основой для самых разнообразных моделей. Модели могут содержать индикаторы (также известные как предикторы), целевые показатели (результат, который мы пытаемся спрогнозировать), инсайты (непосредственно прогнозы), уведомления (сообщения, отправляемые в результате инсайтов) и действия (предлагаемые получателям сообщений, которые, в свою очередь, могут стать индикаторами).
Большинство моделей учебной аналитики по умолчанию отключены. Активацию моделей для использования следует выполнять после рассмотрения институциональных целей, для поддержки которых они предназначены. При выборе или создании модели аналитики важны следующие шаги:
- Какой результат мы хотим предсказать? Или какой процесс мы хотим обнаружить? (Позитивный или негативный)
- Как мы будем определять этот результат/процесс?
- Какие, по нашему мнению, признаки могут помочь нам предсказать этот результат/процесс?
- Что нам следует делать, если результат/процесс весьма вероятен? Маловероятен?
- Кто должен быть уведомлен? Какое уведомление следует отправить?
- Какие возможности для действий должны быть предоставлены при уведомлении?
YooLearn может одновременно поддерживать несколько прогнозных моделей, даже в рамках одного курса. Это можно использовать для A/B-тестирования, чтобы сравнить производительность и точность различных моделей.
YooLearn (Moodle) Learning Analytics поддерживает два типа моделей.
- Модели на основе машинного обучения, включая прогнозные модели, используют искусственный интеллект, обученный на истории сайта, для обнаружения или прогнозирования скрытых аспектов учебного процесса.
- "Статические" модели используют более простую, основанную на правилах систему для обнаружения определенных обстоятельств на сайте YooLearn и уведомления выбранных пользователей.
Ядро YooLearn (Moodle) включает в себя три модели. Дополнительные прогнозные модели можно создать с помощью Analytics API или нового веб-интерфейса. Каждая модель основана на прогнозировании одного конкретного целевого показателя или результата (желательного или нежелательного) на основе ряда выбранных индикаторов.
Просматривать моделей системы и управлять ими можно в разделе: "Администрирование" → "Аналитика" → "Модели аналитики".
Существующие модели
Ядро YooLearn (Moodle) включает три модели: Студенты, рискующие бросить обучение, а также статические модели предстоящие активные действия и отсутствие преподавания. Другие модели могут быть добавлены в вашу систему путем установки плагинов или с использованием веб-интерфейса (см. ниже). Существующие модели можно просматривать и изменять на странице "Модели аналитики" в разделе "Администрирование":
С существующей моделью можно выполнить следующие действия:
- Получение прогнозов — Обучите алгоритмы машинного обучения на новых данных, доступных в системе, и получите прогнозы для текущих курсов. Прогнозы не ограничиваются текущими курсами — это зависит от модели.
- Просмотр аналитики — После обучения алгоритма машинного обучения на данных, доступных в системе, здесь отобразятся результаты анализа (прогнозы) для каждого "анализируемого объекта". В предоставленной модели Студенты, рискующие бросить обучение аналитику можно выбирать для каждого курса. Прогнозы не ограничиваются текущими курсами — это зависит от модели.
- Оценка — Это ресурсоемкий процесс, который не отображается, если на сайтах активирована настройка "onlycli" (по умолчанию). Подробнее см. в разделе Использование аналитики.
- Журнал — Просмотр предыдущих журналов оценок, включая точность модели, а также другую техническую информацию, сгенерированную серверной частью машинного обучения, такую как ROC-кривые, графики кривых обучения, каталог журналов TensorBoard или коэффициент корреляции Мэттьюса модели. Доступная информация зависит от используемой серверной части машинного обучения.
- Редактирование — Вы можете редактировать модели, изменяя список индикаторов или метод разделения по времени. Все предыдущие прогнозы будут удалены при изменении модели. Модели, основанные на допущениях (статические модели), редактировать нельзя.
- Включение / Отключение — Это позволяет модели запускать процессы обучения и прогнозирования. Запланированная задача, которая обучает алгоритмы машинного обучения на новых данных, доступных в системе, и получает прогнозы для текущих курсов, пропускает отключенные модели. Предыдущие прогнозы, сгенерированные отключенными моделями, становятся недоступными до повторного включения модели.
- Экспорт — Экспортируйте учебные данные вашего сайта, чтобы поделиться ими с партнерскими учреждениями или использовать на новом сайте. Действие "Экспорт" для моделей позволяет сгенерировать CSV-файл, содержащий данные модели об индикаторах и весах, без раскрытия каких-либо специфичных для вашего сайта данных. Мы будем запрашивать эти файлы моделей для помощи в оценке ценности моделей на разных типах сайтов.
- Недействительные элементы сайта — Отчеты о том, какие элементы на вашем сайте не могут быть проанализированы этой моделью.
- Очистка прогнозов — Удаляет все прогнозы модели и учебные данные.
Основные модели
Студенты, рискующие бросить обучение
Модель Студенты, рискующие бросить обучение прогнозирует студентов, которым грозит риск не завершения (отчисления) курса YooLearn, на основе низкой учебной активности. В данной модели под "отчислением" понимается "отсутствие активности студента в последней четверти курса". Прогнозная модель использует модель учебной активности Сообщество исследователей, состоящую из трех частей:
Данная прогнозная модель способна анализировать и делать выводы на основе широкого спектра курсов, а также применять эти выводы для прогнозирования на новых курсах. Модель не ограничивается прогнозированием успеваемости студентов на точных копиях курсов, предлагавшихся в прошлом. Однако имеются некоторые ограничения:
- Эта модель требует определённого объёма данных в YooLearn для прогнозирования. В настоящее время в набор индикаторов включены только основные мероприятия YooLearn (см. ниже). Курсы, в которых не включено несколько основных мероприятий YooLearn за "временной срез" (в зависимости от метода разделения по времени), будут иметь слабую поддержку прогнозирования в этой модели. Эта прогнозирующая модель будет наиболее эффективной для полностью онлайн или "гибридных" или "смешанных" курсов со значительными онлайн-компонентами.
- Эта прогнозирующая модель предполагает, что курсы имеют фиксированные даты начала и окончания, и не предназначена для использования с курсами с непрерывной регистрацией. Модели, поддерживающие более широкий спектр типов курсов, будут включены в будущие версии YooLearn (Moodle). Из-за этого предположения модели очень важно правильно установить даты начала и окончания каждого курса для использования этой модели. Если даты начала и окончания прошлых и текущих курсов не установлены правильно, прогнозы не могут быть точными. Поскольку поле даты окончания курса было введено только в Moodle 3.2, а некоторые курсы могли не иметь установленной даты начала курса в прошлом, мы включаем интерфейс командной строки:
$ admin/tool/analytics/cli/guess_course_start_and_end.php
Этот скрипт пытается оценить даты начала и окончания прошлых курсов, анализируя записи о зачислении студентов и журналы их активности. После запуска данного скрипта, пожалуйста, проверьте, что оцененные скриптом даты начала и окончания являются достаточно корректными.
Предстоящие мероприятия со сроком исполнения
Статическая модель "предстоящие мероприятия со сроком исполнения" проверяет мероприятия с приближающимися сроками исполнения и выводит их на страницу календаря пользователя.
Нет преподавания
Данная модель проинформирует менеджеров сайта о том, какие курсы с предстоя щей датой начала не будут иметь активностей по преподаванию. Это простая "статическая" модель, и она не использует машинное обучение для возврата прогнозов. Она основывает прогнозы на предположениях, например, преподавание отсутствует, если нет студентов.