Перейти к основному содержимому

Показатели учебной аналитики

Обзор​

Модели могут содержать несколько индикаторов (предикторов). Концептуально, индикаторы собирают и агрегируют значения из набора данных и будут объединяться с целевыми переменными для выполнения прогнозов с использованием выбранных алгоритмов машинного обучения.

Индикаторы могут быть использованы повторно в различных моделях или созданы специально для новой модели. Однако лучше понять целевую переменную, которую вы пытаетесь спрогнозировать, прежде чем выбирать индикаторы.

Для использования в модели индикаторы должны быть отцентрированы и масштабированы. В системе аналитики обучения YooLearn индикаторы должны возвращать значения, преобразованные в диапазон от -1 до 1. При этом нет необходимости использовать весь этот диапазон — для некоторых индикаторов будет более логичным масштабирование от 0 до 1, где 0 указывает на отсутствующее значение.

То, как обрабатываются точки данных, включает важные допущения, влияющие на индикаторы. В частности, индикаторы могут быть:

  • Абсолютными, что означает, что значение индикатора остается неизменным, независимо от других образцов в контексте;
  • Или относительными, что означает, что индикатор сравнивает образец с другими в контексте.

В настоящее время YooLearn не фильтрует доступные индикаторы для модели в соответствии с анализатором (управляемым Целевым показателем модели). Однако не все индикаторы предназначены для работы со всеми целями. Например, индикатор, связанный с пользователем, будет плохо работать в модели, связанной с дизайном курса. В будущем YooLearn может предоставить более подробные указания о том, как выбирать индикаторы, соответствующие цели.

Общие индикаторы​

  • Доступ к курсу после даты окончания — данный бинарный индикатор принимает значение 1, если пользователь получил доступ к курсу после даты его окончания.
  • Доступ к курсу до даты начала — данный бинарный индикатор принимает значение 1, если пользователь получил доступ к курсу до даты его начала.
  • Любое действие записи — данный бинарный индикатор принимает значение 1, если пользователь выполнил действие "запись" (сохранил контент) в любом месте на сайте.
  • Любое действие записи в курсе — данный бинарный индикатор принимает значение 1, если пользователь выполнил действие "запись" (сохранил контент) в рамках записанного курса.
  • Количество действий чтения — данный индикатор оценивает объем контента, к которому пользователь получил доступ (прочитал), по шкале от -1 до 1.
  • Предстоящие элементы курса — данный бинарный индикатор принимает значение 1, если у пользователя есть задания, у которых наступил срок сдачи, но которые еще не сданы.
  • Отслеживание завершения включено — данный бинарный индикатор принимает значение 1, если в курсе активирована функция отслеживания завершения.
  • Нет студентов — данный бинарный индикатор принимает значение 1, если на курс не записан ни один студент.
  • Нет преподавателей — данный бинарный индикатор принимает значение 1, если на курс не записан ни один преподаватель.
  • Профиль пользователя завершён — данный индикатор возвращает значение в диапазоне от -1 до 1 в зависимости от степени заполненности профиля пользователя.

Индикаторы сообщества исследования​

Предоставляется набор индикаторов, основанных на модели вовлеченности учащихся Сообщество исследователей. Эти индикаторы разделены на два типа: когнитивная глубина и социальная широта. Для каждого элемента в ядре YooLearn (Moodle) реализовано по одному индикатору каждого типа. Также существуют два индикатора на уровне курса — "потенциальные", — которые оценивают потенциальную когнитивную глубину и социальную широту курса в целом.

Для подключения индикаторов любого типа в сторонних модулях элементов необходима поддержка со стороны их разработчиков.

Уровни потенциальных индикаторов для выбранных модулей элементов курса​

Потенциал вовлеченности через когнитивное присутствие и социальное присутствие составляет основу структуру обучения, который является ключевым элементом преподавательского присутствия. На данной диаграмме отображены потенциальные когнитивная глубина и социальная широта всех основных активностей и выбранных второстепенных активностей:

coi_model_indicators.png

Классифицируя каждое действие по потенциальной когнитивной глубине и социальной широте, мы можем прогнозировать, какой уровень вовлеченности поддерживается (и, возможно, ожидается) от обучающегося, даже без истории действий многих учащихся в данном экземпляре активности.

Важно отметить, что более высокие уровни на каждой оси включают в себя все предыдущие, низшие уровни. То есть активность, предполагающая взаимодействие студента со всеми коллегами (социальная широта 3), автоматически включает уровни 1 (только студент) и 2 (студент +1).

Во многих случаях конкретный уровень может быть определен только путем анализа параметров настройки активности.

Когнитивная глубина​

Когнитивная глубина — это мера конструкта «когнитивное присутствие» в рамках теоретической модели cообщества исследования. Когнитивное присутствие определяется как "степень, в которой участники той или иной конфигурации сообщества исследования способны конструировать смысл посредством устойчивой коммуникации" (Гаррисон, Андерсон и Арчер, 2000, с. 89). В исследованиях когнитивное присутствие традиционно определялось путем ручного контент-анализа. В данных показателях мы определяем этот конструкт на основе типа задания, предлагаемого учащемуся, и степени, в которой учащийся демонстрирует когнитивную вовлеченность в это задание. Уровень глубины варьируется от 0 до 5, где 0 указывает на то, что учащийся даже не просмотрел задание. Уровни потенциальной когнитивной глубины таковы:

  1. Учащийся просмотрел детали задания.
  2. Учащийся предоставил материал для задания.
  3. Учащийся просмотрел обратную связь от преподавателя или коллеги по заданию (включая автоматизированную обратную связь).
  4. Учащийся предоставил обратную связь преподавателю или коллеге в рамках задания.
  5. Учащийся пересмотрел и/или повторно предоставил материал для задания.

Данная модель начинается с присвоения каждому модулю задания максимального потенциального значения когнитивной глубины. Например, модуль "Задание" позволяет достичь когнитивной глубины до уровня 5.

После назначения потенциальных уровней каждый учащийся, зачисленный на курс, оценивается на основе доли достигнутой потенциальной глубины. Например, если задание поддерживает уровень только до 3 (просмотр обратной связи) и учащийся достиг уровня 3, он участвует на 100% от возможного уровня когнитивной глубины, а значение показателя равно 1. Если учащийся не просмотрел задание, его когнитивная глубина равна 0, а значение показателя составляет -1. Если учащийся просмотрел задание и отправил ответ, но не просмотрел обратную связь, он находится на уровне когнитивной глубины 2 (из потенциальной глубины данного задания, равной 3), поэтому показатель рассчитывается как 0,33.

Индикаторы когнитивной глубины на уровне курса​

  • Потенциальная когнитивная сложность курса — рассчитывается на основе всех активностей курса как мера потенциальной вовлеченности.

Индикаторы когнитивной глубины на уровне зачисления на курс​

Следующие индикаторы когнитивной глубины имеют 1 уровень и отображают 0% (не просмотрено) или 100% (просмотрено).

  • Когнитивная глубина элемента "Книга"
  • Когнитивная глубина элемента "Папка"
  • Когнитивная глубина элемента "Пакет IMS"
  • Когнитивная глубина элемента "Метки" (считается просмотренной, если соответствующий раздел курса был просмотрен)
  • Когнитивная глубина элемента "Страница"
  • Когнитивная глубина элемента "Файл"
  • Когнитивная глубина элемента "URL-адрес"

Следующие индикаторы когнитивной глубины имеют 2 уровня и отображают 0% (не просмотрено), 50% (просмотрено) или 100% (взаимодействовал хотя бы с одним другим участником).

  • Когнитивная глубина элемента "Выбора" (если результаты не видны)
  • Когнитивная глубина элемента "База данных"
  • Когнитивная глубина элемента "Обратная связь"
  • Когнитивная глубина элемента "Глоссарий"
  • Когнитивная глубина элемента "Опроса"
  • Когнитивная глубина элемента "Вики"

Следующие индикаторы когнитивной глубины имеют 3 уровня и отображают 0% (не просмотрено), 33% (просмотрено), 67% (отправлено/выполнено) или 100% (отправлено/выполнено и просмотрена обратная связь).

  • Когнитивная глубина элемента "Выбора" (если результаты видны)
  • Когнитивная глубина элемента "LTI"
  • Когнитивная глубина элемента "SCORM"

Следующие индикаторы когнитивной глубины имеют 4 уровня и отображают 0% (не просмотрено), 25% (просмотрено), 50% (отправлено/выполнено), 75% (отправлено/выполнено и просмотрена обратная связь) или 100% (предоставлена обратная связь преподавателю или коллеге).

  • Когнитивная глубина элемента "Чат"

Следующие индикаторы когнитивной глубины имеют 5 уровней и отображают 0% (не просмотрено), 20% (просмотрено), 40% (отправлено/выполнено), 60% (отправлено/выполнено и просмотрена обратная связь), 80% (предоставлена обратная связь преподавателю или коллеге) или 100% (пересмотрено и отправлено повторно).

  • Когнитивная глубина элемента "Задание"
  • Когнитивная глубина элемента "Урок"
  • Когнитивная глубина элемента "Тест"
  • Когнитивная глубина элемента "Семинар"

Оригинал: https://docs.moodle.org/502/en/Learning_analytics_indicators