ИИИ Спортивный анализ данных - 11 лекция - 16.05.2023 + конспект от YandexGPT

ИИИ Спортивный анализ данных - 11 лекция - 16.05.2023 + конспект от YandexGPT

00:02 Обсуждение алгоритма K-ближайших соседей

• В видео обсуждается алгоритм K-ближайших соседей (KNN), который используется для классификации и регрессии.
• В случае классификации, алгоритм выбирает соседей, которые наиболее близки к тестовой точке, и принимает решение на основе их классов.
• В случае регрессии, алгоритм усредняет значения соседей и предсказывает значение тестовой точки.

02:53 Особенности алгоритма KNN

• Алгоритм KNN имеет несколько особенностей, которые могут повлиять на его качество.
• Во-первых, он использует метрику расстояния для определения соседей, которая может быть разной в зависимости от задачи.
• Во-вторых, количество соседей может быть нечетным для классификации и четным для регрессии.
• В-третьих, алгоритм может учитывать расстояние до соседей, что может помочь в принятии более обоснованных решений.

15:05 Влияние расстояния на качество предсказаний

• В видео обсуждается влияние расстояния на качество предсказаний в задачах регрессии и классификации.
• Показано, что расстояние может быть важным фактором, особенно когда фичи сильно отличаются по диапазону значений.

21:52 Эксперименты с различными метриками

• В видео проводятся эксперименты с различными метриками, включая косинусное расстояние, манхэттенское расстояние и другие.
• Показано, что оптимальное значение для каждой задачи может быть разным.

24:03 Влияние количества соседей и взаимодействия между фичами

• Обсуждается влияние количества соседей и взаимодействия между фичами на качество предсказаний.
• Показано, что для регрессии и классификации оптимальное количество соседей может быть разным.
• В целом, для регрессии лучше использовать меньшее количество соседей и взвешивание по расстоянию, а для классификации - меньшее количество соседей и принятие решений на основе ближайших соседей.

34:48 Деревья решений

• Деревья решений - это метод машинного обучения, основанный на построении дерева решающих правил.
• Они хорошо интерпретируются и могут быть использованы для решения задач классификации и регрессии.

39:43 Пример использования дерева решений

• В примере с шариками, дерево решений помогает разделить их на желтые и синие, используя только одну фичу - ось.
• Дерево учитывает энтропию и вероятность каждого класса, чтобы выбрать оптимальное разбиение.

47:55 Ограничение глубины дерева

• Глубина дерева может быть ограничена, чтобы избежать переобучения и обеспечить более точные результаты.
• В примере, дерево останавливается на уровне, где желтый шарик встречается только один раз среди синих.

49:47 Альтернативный вариант дерева решений

• В случае регрессии, дерево решений использует другую метрику - среднеквадратичную ошибку (MSE).
• Это позволяет снизить дисперсию внутри листа и предсказывать среднее значение для каждого листа.

53:28 Влияние глубины дерева на качество обучения

• В видео обсуждается влияние глубины дерева на качество обучения.
• При увеличении глубины дерева, качество обучения сначала растет, но затем начинает падать.
• Оптимальная глубина дерева находится примерно на 20-21 уровне.

55:51 Визуализация процесса обучения

• В видео демонстрируется инструмент, который позволяет визуализировать процесс обучения дерева.
• Он показывает, как дерево разбивает данные на листья и как это влияет на принятие решений.

01:02:06 Важность фичей и их влияние на обучение

• В видео обсуждаются важность фичей и их влияние на обучение.
• Показано, что некоторые фичи могут вносить больший вклад в снижение дисперсии, чем другие.

01:09:07 Визуализация прогресса обучения

• В видео обсуждается отсутствие функции для визуализации прогресса обучения.
• Вместо этого, предлагается использовать визуализацию, которая показывает, как алгоритм учится на всем объеме данных.