ИИИ Спортивный анализ данных - 3 лекция - 28.02.2023 + конспект от YandexGPT

ИИИ Спортивный анализ данных - 3 лекция - 28.02.2023 + конспект от YandexGPT

Тетрадка 1:
она же на моём диске:

Тетрадка 2:
она же на моём диске:

Тетрадка 3:
она же на моём диске:

Тетрадка 4 - 04_Live_pandas:
она же на моём диске:

00:07 Введение в пандас
• Автор объясняет, что в этом видео он будет рассказывать о пандасе, наборе данных и их использовании.
• Он также упоминает, что в этом семестре будет оценивать задания по пандасу, и что он будет вводить дедлайны для выполнения заданий.

02:03 Справочники по пандасу
• Автор представляет два справочника по пандасу: один для начинающих, другой для более углубленного изучения.
• Он объясняет, что в этих справочниках можно найти информацию о том, как использовать пандас для анализа данных.

05:41 Примеры использования пандаса
• Автор показывает, как использовать пандас для решения задач, связанных с анализом данных.
• Он также объясняет, что в пандасе можно решать задачи без использования циклов, что является важным качеством этого инструмента.
11:07 Справочники по пандасу

• Автор продолжает объяснять, как использовать справочники по пандасу для изучения различных функций и методов анализа данных.
• Он также обсуждает, как использовать пандас для создания новых столбцов и преобразования данных.

14:58 Введение в Pandas
• В видео рассказывается о библиотеке Pandas, которая позволяет работать с данными в формате CSV.
• Объясняется, как импортировать Pandas и настроить параметры отображения данных.

19:11 Работа с наборами данных
• В видео демонстрируется работа с различными наборами данных, включая Олимпийские игры, зарплаты, мобильные операторы, расход электроэнергии и квартиры.
• Объясняется, как считывать данные из файлов и как работать с различными типами данных.

26:23 Дополнительные функции Pandas
• В видео обсуждаются дополнительные функции Pandas, включая чтение и запись в Excel, работу с JSON и HTML, а также сохранение и чтение данных в формате Parquet.

29:33 Анализ данных
• Видео начинается с обзора данных, представленных в формате паркет.
• Этот формат позволяет хранить данные в сжатом виде и быстро их считывать.
• Паркет также поддерживает партиционирование данных по датам, что позволяет быстро читать и фильтровать данные.

34:00 Работа с данными
• Далее автор демонстрирует, как можно использовать инструменты для анализа данных.
• Он показывает, как можно посмотреть на данные, определить типы данных, количество пропусков и статистику.
• Он также объясняет, как можно обращаться к отдельным столбцам и как использовать функции фильтрации для работы с данными.

47:59 Анализ производства продуктов
• В видео анализируется производство продуктов на заводе, используя данные из таблицы.
• Рассматриваются различные условия, такие как производство только одного продукта, одновременное производство нескольких продуктов и производство всех продуктов.

56:38 Группировка по годам и месяцам
• В видео объясняется, как группировать данные по годам и месяцам, используя функцию группировки.
• Приводится пример группировки по годам и месяцам для анализа динамики производства продуктов.

01:04:14 Фильтрация и группировка по часам
• В видео демонстрируется, как фильтровать данные по часам и группировать их для анализа нагрузки на заводе в течение дня.
• Объясняется, как использовать функцию подсчета для подсчета количества часов в каждой группе.

01:07:27 Группировка и фильтрация данных
• Видео обсуждает различные способы группировки и фильтрации данных в Pandas.
• Упоминается метод groupby, который позволяет группировать данные по определенным столбцам и применять различные функции к каждой группе.
• Также обсуждаются функции, такие как mode, которые могут быть применены к нескольким столбцам для получения уникальных значений.

01:16:36 Удаление дубликатов и подсчет количества
• Видео объясняет, как использовать метод drop_duplicates для удаления дубликатов и метод transform для подсчета количества уникальных значений в каждом штате.
• Эти методы могут быть применены к различным столбцам для получения более детальной информации о данных.

01:27:29 Задание на дом и обсуждение домашнего задания
• Автор обсуждает домашнее задание, которое включает в себя применение различных функций к данным и создание ссылок на файлы.
• Он также отвечает на вопросы о домашнем задании и обсуждает, как можно выбрать определенные данные для анализа.