Лекция 1. Интеллектуальный анализ и большие данные

в комментариях краткий пересказ)

[mihan]

Лекция 1. Интеллектуальный анализ и большие данные


00:00 Введение в курс "Интеллектуальный анализ данных и большие данные"

• Лектор представляет курс "Интеллектуальный анализ данных и большие данные", который будет проходить в течение семестра.
• Лектор предупреждает, что на лекциях будут проводиться экспресс-опросы, которые могут повлиять на итоговую оценку.
• Лектор подчеркивает важность участия в опросах и посещения лекций.

04:23 Обзор терминологии и методов анализа данных

• Лектор объясняет, что интеллектуальный анализ данных включает в себя работу с данными, анализ данных и принятие решений на основе полученных результатов.
• Он также упоминает различные книги и источники, которые могут быть полезны для изучения темы.

16:14 Обсуждение методологии анализа данных

• Лектор подробно объясняет методологию анализа данных, которая включает в себя шесть этапов: выбор подхода к анализу данных, требования к данным, сбор данных, понимание и подготовка данных, формирование модели, оценка модели и корректировка.
• Он подчеркивает, что процесс анализа данных является итеративным и может быть скорректирован на каждом этапе.

20:04 Обсуждение технологий больших данных

• Лектор объясняет, что технологии больших данных могут быть использованы для анализа данных любого размера, но обычно применяются для анализа больших объемов данных.
• Он также подчеркивает, что термин "большие данные" может быть использован для анализа данных любого размера.

22:19 Большие данные и их использование

• Видео объясняет, что большие данные - это технологии, которые позволяют работать с неструктурированными данными, такими как социальные сети, интернет-трафик, и т.д.
• Традиционные технологии, такие как реляционные базы данных, предполагают знание структуры данных заранее, в то время как технологии больших данных позволяют формировать структуру данных в процессе обработки.

26:57 Взаимосвязь больших данных и интеллектуального анализа данных

• Видео подчеркивает, что технологии больших данных используются для интеллектуального анализа данных, который включает в себя итерационный процесс исследования, подготовки данных, планирования, построения моделей, обсуждения и использования результатов.

33:14 Проблемы больших данных

• Видео обсуждает проблемы, связанные с большими данными, включая скорость заполнения хранилищ данных, объем данных, разнообразие данных и сложность обработки.
• Отмечается, что существующие технологии могут не справиться с этими проблемами, и необходимо формировать новые подходы и решения.

41:19 Большие данные и их влияние на науку

• Большие данные стали основой для интеллектуального анализа данных и привели к развитию новых методов и технологий.
• Возникла мифология о том, что с помощью больших данных можно генерировать новые решения и идеи.

45:49 Гарднеровский Хай-цикл и большие данные

• Гарднеровский Хай-цикл показывает, как технологии больших данных проходят через три этапа: триггер инноваций, пик завышенных ожиданий и разочарование.
• В 2016 году большие данные стали стандартной технологией работы с данными, но их использование расширилось и на обычные данные.

53:45 Производительные вычисления и большие данные

• Производительные вычисления - это решение уникальных задач с экстремально высоким объемом вычислений, а большие данные - это обработка больших объемов данных простыми методами.
• Большие данные включают в себя характеристики данных и технологии, которые извлекают смысл из данных.

57:53 Определение больших данных

• Большие данные объединяют техники и технологии, которые извлекают смысл из данных на экстремальном пределе практичности.
• Определение больших данных: технология преобразования информации в знания для принятия решений.

01:01:49 Большие данные и их стандарты

• Видео обсуждает, как Интернет 2.0 и мобильные телекоммуникации привели к появлению больших данных.
• Стандарты в области больших данных разрабатываются в США, и их методология основана на стандартах оборонного ведомства.
• Стандарт B Big Data Inter Framework описывает эталонную архитектуру больших данных, которая включает девять томов.

01:11:26 Характеристики больших данных

• Большие данные масштабируемы, что означает, что они должны быть распределены и обрабатывать обширные наборы данных.
• Большие данные требуют отказоустойчивости, которая достигается с помощью репликации данных и процедур обработки.
• Объем данных влияет на архитектуру и используемые технологии работы с большими данными.
• Закон Мура применим к технологиям, которые производят данные, и количество данных удваивается каждые 14 месяцев.

01:21:15 Большие данные и их значение

• Большие данные - это технологии, которые извлекают смысл из огромных объемов информации.
• Пятая характеристика больших данных - value (ценность), которая является основой форестеровского определения больших данных.