Измерение информации (видео 11) | Теория информации | Программирование

#ПрограммированиеJavaScript
Как можно определить количество информации?

Академия Хана — некоммерческая организация, которая ставит своей целью сделать качественное образование мирового уровня доступным везде, всегда и для каждого.

Перевод был выполнен при поддержке Oxford Russia Fund.

Вместе мы сделаем образование лучше!

[KhanAcademyRussian]

Спасибо, что подписываетесь на наш канал!
За этот год мы смогли перевести 500 видео и запустить на сайте 8 тем (по 1-2 по каждому из предметов). Наши бесплатные видео и образовательная платформа ежегодно помогают получать знания сотням тысяч людей в России. И сейчас нам просто необходима ваша помощь, чтобы продолжать эту важную миссию. Пожалуйста, поддержите наш проект через пожертвование на сайте @t
Для нас важно каждое пожертвование. Спасибо вам!

[xan_thrax]

Получил за 8 минут больше информации чем за 4 года в институте на факультете ИВТ, пусть все знают, как учат в СИБГУТИ (Новосибирск, Россия). Не однократно подходил к преподавателям и просил их объяснить то что не понимаю, все игнорировали, говорили слушай внимательно лекции. Спасибо за видео!

[MrStrah]

прошло 5 лет и теперь любой может ответить используя LLM:
Речь идет о понятии энтропии информации, введенном Клодом Шенноном.

Энтропия описывает среднее количество информации (или неопределенности), которое содержится в сообщении или символе. Если символы предсказуемы (например, встречаются с высокой вероятностью), то энтропия низкая, и для передачи сообщения требуется меньше битов. Если символы распределены равномерно (все возможные значения равновероятны), энтропия максимальна, и требуется больше битов для передачи сообщения.

Ключевая идея Шеннона заключалась в том, чтобы количественно оценить информацию, используя вероятности появления символов. Он предложил использовать формулу для вычисления энтропии. (тут формула) Эта идея позволила моделировать и оптимизировать процессы передачи сообщений, учитывая их предсказуемость и структуру.

[vitaliikhomenko]

как на другой стороне будет получатель знать о чем идет речь?
должно быть тогда переданно обьяснение к передаче?

[nurlanaslan]

Первый комментарий и первая информация

[vitaliikhomenko]

я не понял, а как вопросы будут задаваться?
у нас же только провод...
как алиса будет знать что речь идет о буквах а не о картах..

[Мила-тд]

Сейчас информация так всачивается в мозг, что просто люди со временем от всего устанут и будут весь день разговаривать на десяти языках .... Книг будет настолько много... Останется только сортировать истину от лжи. Слов много благодаря туристам и путешественникам, мигрантам...

[Phantom-Soft]

3:21 стоит ли твоя буква перед джей (J)???
Тогда на ответ ДА не нужно было отбрасывать варианты G H I
Если же диктор ошибся и надо было сказать не джей, а джи, то почему палец указывает на J?