La paradoja de la información y la teoría de Shannon

El robo de un banco en 1907, un ladrón que huye a Londres y un problema gordo para atraparlo. Estos son los ingredientes para introducir animadamente la teoría de la información de Shannon y su fórmula de la entropía.

* * * *
Pequeño índice:

00:00 - Introducción
01:40 - La información se mide en bits
06:03 - La fórmula de la sorpresa
11:35 - ¿Y qué hacemos con esto?
13:35 - En el ADN


* * * *
* * * *

Como has continuado la lectura hasta aquí, te cuento un poco más. Hay muchos artículos en blogs de Internet que afirman que el Quién es Quién se puede ganar con solo seis preguntas. Y le dedican largas parrafadas a demostrarlo. Si haces las cuentas con la fórmula de la información, verás que solo necesitas cinco preguntas para ganar (con un poco de suerte, solo cuatro).

- Lemnismath -

-------------- Bibliografía y referencias ----------------

[1] New York Times, 1907.

[2] Me refiero a A Mathematical Theory of Communication, C. E. Shannon (1948).
He cambiado el título por cuestiones estéticas.

---------------------------------------

[3] Definición de bit.
Deberíamos añadir que el bit es la respuesta ante una pregunta de sí/no solo cuando ambas opciones son equiprobables. Lo malo es que aún no hemos introducido la probabilidad en la teoría.

[4] Plutón no es planeta (según la IAU, ejem, ejem):

[5] El logaritmo te dice el número de preguntas si la cantidad de opciones es una potencia de dos. En el resto de casos devuelve un valor con decimales. Es una generalización derivada de la potenciación en el caso continuo (pero si has entendido esta frase, entonces no creo que te resulte raro pensar en preguntas irracionales).

[6] Sobre la cantidad de caracteres de un tuit,

[7] No hago diferencias entre preguntas y respuestas, y quizá debería. Entiéndase que lo que da información es la respuesta, pero esta proviene de una pregunta contestada.

[8] Telegraphing Pictures, T. Thorne Baker (1909).

[9] Shannon no "detecta" esta paradoja directamente en su trabajo original: deduce una fórmula que la evita, sin más circunloquios.

------------------------------------------

[10] No es la fórmula de Shannon. Se deduce de su teoría, pero él no la menciona en su trabajo original. Es una intepretación posterior, y un recurso pedagógico.

[11] Las tres preguntas del ejemplo inicial.

[12] En este vídeo, la interpretación de la probabilidad es de tipo frecuencial.

[13] Esta debería ser la definición de bit, ahora que hemos introducido la interpretación probabilística.

[14] The security of customer-chosen banking PINs.

[15] Sobre la frecuencia de las letras del español:

[16] Se considera que 0×log(1/0) es cero. La sorpresa de encontrar algo con probabilidad 0 es infinita, PERO nunca te encontrarás algo así. Y, si lo encuentras, que Dios te pille confesado.

---------------------------------------------

[17] Este es un caso especial, donde p=1 y la información puede considerarse nula.

[18] Este "mínima" es peligroso: podrías adivinar el mensaje por casualidad con una sola pregunta. Si el código se crea en función de un mensaje particular, la fórmula de Shannon te da la cantidad mínima de preguntas con una seguridad del 100% (es decir, sin recurrir a la suerte o al azar). Si quieres usar un código genérico (por ej., el códgo morse) para una familia de mensajes (telegramas en español), el "mínima" pierde sentido y la interpretación debe ser estadística, atendiendo a los teoremas de Shannon.

[19] Se consigue la igualdad si y solo si todas las probabilidades son iguales, p=1/n.

[20] Un análisis interesante sobre la información de cada letra en español (lo que se conoce como entropía del español).
On the Entropy of Written Spanish, F. G. Guerrero (2012).

[21] Tomado de Wheel Of Fortune (1997). Es obvio, pero Internet nunca deja de sorprenderme, así que lo aclaro: he adulterado las imágenes. NO es el panel original.

[22] Lecture 6: Entropy.

[23] Un resumen general y recomendable es el de Establishing the Triplet Nature of the Genetic Code, C. Yanofsky (2007)

[lemnismath]

Pues eso: estoy estudiando las implicaciones de aplicar la teoría de la información al ADN, en colaboración con la gente de Adntro. Se sabe que la fórmula de la entropía es mejor que otros tests estadísticos para detectar algunas enfermedades genéticas concretas, y en eso estamos metidos. Si llegamos a algún resultado interesante, os lo comentaré. 😘

[Leonidas]

Han pasado 84 años, soy un hombre felizmente casado, tengo 4 hijos y 6 nietos...Pero algo sucedió, cuando no sabía que podía ser más feliz, Lemnismath sube un video, y llego al estado de plenitud...

¡Rayos! Pasamos de contar una historia de crimen a fórmulas matemáticas y compresión de archivos. ¡Que buen vídeo! Vale la pena esperar tanto para ver otro video

[gerabytef]

Tu canal es como Rockstar, pasan como 5 años entre cada entrega pero cuando por fin sale es una obra de arte 😎🍷

[mikip]

Absolutamente magistral. Esta es una de las ideas más hermosas de toda la ciencia. No sé como carajo has comprimido toda esa información en un cuarto de hora (chiste malo). Enhorabuena

[LAICEPS]

Hay que agregar que Claude Shannon tambien fue el que demostró que la logica booleana se podia implementar con relés en su tesis de grado y que finalmente llevó a la electrónica digital y que tengamos microprocesadores. También trabajó en Inteligencia Artificial y hay un video donde Theseus su ratón eletromecánico aprende a salir de un laberinto. También le interesaba el cubo rubik y los malabares, hasta hizo robots para resolver el cubo Rubik, otro que hacia malabares y una Useless Machine.

[luisrivaud]

No dejés de seguir dando tanta belleza al universo. En Youtube no hay creatividad que se le compare a tu síntesis y metaforización de contenidos. Gracias y hasta la próxima entrega.

[JuanJoseMartinezM]

Justo esta mañana revisaba mi cuenta de ADNTRO que había una nueva sección y veo que era sobre entropía y que Lemnismath preparaba video... Ha sido uno de los Spoiler más deliciosos que he podido encontrarme. ¡Gracias por el video!

[t.garces]

Wooow soy de filosofía y mi formación en Lógica me ha llevado a leer a Shannon pero no lo había entendido hasta ahora que estoy viendo tu video. Me has ayudado bastante con esta explicación, es como si hubieras quitado un candado y ahora mucho de lo que discutíamos en clase sobre este tema me tiene sentido. Gracias por esto ❤

[EliesE]

Pregunta: ¿El logo representa la cantidad de tiempo entre cada vídeo?

Fuera bromas, el vídeo merece la pena, creo, aún no lo he visto, no tengo suficiente información.
¿Habrá alguna teoría que me ayude con este dilema?

[diegooooo]

hora del maratón periódico de videos de Lemismath

[Manflack]

Hermoso vídeo Lemnismath. Soy técnico electrónico y estudiante de primer año de ciencias de la computación, creí saber bastante sobre la información y el envío de datos pero venís vos y me enseñaste un montón!

[michaelgaines]

El éxito depende de la acción o paso que des para lograrlo. Muéstrame un hombre que no tenga inversiones y te diré cuán pronto se arruinará. La inversión es construir un paraíso seguro para el futuro

[Victor_Gonzalez]

No me acordaba que estaba suscrito a esta maravilla de canal, ver este vídeo sí que ha sido una sorpresa. Enhorabuena porque la calidad de los vídeos es tremenda a todos los niveles. Muchas gracias por el contenido!

[Santi_rec]

Me encantan tus videos! Cuando vi el nombre de Shannon me llamó la atención, porque mi profesor de Teoría de las Comunicaciones (yo estudio ingeniería) lo mencionó varias veces en relación a los aportes que hizo en lo que se trata de compactado y envío de un mensaje. Y ahora puedo entender aún mejor el porque mi profesor le rinde tanto homenaje!

[hrivera]

No conocía el canal, pero si todos tus vídeos son de esta calidad pues debería tener más seguidores.

[firmin]

Me maravilla cómo has conseguido transmitirme esa información a mi cerebro de forma tan efectiva. Un vídeo absolutamente genial.

[gabrielaquinde]

Wow, que hermoso video, me encanta toda la información valiosa que contiene. Y acabo de desbloquear el recuerdo de que seguía este canal y siempre veían los videos en el desayuno antes de ir a la universidad

[HabibArielCoriatHarrar]

Me tomó por sorpresa absolutamente todo, y me quedé enganchadísimo viéndolo jajaja, excelente video! Espero por otro.

[suri]

Es increíble como he odiado las matemáticas durante toda mi etapa educativa y profesional, como me ha dado siempre exactamente igual qué cosa calculaba qué, qué fórmulas servían para hacer X o Z, y a cada oportunidad que tengo, le paso los cálculos a otra persona para que se encargue ella, , , , y sin embargo, me he quedado enganchadísima a este vídeo desde el primer momento hasta el último. Nunca he prestado tanta atención a un concepto matemático. No sabía de este canal pero me ha encantado, ha sido hipnótico. Eso sí, las matemáticas y yo, por mucho que adore tu explicación, no vamos a ser amigas.