Τι είναι η Εντροπία Διακριτής Πηγής

Παρουσιάζεται συνοπτικά η έννοια της εντροπίας διακριτής πηγής πληροφορίας χωρίς μνήμη, όπως παρουσιάστηκε από τον Claude Shannon στην εργασία του το 1948 με τίτλο "A Mathematical Theory of Communication" [1].
Επίσης, δίδεται η σχετική ερμηνεία για το γεγονός ότι η εντροπία αποτελεί ένα φυσικό όριο, το οποίο είναι το ελάχιστο πλήθος των bit που απαιτούνται για την κωδικοποίηση των συμβόλων μιας διακριτής πηγής και εκφράζει την μέση αβεβαιότητα.