Παραδείγματα Κωδικοποίησης Shannon, Fano και Huffman

Η παρούσα online διάλεξη περιλαμβάνει ένα πρώτο πράδειγμα εφαρμογής των κωδικοποιήσεων πηγής Shannon, Fano και Huffman. Τα παράδειγματα αφορούν στην κωδικοποίηση διακριτής πηγής χωρίς μνήμη, η οποία παράγει έξι σύμβολα με πιθανότητες {0.30, 0.25, 0.15, 0.12, 0.10, 0.08}. Οι τρεις αυτές κωδικοποιήσεις συγκρίνονται με βάση την εντροπία της πηγής ως προς το μέσο μήκος κωδικολέξεων και την απόδοση της κάθε μίας.

Στη συνέχεια, παρατίθεται ένα απλό παράδειγμα όπου μια διακριτή πηγή χωρίς μνήμη παράγει δύο σύμβολα με πιθανότητες {0.8, 0.2} και γίνεται σύγκριση ως προς την απόδοση της απευθείας κωδικοποίησης Huffman σε σχέση με την κωδικοποίηση υπερσυμβόλων, τα οποία αποτελούνται από δύο σύμβολα ανά υπερσύμβολο.

Στα παραπάνω παράδειγματα οι απαιτούμενοι υπολογισμοί πραγματοποιούνται με χρήση του ελεύθερου λογισμικού λογισμικού GNU Octave.

*** Παράδειγμα #1 ***

Παράδειγμα κωδικοποίησης Shannon: 1:24'
Παράδειγμα κωδικοποίησης Fano: 24:55

Παράδειγμα κωδικοποίησης Huffman: 32:35
Παράδειγμα κωδικοποίησης Huffman (κωδικό δέντρο): 42:05

*** Παράδειγμα #2 ***

Παράδειγμα κωδικοποίησης υπερσυμβόλων: 51:24