Άσκηση στην Εντροπία Αθροίσματος Δύο Τυχαίων Μεταβλητών

Έστω X και Y δύο τυχαίες μεταβλητές και Z = X + Y.

(α) Να αποδειχτεί για την εντροπία ότι H(Z|X) = H(Y|X).
(β) Εάν οι X και Y είναι ανεξάρτητες, να αποδειχτεί ότι H(Y) ≤ H(Z) και H(X) ≤ H(Z). Επομένως, όταν σε μια τυχαίες μεταβλητές προστίθεται μια ανεξάρτητη της τυχαίες μεταβλητές, η αβεβαιότητα αυξάνει.

(γ) Δώστε ένα παράδειγμα (μη ανεξάρτητων) τυχαίων μεταβλητών X και Y για τις οποίες ισχύει ότι H(Y) ≥ H(Z) και H(X) ≥ H(Z).
(Η εκφώνηση προέρχεται από το βιβλίο Cover και Thomas άσκηση 2.14)