Интернет магазин китайских планшетных компьютеров

Компьютеры - Теорема Шеннона об источнике шифрования - Доказательство теоремы об источнике шифрования

Задано X являющееся НОР, его временной ряд X₁, …, X_n также НОР с энтропией H iв случае дискретных значений, и с дифференциальной энтропией в случае непрерывных значений. Теорема об источнике шифрования утверждает что для каждого ε > 0 для каждой оценки большей, чем энтропия ресурса, существует достаточно большое n и шифрователь, который принимает n НОР копий ресурса , X, , и отображает его в n. + ε) двоичных бит таким способом, что исходный символ X может быть восстановлен из двоичных бит, X вероятностью не менее чем 1 − ε.

Доказательство

Возьмем некоторое ε > 0. формула для, , выглядит следующим образом:

AEP показывает что для достаточно больших n, последовательность сгенерированная из источника недостоверна в типичном случае — , сходящаяся. В случае для достаточно больших: n,

Определение типичных наборов подразумевает, что те последовательности, которые лежат в типичном наборе, удовлетворяют:

Заметьте, что:

• Вероятность того, что последовательность была получена из X

больше чем 1 − ε

• начиная с вероятности полной совокупности является наиболее большим.

• . Fдля доказательства используйте верхнюю границу вероятности для каждого терма в типичном случае, и нижнюю границу для общего случая .

Начиная с битов достаточно, чтобы отличить любую строку

Алгоритм шифрования: шифратор проверяет является ли ложной входящая последовательность, если да, то возвращает индекс входящей частоты в последовательности, если нет, то возвращает случайное n. + ε) digit number. численное значение. В случае если входящая вероятность неверна в последовательности, то шифратор не выдает ошибку. То есть вероятность ошибки составляет выше чем ε

Доказательство обратимости Доказательство обратимости базируется на том, что требуется показать что для любой последовательности размером меньше чем будет покрывать частоту последовательности, ограниченную 1.