Entropía de la información usando MATLAB

La entropía de la información es la tasa agregada a la que la información es creada por una fuente de información estocástica. La proporción de entropía de información relacionada con cada valor de información potencial es el logaritmo negativo de la función de masa de probabilidad para el valor. Por lo tanto, cuando la fuente de información tiene una estimación de probabilidad más baja (es decir, cuando ocurre una ocasión de probabilidad baja), la ocasión transmite más datos que cuando la información de la fuente tiene una estimación de probabilidad más alta. La medida de los datos transmitidos por cada ocasión caracterizada de esta manera se convierte en una variable aleatoria cuyo valor esperado es la entropía de la información. La entropía es cero cuando es seguro que ocurrirá un resultado.

Fórmula: 

Ejemplo 1: una fuente discreta sin memoria, es decir, DMS ‘X’ tiene 4 símbolos x1, x2, x3 y x4 con probabilidades P(x1) = 0,333, P(x2) = 0,333, P(x3) = 0,167 y P(x4) = 0.167.
Entonces, H(X) = -0.333 log2(0.333)-0.333 log2(0.333)-0.167 log2(0.167)-0.167 log2(0.167)
      H(X) = 1.918

Ejemplo 2: una fuente discreta sin memoria, es decir, DMS ‘X’ tiene 2 símbolos x1 y x2 con probabilidades P(x1) = 0,600 y P(x2) = 0,400
Entonces, H(X) = -0,600 log2(0,600)-0,400 log2( 0,400)
      H(X) = 0,970

Aquí está el código de MATLAB para calcular la entropía de información de una string.

clc;
  
# the string
x = 'GeeksforGeeks'
  
# length of the string
len = length(x);
display(len);
  
# unique characters
u = unique(x);
display(u);
  
# length of unique character string
lenChar = length(u);
display(lenChar);
  
# creating 2 zero vectors
z = zeros(1, lenChar);
p = zeros(1, lenChar);
  
# finding the values of probability
for i = 1 : lenChar
   z(i) = length(findstr(x, u(i)));
   p(i) = z(i) / len;
end
display(z);
display(p);
  
# information entropy
H = 0;
for i=1:lenChar
  H = H + (-p(i) * log2(p(i)));
end
display(H);

x = GeeksforGeeks
len =  13
u = Gefkors
lenChar =  7
z =

   2   4   1   2   1   1   2

p =

   0.153846   0.307692   0.076923   0.153846   0.076923   0.076923   0.153846

H =  2.6235