Perplexidade

Perplexidade é uma medida utilizada em teoria da informação. Se define como 2 elevado a entropia, ou mais aproximadamente como 2 elevado a entropia cruzada. A última definição é usada frequentemente na comparação empírica de modelos probabilísticos.

Perplexidade de uma distribuição de probabilidade

A perplexidade de uma distribuição de probabilidade discreta p se define como

onde H(p) é a entropia da distribuição e x varia entre os distintos eventos.

Assumimos que se pdoe definir a perplexidade de uma variável aleatória X como a perplexidade da distribuição para todos os valores possíveis de x.