Gibbsa neegalaĵo

El Vikipedio, la libera enciklopedio
Saltu al: navigado, serĉo

En informa teorio, gibbsa neegalaĵo estas propozicio pri la matematika entropio de diskreta probablodistribuo. Kelkaj la aliaj baroj, pri la entropio de probablodistribuoj estas derivita de gibbsa neegalaĵo, inkluzivante la neegalaĵon de Fano.

Estu

diskreta probablodistribuo. Tiam por ĉiu la alia diskreta probablodistribuo

jena neegalaĵo veras

kun egaleco se kaj nur se

por ĉiuj i.

La diferenco inter la du kvantoj estas la negativo de la diverĝenco de Kullback-Leiblerrelativa entropio, tiel la neegalaĵo povas ankaŭ esti skribita kiel

Pruvo[redakti | redakti fonton]

Pro tio ko

sufiĉas al pruvi la frazon uzante la naturan logaritmon (ln). Por la natura logaritmo veras

por ĉiuj x kun egaleco se kaj nur se x=1.

Estu I signifi la aro de ĉiuj i por kiu pi estas ne nulo. Tiam

Do

kaj tiam bagatele

pro ke la dekstra flanko ne kreskas, sed la maldekstra flanko povas kreski aŭ povas resti la sama.

Por egaleco necesas:

  1. por ĉiuj tiel ke la proksimuma kalkulado estas akurata.
  2. tiel ke egaleco daŭras al teni inter la antaŭlasta kaj la _ultimate_ linioj de la pruvo.

Ĉi tio povas okazi se kaj nur se

por ĉiuj m=1,...,n.

La rezulto povas alternative esti pruvita per neegalaĵo de Jensenlogaritma suma neegalaĵo.

Korolario[redakti | redakti fonton]

La entropio de P estas barita per:

La pruvo estas bagatela - simple meti por ĉiuj i.

Vidu ankaŭ[redakti | redakti fonton]