Elkarrekiko informazioa bi zorizko aldagaik partekatzen duten informazio kantitatearen neurria da informazio teorian. Beste modu batera esanda, zorizko aldagai bat aztertuz beste aldagaiari buruz lortzen den informazio kantitatea da. Bi aldagaien arteko mendekotasuna neurtzen du. Horrek guztiak entropiaren kontzeptua du oinarrian.[1]
Entropien eta elkarrekiko informazioaren arteko harremana erakusten duen Venn diagrama
Definizioa
Formalki, eta zorizko aldagai diskretuen elkarrekiko informazioa horrela defini daiteke:
non eta aldagaien baterako probabilitate funtzioa den eta eta eta aldagaien bazterreko probabilitateen (marjinalen) funtzioak, hurrenez hurren. Aldagaiak jarraiak badira, batukaria integral mugatu batez ordezkatzen da:[2]
non eta aldagaien baterako dentsitate funtzioa den eta eta eta aldagaien bazterreko dentsitate funtzioak (marjinalak), hurrenez hurren.
Logaritmo funtzioa 2 oinarrian erabiltzen bada, elkarrekiko informazioa bitetan neurtuko da.
Kontzeptu intuitiboa
Intuitiboki, elkarrekiko informazioak eta aldagaiek partekatzen duten informazioa neurtzen du; zehazki, aldagai bati buruzko informazioa izateak beste aldagaiaren ziurgabetasuna (entropia) zenbat txikitzen duen neurtzen du.
Aldagaiak independenteak badira, bat ezagutzeak ez du besteari buruzko informaziorik emango eta ondorioz, haien arteko elkarrekiko informazioa zero da. Beste muturrean, bi aldagaiak berdinak badira, informazio guztia partekatzen dute eta beraz, bata ezagutuz gero bestea ere ezaguna bihurtzen da. Hori dela eta, haien elkarrekiko informazioa haietako baten (ren edo ren) ziurgabetasuna (entropia) izango da; bi aldagaiak berdinak badira, entropia bera dute, noski.
Hortaz, elkarrekiko informazioak mendekotasuna neurtzen du zentzu honetan: da baldin eta soilik baldin eta zorizko aldagaiak independenteak badira. Izan ere, eta independenteak direnean, betetzen da, eta ondorioz:
Propietateak
Ez-negatibotasuna.
Simetria.
Entropiarekin duen erlazioa
Elkarrekiko informazioa horrela ere adieraz daiteke:
non eta bazter-entropiak (edo entropia marjinalak) diren, eta baldintzazko entropiak diren eta baterako entropia den. Venn-en diagramaren bidez ikus daiteke kontzeptu horien eta multzoen arteko bilduraren, ebakiduraren eta diferentziaren arteko parekotasuna.
Komunikazio-kanal baten testuinguruan adibidez, irteerako seinalea sarrerako ren bertsio zaratatsua dela interpretatuz gero, irudian azaltzen da kontzeptu horien interpretazioa zein izango litzatekeen.
Informazio teoriako kantitateen arteko erlazioa
denez, erlaziotik ondorioztatzen da.
ren definiziotik abiatuz, ondoren zehazten diren urratsei jarraituz lortzen da erlazioa:
Atalaren hasieran aipatutako gainerako identitateen frogak ere antzeko moduan egiten dira.
erlazioa modu intuitiboan horrela interpreta daiteke: entropiak aldagaiaren ziurgabetasuna neurtzen badu, orduan baldintzazko entropiak ezagutu ondoren oraindik aldagaiari buruz geratzen den ziurgabetasuna neurtzen du. Hortaz, berdintzaren eskuin aldeko kenketa horrela interpreta daiteke: ezagutzeak eragindako -ren ziurgabetasunaren murrizketa. Ideia hori bat dator elkarrekiko informazioaren esanahi intuitiboarekin: aldagai bat ezagutzeak beste aldagaiari buruz ematen duen informazioa (murrizten duen ziurgabetasuna).
Bi aldagaiak berdinak diren kasuan, denez, betetzen da. Hortaz, baiezta daiteke, hau da, aldagai batek bere buruari buruz ematen duen informazioa gutxienez beste edozein aldagaik ematen duena adinakoa da.
Aldakuntzak
Baldintzazko elkarrekiko informazioa
Batzuetan beharrezkoa gertatzen da bi zorizko aldagairen elkarrekiko informazioa kalkulatzea, hirugarren aldagai baten baldintzapean.
Sinplifikatuz, zera lortzen da:
, eta zorizko aldagai diskretuen baterako banaketak izanik, bi aldagairen arteko elkarrekiko informazioa hirugarren aldagai bati baldintzatzeak hura handitu ala txikitu dezake, baina beti beteko da:
bikotearen bidez adierazitako gertakaria dagokion probabilitatearen bidez haztatzen da. Horrek esan nahi du, gertakariak haien artean baliokideak direla, gertatzeko duten probabilitatean izan ezik. Baina zenbait aplikaziotan gertakari guztiek ez dute garrantzia maila bera.
Hori kontuan hartu ahal izateko, pisuak erabiltzen dira:
funtzioa probabilitateari biderkatuz, gertakarien probabilitate batzuek beste batzuei baino garrantzi handiagoa izatea lortzen da.
Aplikazioak
Elkarrekiko informazioa maximizatzea helburu duten aplikazio asko aurki daitezke. Funtsean mendekotasuna txikitzea da helburua, hau da, baldintzazko entropia txikitzea. Hona hemen batzuk:
Web bilatzaileetan, esaldien eta testuinguruaren arteko elkarrekiko informazioa erabiltzen da kontzeptuak (multzo semantikoak) aurkitzeko.
Biokimikan, ARN eta ADN sekuentziak ikertzeko eta sekuentzien arteko erlazioak aurkitzeko.
Ikasketa automatikoan, aldagaien aukeraketarako atazan erabiltzen da, esanguratsuak diren aldagaiak edota erredundanteak direnak aurkitzeko, irudi baten ezaugarri garrantzitsuenak zein diren erabakitzeko, etab.