Bilgi (information content) nedir?

Question

Bilginin tanimi ve birimi nedir? Tanimin arkasinda nasil bir mantik yatmaktadir?

Answer 1

Tanımı işin uzmanlarına bırakarak, arkasındaki mantık ile ilgili bir örnek vereyim.

Televizyonda Kelime Oyunu diye bir yarışma var, bilmeyenler youtube'dan da videolarını bulabilir. Burada açıklaması verilen bir kelimeyi bulmaya çalışıyorsunuz. Yardımcı olması açısından, az daha düşük puan almaya razı olursanız harf alabiliyorsunuz. Harf aldığınızda, kelimenin bir harfi açılıyor. Açılan harf de size bulmaya çalıştığınız kelime ile ilgili bir "bilgi" veriyor.

Orada açılan harf mesela A ise bu size az bilgi verir, ama mesela J harfi çıktıysa bu çok bilgi verir.

Comments

Bence örneğe göre,alınan harfler "ipucu".

"efendim bu kelime fransızda kökenlidir." ise bilgi olur.

ama ilk cümlenizi destekliyorum.

---

Hayır, matematiksel anlamda "bilgi" tanımına göre, harfler de size bilgi verir. Gözlemlediğiniz birşeyin olasılığı ne kadar düşükse o kadar çok bilgi içerir.

---

Daha doğrusu, matematikte "bilgi" tanımı, olasılığı düşük olan şeyin "bilgi"si yüksek olacak şekilde yapılır.

---

peki ipucu kelimesini nasıl tanımlarız ?

---

mutual information veya information leakage (conditional mutual information) gibi yorumlayabilirsiniz belki

Answer 2

kerem.altun hocam cok guzel bir sekilde altta yatan sezgiyi vermis. Ben de Claude E. Shannon in verdigi tanimi vermek istiyorum.
Shannon "Bilgi" nin saglamasi gereken uc tane belit veriyor:

• Olmasi kesin olan olay bilgi katmaz.
• Bir olayin olma olasiligi ne kadar dusukse kattigi bilgi o kadar fazladir.
• Eger iki bagimsiz olay ayrik bir sekilde olcumlendiyse toplam bilgi olaylarin bilgilerinin toplamidir

Bu kriterlere uyan bir $I(\cdot)$ fonksiyonu bulalim.

$I$ fonksiyonun $o_n$ olayinin olma olasiliginin bir fonksiyonu oldugu acik.
$I(o_n) = f(P(o_n))$

$P(o_n) = 1 \iff I(o_n) = 0$

$P(o_n) < 1 \iff I(o_n) > 0$

$A$ ile $B$ bagimsiz ise

$I(A\cap B) = I(A) + I(B)$ ve $P(A\cap B) = P(A) * P(B)$

yani bize bir sekilde carpmayi toplamaya ceviren bir fonksiyon lazim. $\log$ isimizi gormeli.

$I(o_n) = K\log P(o_n)$.

Bilginin pozitif oldugunu hesaba katip $K=-1$ alirsak bilginin tanimini vermis oluruz.

Sectigimiz logaritmanin tabanina gore bilginin birimi degisik adlar aliyor. Eger tabani $2$ secerseniz birim bit, dogal tabani severseniz nat, $10$ tabanini secerseniz hartley yada dit adlarini aliyor