2. Tři přístupy k pojmu informace
M. Buckland vychází ze vztahů mezi znalostmi, objekty a
procesy a rozlišuje 3 pohledy:
Informace jako znalost
je objektem informace jako procesu. Jde o entitu, nikoliv
proces. Znalosti, názory, víra .. nelze se jich přímo dotknout.
Informace jako dokument
hmatatelná entita, dokument. Jde o fixovanou informaci,
informaci v určité materiální reprezentaci.
Informace jako proces
někdo někoho informuje, sděluje mu zprávu. Závisí na
kontextu.
3. Čtyři aspekty informace (Buckland)
Znalost
Sdělení Zpracování dat
DokumentVĚC
PROCES
NEHMOTNÁ HMOTNÁ
4. Shannonovo chápání informace
Komunikační schéma:
odesílatel - kódování - kanál (médium) - kódování - příjemce
Odhlíží od předchozích znalostí příjemce, od sémantického obsahu
informace.
Máme-li dvě (stejně pravděpodobné) možnosti a víme, že platí jedna
z nich, dostáváme informaci o velikosti - 1 bit
Paradox – je třeba odhlédnout od smyslu zpráv, pak zbude forma,
kterou lze popsat jako posloupnost dovolených stavů.
Čím větší překvapení ve zprávě, tím větší je hodnota informace.
5. Entropie
• Entropie je míra neurčitosti (neuspořádanosti) systému.
Pokud vyjádříme entropii pomocí pravděpodobnosti,
dostaneme maximální entropii při hodnotě 50%.
• Normální (Gaussovo) rozdělení pravděpodobnosti má
nejvyšší entropii – systém se chová zcela náhodně.
• Sekvence náhodných čísel má maximální míru entropie.
6. Informace
• Informace snižuje nebo odstraňuje neurčitost systému.
• Informace je míra uspořádanosti systému, čím je systém
uspořádanější, tím nese větší informaci. Informace a entropie
jsou tedy funkce, které se liší znaménkem.
• Množství informace v systému je dáno rozdílem mezi stavem
neurčitosti systému (entropie), kterou měl systém před přijetím
informace a stavem neurčitosti, která se přijetím informace
odstranila.
• V tomto smyslu může být informace považována za vlastnost
organizované hmoty.
7. Claude Elwood Shannon
(1916 - 2001)
Matematik a inženýr, jeden ze zakladatelů teorie informace.
Uvědomil si, že stavy relé mohou odpovídat pravdivostním hodnotám
v Booleově algebře, použil ji pro návrh relé sítí.
Ukázal, že libovolnou formuli Booleovy algebry lze implementovat ve formě
kombinačního (tranzistorového) obvodu.
Za války v Bellových laboratořích pracoval na vývoji přístrojů protiletecké palby.
V r. 48 napsal „A mathematical theory of communication“
je třeba abstrahovat od významu informace, informace odstraňuje neurčitost.
Poprvé použil termín bit – binary digit.
V 45 letech zanechal aktivní vědecké činnosti.
8. Shannonova definice informace
Zavedeme tyto termíny:
• abeceda ... množina všech symbolů
• zpráva ... jakákoliv posloupnost symbolů
Pak počet možných zpráv .. N délky .. n
nad abecedou s celkovým počtem symbolů ..s je
A: {0,1} tedy s=2
n = 1 N=2, I=1 ... přenos informace o velikosti 1 bitu
n = 2 N=4, I=2 ... přenos informace o velikosti 2 bity
n = 8 N=256, I=8 ... přenos informace o velikosti 8 bitů = 1 byte
(všechny zprávy mají stejnou pravděpodobnost)
n
sN NI 2log [ bit ]