Filozofia Informacji - wprowadzenie, teoria C. E. Shannona
•
0 j'aime•1,836 vues
Filozofia Informacji - wprowadzenie, teoria C. E. Shannona
Recommandé
Contenu connexe
Tendances
Tendances (20)
En vedette
En vedette (13)
Plus de Artur Machlarz
Plus de Artur Machlarz (20)
Filozofia Informacji - wprowadzenie, teoria C. E. Shannona
- 1. Uwagi historyczne o teorii informacji Shannona Matematyczna Teoria Informacji Claude’a E. Shannona Pojęcie entropii w fizyce Podsumowanie Filozofia Informacji, Wykład II - Teoria informacji C. E. Shannona. Artur Machlarz 21 lutego 2016 Artur Machlarz Filozofia Informacji, Wykład II - Teoria informacji C. E. Shannona.
- 2. Uwagi historyczne o teorii informacji Shannona Matematyczna Teoria Informacji Claude’a E. Shannona Pojęcie entropii w fizyce Podsumowanie Plan wykładu 1 Uwagi historyczne o teorii informacji Shannona Ogólna charakterystyka problemu Harry Nyquist Ralph Hartley 2 Matematyczna Teoria Informacji Claude’a E. Shannona Ogólna charakterystyka teorii Shannona Ogólny model przepływu informacji Własności źródła informacji - Entropia 3 Pojęcie entropii w fizyce Drugie prawo termodynamiki i demon Maxwella Entropia w fizyce a entropia Shannona 4 Podsumowanie Artur Machlarz Filozofia Informacji, Wykład II - Teoria informacji C. E. Shannona.
- 3. Uwagi historyczne o teorii informacji Shannona Matematyczna Teoria Informacji Claude’a E. Shannona Pojęcie entropii w fizyce Podsumowanie Ogólna charakterystyka problemu Harry Nyquist Ralph Hartley Uwagi historyczne o teorii informacji Shannona Uwagi historyczne o teorii informacji Shannona Artur Machlarz Filozofia Informacji, Wykład II - Teoria informacji C. E. Shannona.
- 4. Uwagi historyczne o teorii informacji Shannona Matematyczna Teoria Informacji Claude’a E. Shannona Pojęcie entropii w fizyce Podsumowanie Ogólna charakterystyka problemu Harry Nyquist Ralph Hartley Ogólna charakterystyka problemu Najogólniejsza charakterystyka interesującego nas problemu: podać kryterium oceny różnych systemów komunikacyjnych pod względem ich zdolności do przesyłania informacji. Uwaga: nie będzie nas dziś interesowała treść komunikatu. Informacja będzie traktowana jak własność fizyczna. Claude E. Shannon - którego teorią zajmować się będziemy na wykładzie - w pracy A Mathematical Theory of Communication (w: “The Bell System Technical Journal”, Vol. 27, pp. 379–423, 623–656, July, October, 1948.) powołuje się na dokonania Nyquista i Hartleya, jako tych, w których znajdują się spostrzeżenia istotne dla jego teorii. Artur Machlarz Filozofia Informacji, Wykład II - Teoria informacji C. E. Shannona.
- 5. Uwagi historyczne o teorii informacji Shannona Matematyczna Teoria Informacji Claude’a E. Shannona Pojęcie entropii w fizyce Podsumowanie Ogólna charakterystyka problemu Harry Nyquist Ralph Hartley Harry Nyquist - Idealny przekaźnik Nyquist uważa, że dwa czynniki mają podstawowe znaczenie dla efektywnej transmisji sygnału w fizycznie idealnym przekaźniku (tzn. takim, który nie zawiera żadnych fizycznych ograniczeń prędkości): kształt sygnału oraz reprezentujący przekazywaną wiadomość kod (kod idealny to będzie taki, który przy optymalnym kształcie sygnału i braku fizycznych ograniczeń przekaźnika określa prędkość transmisji). Artur Machlarz Filozofia Informacji, Wykład II - Teoria informacji C. E. Shannona.
- 6. Uwagi historyczne o teorii informacji Shannona Matematyczna Teoria Informacji Claude’a E. Shannona Pojęcie entropii w fizyce Podsumowanie Ogólna charakterystyka problemu Harry Nyquist Ralph Hartley Prędkość transmisji Według Nyquista prędkość transmisji przy idealnym kodzie i optymalnym kształcie sygnału jest proporcjonalna do logarytmu ilości znaków, które mogą być użyte do zakodowania wiadomości. Nyquist wprowadza do teorii informacji funkcję logarytmiczną. Artur Machlarz Filozofia Informacji, Wykład II - Teoria informacji C. E. Shannona.
- 7. Uwagi historyczne o teorii informacji Shannona Matematyczna Teoria Informacji Claude’a E. Shannona Pojęcie entropii w fizyce Podsumowanie Ogólna charakterystyka problemu Harry Nyquist Ralph Hartley Dlaczego funkcja logarytmiczna? Uzasadnienie wykorzystania funkcji logarytmicznej w pomiarze wartości informacyjnej (Shannon): 1 Parametry o istotnym technicznym znaczeniu (czas, ilość przekaźników itp.) zmieniają się linearnie razem z logarytmem ilości możliwości. 2 Funkcja logarytmiczna odpowiada “intuicjom” odnośnie właściwej miary informacji. 3 Jest najbardziej poręczna: wiele skończonych operacji daje się w prosty sposób przedstawić przy pomocy logarytmu. Artur Machlarz Filozofia Informacji, Wykład II - Teoria informacji C. E. Shannona.
- 8. Uwagi historyczne o teorii informacji Shannona Matematyczna Teoria Informacji Claude’a E. Shannona Pojęcie entropii w fizyce Podsumowanie Ogólna charakterystyka problemu Harry Nyquist Ralph Hartley Ralph Hartley - Model przekazu informacji System komunikacyjny składa się z trzech elementów: Zbioru fizycznych symboli, Nadawcy wybierającego jeden z elementów tego zbioru, Odbiorcy, który identyfikuje symbol i kieruje swoją uwagę na intencję nadawcy. Efektywność systemu polega na tym, że odbiorca ma szansę na odkrycie, jakiego wyboru dokonał nadawca (a jednocześnie, jakie elementy wyeliminował). Artur Machlarz Filozofia Informacji, Wykład II - Teoria informacji C. E. Shannona.
- 9. Uwagi historyczne o teorii informacji Shannona Matematyczna Teoria Informacji Claude’a E. Shannona Pojęcie entropii w fizyce Podsumowanie Ogólna charakterystyka problemu Harry Nyquist Ralph Hartley Informacja a różnica I zasada: dwa identyczne fizyczne ciągi symboli nie dają żadnych podstaw do zróżnicowania znaczenia. Ciąg symboli A jest identyczny z ciągiem symboli B: a zatem A i B pełniące tą samą funkcję nie mogą być nośnikami odmiennych informacji. Artur Machlarz Filozofia Informacji, Wykład II - Teoria informacji C. E. Shannona.
- 10. Uwagi historyczne o teorii informacji Shannona Matematyczna Teoria Informacji Claude’a E. Shannona Pojęcie entropii w fizyce Podsumowanie Ogólna charakterystyka problemu Harry Nyquist Ralph Hartley Informacja a różnica - przykład Jeśli w katalogu bibliotecznym mielibyśmy do czynienia z kilkoma pozycjami książkowymi oznaczonymi tą samą sygnaturą, to wskazanie wyłacznie sygnatury nie wskazywałoby jednoznacznie pozycji książki - nie byłoby informatywne. Artur Machlarz Filozofia Informacji, Wykład II - Teoria informacji C. E. Shannona.
- 11. Uwagi historyczne o teorii informacji Shannona Matematyczna Teoria Informacji Claude’a E. Shannona Pojęcie entropii w fizyce Podsumowanie Ogólna charakterystyka problemu Harry Nyquist Ralph Hartley Informacja a różnica - kolejny przykład Osoba A w odpowiedzi na pytanie Q odpowiada zawsze: już niedługo. Pewnego dnia odpowiada: jutro. “Niespodzianka” lub “różnica“ po- zwala ocenić nową odpowiedź jako bardziej informatywną niż standardową. Artur Machlarz Filozofia Informacji, Wykład II - Teoria informacji C. E. Shannona.
- 12. Uwagi historyczne o teorii informacji Shannona Matematyczna Teoria Informacji Claude’a E. Shannona Pojęcie entropii w fizyce Podsumowanie Ogólna charakterystyka problemu Harry Nyquist Ralph Hartley Informacja a różnica - kolejny przykład Osoba A w odpowiedzi na pytanie Q odpowiada zawsze: już niedługo. Pewnego dnia odpowiada: jutro. “Niespodzianka” lub “różnica“ po- zwala ocenić nową odpowiedź jako bardziej informatywną niż standardową. Artur Machlarz Filozofia Informacji, Wykład II - Teoria informacji C. E. Shannona.
- 13. Uwagi historyczne o teorii informacji Shannona Matematyczna Teoria Informacji Claude’a E. Shannona Pojęcie entropii w fizyce Podsumowanie Ogólna charakterystyka problemu Harry Nyquist Ralph Hartley Informacja a różnica - wnioski Wnioski Ralpha Hartleya (1928): różnice między fizycznymi ciągami symboli są podstawowym czynnikiem wpływającym na wartość informacyjną ciągu, bierzemy zatem zbiór ciągów symboli a nie pojedyncze symbole, żeby ustalić wartość informacyjną symbolu oraz traktujemy informację jako wskazanie przez fizyczny ciąg symboli na coś innego niż on sam. Artur Machlarz Filozofia Informacji, Wykład II - Teoria informacji C. E. Shannona.
- 14. Uwagi historyczne o teorii informacji Shannona Matematyczna Teoria Informacji Claude’a E. Shannona Pojęcie entropii w fizyce Podsumowanie Ogólna charakterystyka teorii Shannona Ogólny model przepływu informacji Własności źródła informacji - Entropia Matematyczna Teoria Informacji Claude’a E. Shannona Matematyczna Teoria Informacji Claude’a E. Shannona Artur Machlarz Filozofia Informacji, Wykład II - Teoria informacji C. E. Shannona.
- 15. Uwagi historyczne o teorii informacji Shannona Matematyczna Teoria Informacji Claude’a E. Shannona Pojęcie entropii w fizyce Podsumowanie Ogólna charakterystyka teorii Shannona Ogólny model przepływu informacji Własności źródła informacji - Entropia Charakterystyka teorii Shannona Rysunek: Claude E. Shannon - twórca podstaw współczesnej teorii komunikacji i informacji; wprowadził do nauki pojęcie informacji; jego najważniejsza praca (“A Mathematical Theory of Communication.“) powstała w czasie pracy w Bell Laboratories, gdzie zapoznał się z pracami Nyquista i Hartleya. Artykuł ten został wydany w 1948 roku. Shannon jest również znany jako wynalazca, jest m.in. twórcą ”The Ultimate Machine“: http://youtu.be/cZ34RDn34Ws Filmowy krótki przegląd innych dokonań Shannona: http://youtu.be/Tr1sDgIFE40 . Artur Machlarz Filozofia Informacji, Wykład II - Teoria informacji C. E. Shannona.
- 16. Uwagi historyczne o teorii informacji Shannona Matematyczna Teoria Informacji Claude’a E. Shannona Pojęcie entropii w fizyce Podsumowanie Ogólna charakterystyka teorii Shannona Ogólny model przepływu informacji Własności źródła informacji - Entropia Charakterystyka teorii Shannona Deklarowanym celem Shannona było: (...) rozważyć pewne ogólne problemy związane z systemami komunikacyjnymi. Fundamentalnym problemem komunikacji jest problem reprodukcji w jednym miejscu albo dokładnie albo przynajmniej w zbliżony sposób wiadomości wybranej w innym miejscu. (...) Istotnym aspektem jest to, że pewna wiadomość jest jedną wybraną ze zbioru możliwych wiadomości. System musi być zaprojektowany tak, żeby działać dla każdego możliwego wyboru, nie tylko dla tego, który faktycznie został dokonany, choćby dlatego, że ten wybór nie jest znany w momencie projektowania systemu. Artur Machlarz Filozofia Informacji, Wykład II - Teoria informacji C. E. Shannona.
- 17. Uwagi historyczne o teorii informacji Shannona Matematyczna Teoria Informacji Claude’a E. Shannona Pojęcie entropii w fizyce Podsumowanie Ogólna charakterystyka teorii Shannona Ogólny model przepływu informacji Własności źródła informacji - Entropia Semantyka? Komunikat ma zawsze pewną treść - dla Shannona problem treści - znaczenia komunikatu - jest jednak irrelewantny. Dlaczego? Artur Machlarz Filozofia Informacji, Wykład II - Teoria informacji C. E. Shannona.
- 18. Uwagi historyczne o teorii informacji Shannona Matematyczna Teoria Informacji Claude’a E. Shannona Pojęcie entropii w fizyce Podsumowanie Ogólna charakterystyka teorii Shannona Ogólny model przepływu informacji Własności źródła informacji - Entropia Semantyka? Komunikat ma zawsze pewną treść - dla Shannona problem treści - znaczenia komunikatu - jest jednak irrelewantny. Dlaczego? wg Shannona dla inżynieryjnych problemów związanych z projektowaniem efektywnych systemów transmisji informacji ten problem wydaje się nieistotny; Artur Machlarz Filozofia Informacji, Wykład II - Teoria informacji C. E. Shannona.
- 19. Uwagi historyczne o teorii informacji Shannona Matematyczna Teoria Informacji Claude’a E. Shannona Pojęcie entropii w fizyce Podsumowanie Ogólna charakterystyka teorii Shannona Ogólny model przepływu informacji Własności źródła informacji - Entropia Semantyka? Komunikat ma zawsze pewną treść - dla Shannona problem treści - znaczenia komunikatu - jest jednak irrelewantny. Dlaczego? wg Shannona dla inżynieryjnych problemów związanych z projektowaniem efektywnych systemów transmisji informacji ten problem wydaje się nieistotny; w czasach Shannona badania semantyczne uznawane były za nienaukowe również przez całą rzeszę amerykańskich lingwistów (np. Bloomfelda i dystrybucjonistów amerykańskich). Artur Machlarz Filozofia Informacji, Wykład II - Teoria informacji C. E. Shannona.
- 20. Uwagi historyczne o teorii informacji Shannona Matematyczna Teoria Informacji Claude’a E. Shannona Pojęcie entropii w fizyce Podsumowanie Ogólna charakterystyka teorii Shannona Ogólny model przepływu informacji Własności źródła informacji - Entropia Model Shannona Rysunek: Model Shannona Artur Machlarz Filozofia Informacji, Wykład II - Teoria informacji C. E. Shannona.
- 21. Uwagi historyczne o teorii informacji Shannona Matematyczna Teoria Informacji Claude’a E. Shannona Pojęcie entropii w fizyce Podsumowanie Ogólna charakterystyka teorii Shannona Ogólny model przepływu informacji Własności źródła informacji - Entropia Model Shannona W Modelu Shannona mamy następujące elementy: nadawca/źródło informacji, przekaźnik, sygnał nadany, kanał transmisji (tutaj może wystąpić szum), sygnał odebrany, odbiornik, odbiorca. Artur Machlarz Filozofia Informacji, Wykład II - Teoria informacji C. E. Shannona.
- 22. Uwagi historyczne o teorii informacji Shannona Matematyczna Teoria Informacji Claude’a E. Shannona Pojęcie entropii w fizyce Podsumowanie Ogólna charakterystyka teorii Shannona Ogólny model przepływu informacji Własności źródła informacji - Entropia Model Shannona W modelu Shannona przyjmujemy następujące założenia: w źródle informacji i u odbiorcy przyjmujemy ”wiedzę aprioryczną“ - znajomość zbioru zdarzeń, z których mogą być wybrane konkretne wydarzenia (np. ciągi symboli); Artur Machlarz Filozofia Informacji, Wykład II - Teoria informacji C. E. Shannona.
- 23. Uwagi historyczne o teorii informacji Shannona Matematyczna Teoria Informacji Claude’a E. Shannona Pojęcie entropii w fizyce Podsumowanie Ogólna charakterystyka teorii Shannona Ogólny model przepływu informacji Własności źródła informacji - Entropia Model Shannona W modelu Shannona przyjmujemy następujące założenia: w źródle informacji i u odbiorcy przyjmujemy ”wiedzę aprioryczną“ - znajomość zbioru zdarzeń, z których mogą być wybrane konkretne wydarzenia (np. ciągi symboli); informowany i informujący znają rozkład prawdopodobieństwa w tym zbiorze; Artur Machlarz Filozofia Informacji, Wykład II - Teoria informacji C. E. Shannona.
- 24. Uwagi historyczne o teorii informacji Shannona Matematyczna Teoria Informacji Claude’a E. Shannona Pojęcie entropii w fizyce Podsumowanie Ogólna charakterystyka teorii Shannona Ogólny model przepływu informacji Własności źródła informacji - Entropia Model Shannona W modelu Shannona przyjmujemy następujące założenia: w źródle informacji i u odbiorcy przyjmujemy ”wiedzę aprioryczną“ - znajomość zbioru zdarzeń, z których mogą być wybrane konkretne wydarzenia (np. ciągi symboli); informowany i informujący znają rozkład prawdopodobieństwa w tym zbiorze; informowany nie wie przed otrzymaniem sygnału, jaki element zbiory został/zostanie wybrany przez źródło informacji. Otrzymany sygnał redukuje zatem jego niepewność odnośnie tego, jaki element zbioru będzie wybrany. Artur Machlarz Filozofia Informacji, Wykład II - Teoria informacji C. E. Shannona.
- 25. Uwagi historyczne o teorii informacji Shannona Matematyczna Teoria Informacji Claude’a E. Shannona Pojęcie entropii w fizyce Podsumowanie Ogólna charakterystyka teorii Shannona Ogólny model przepływu informacji Własności źródła informacji - Entropia Realizacja modelu - przykład 1 Osoba A mówi do osoby B: ”zrób coś z tym koszmarnym hałasem¡‘. Artur Machlarz Filozofia Informacji, Wykład II - Teoria informacji C. E. Shannona.
- 26. Uwagi historyczne o teorii informacji Shannona Matematyczna Teoria Informacji Claude’a E. Shannona Pojęcie entropii w fizyce Podsumowanie Ogólna charakterystyka teorii Shannona Ogólny model przepływu informacji Własności źródła informacji - Entropia Realizacja modelu - przykład 1 Osoba A mówi do osoby B: ”zrób coś z tym koszmarnym hałasem¡‘. Interpretacja w modelu: osoba A (a raczej jej umysł, kora mózgowa itp.) - źródło informacji organy mowy A wytwarzają falę dźwiękową - przekaźnik fala dźwiękowa - sygnał powietrze - kanał transmisji (niestety hałas, o którego likwidację prosi A, zniekształca w tym miejscu sygnał - pojawia się szum) organy słuchu B - odbiornik osoba B (umysł, kora mózgowa itp.) - odbiorca informacji. Dokładna treść informacji w tym modelu jest nieistotna. Treść komunikatu i reakcja B nie ma znaczenia. Znaczenie ma to, czy szumy zniekształciły sygnał w sposób uniemożliwiający poprawnie zdekodowanie wiadomości, czy też nie. Artur Machlarz Filozofia Informacji, Wykład II - Teoria informacji C. E. Shannona.
- 27. Uwagi historyczne o teorii informacji Shannona Matematyczna Teoria Informacji Claude’a E. Shannona Pojęcie entropii w fizyce Podsumowanie Ogólna charakterystyka teorii Shannona Ogólny model przepływu informacji Własności źródła informacji - Entropia Realizacja modelu - przykład 2 Lampka nad wejściem do gabinetu jest włączona: Artur Machlarz Filozofia Informacji, Wykład II - Teoria informacji C. E. Shannona.
- 28. Uwagi historyczne o teorii informacji Shannona Matematyczna Teoria Informacji Claude’a E. Shannona Pojęcie entropii w fizyce Podsumowanie Ogólna charakterystyka teorii Shannona Ogólny model przepływu informacji Własności źródła informacji - Entropia Realizacja modelu - przykład 2 Lampka nad wejściem do gabinetu jest włączona: Proszę podać interpretację w modelu Shannona; proszę znaleźć inny przykład, który da się zinterpretować w tym modelu. Artur Machlarz Filozofia Informacji, Wykład II - Teoria informacji C. E. Shannona.
- 29. Uwagi historyczne o teorii informacji Shannona Matematyczna Teoria Informacji Claude’a E. Shannona Pojęcie entropii w fizyce Podsumowanie Ogólna charakterystyka teorii Shannona Ogólny model przepływu informacji Własności źródła informacji - Entropia Realizacja modelu - przykład 2 Lampka nad wejściem do gabinetu jest włączona: Proszę podać interpretację w modelu Shannona; proszę znaleźć inny przykład, który da się zinterpretować w tym modelu. Teoria Shannona jest b. abstrakcyjna i ogólna. Obejmuje zarówno alfabet, zbiory biblioteczne, kule w jakiejś puli itp. Artur Machlarz Filozofia Informacji, Wykład II - Teoria informacji C. E. Shannona.
- 30. Uwagi historyczne o teorii informacji Shannona Matematyczna Teoria Informacji Claude’a E. Shannona Pojęcie entropii w fizyce Podsumowanie Ogólna charakterystyka teorii Shannona Ogólny model przepływu informacji Własności źródła informacji - Entropia Szum Uwaga: proszę nie mylić szumu w teorii Shannona z niejasnym pojęciem szumu informacyjnego. Szum jest zawsze zjawiskiem niepożądanym. Oznacza zakłócenia w transmisji sygnału pochodzące ze źródeł zewnętrznych. Szum powoduje np. zakłócenia polegające na zagłuszeniu części sygnału. 1 Przykład szumu: muzyka zakłócająca komunikat ustny. Artur Machlarz Filozofia Informacji, Wykład II - Teoria informacji C. E. Shannona.
- 31. Uwagi historyczne o teorii informacji Shannona Matematyczna Teoria Informacji Claude’a E. Shannona Pojęcie entropii w fizyce Podsumowanie Ogólna charakterystyka teorii Shannona Ogólny model przepływu informacji Własności źródła informacji - Entropia Redundancja (Ekwiwokacja) Redundancja jest nadmiarem informacji względem pożądanej ilości (np. do przesłania komunikatu potrzebnych jest n-ilość bitów, natomiast wysyłany sygnał zawiera n+m-ilość). 1 typowy przykład: zbędne powtórzenia w komunikacie Artur Machlarz Filozofia Informacji, Wykład II - Teoria informacji C. E. Shannona.
- 32. Uwagi historyczne o teorii informacji Shannona Matematyczna Teoria Informacji Claude’a E. Shannona Pojęcie entropii w fizyce Podsumowanie Ogólna charakterystyka teorii Shannona Ogólny model przepływu informacji Własności źródła informacji - Entropia Redundancja (Ekwiwokacja) Redundancja jest nadmiarem informacji względem pożądanej ilości (np. do przesłania komunikatu potrzebnych jest n-ilość bitów, natomiast wysyłany sygnał zawiera n+m-ilość). 1 typowy przykład: zbędne powtórzenia w komunikacie 2 suma kontrolna md5sum w plikach (pozwala skontrolować poprawność np. pobranego obrazu .iso w dużym rozmiarze); metainformacje w dokumentach elektronicznych itp. Artur Machlarz Filozofia Informacji, Wykład II - Teoria informacji C. E. Shannona.
- 33. Uwagi historyczne o teorii informacji Shannona Matematyczna Teoria Informacji Claude’a E. Shannona Pojęcie entropii w fizyce Podsumowanie Ogólna charakterystyka teorii Shannona Ogólny model przepływu informacji Własności źródła informacji - Entropia Redundancja (Ekwiwokacja) Redundancja jest nadmiarem informacji względem pożądanej ilości (np. do przesłania komunikatu potrzebnych jest n-ilość bitów, natomiast wysyłany sygnał zawiera n+m-ilość). 1 typowy przykład: zbędne powtórzenia w komunikacie 2 suma kontrolna md5sum w plikach (pozwala skontrolować poprawność np. pobranego obrazu .iso w dużym rozmiarze); metainformacje w dokumentach elektronicznych itp. 3 zbędne elementy w kodzie strony internetowej wynikające np. z użycia aplikacji typu WYSIWYG (brak widocznego efektu, poza spowolnieniem działania przeglądarki) itp. Artur Machlarz Filozofia Informacji, Wykład II - Teoria informacji C. E. Shannona.
- 34. Uwagi historyczne o teorii informacji Shannona Matematyczna Teoria Informacji Claude’a E. Shannona Pojęcie entropii w fizyce Podsumowanie Ogólna charakterystyka teorii Shannona Ogólny model przepływu informacji Własności źródła informacji - Entropia Entropia - miara informacji Entropia - miara informacji Artur Machlarz Filozofia Informacji, Wykład II - Teoria informacji C. E. Shannona.
- 35. Uwagi historyczne o teorii informacji Shannona Matematyczna Teoria Informacji Claude’a E. Shannona Pojęcie entropii w fizyce Podsumowanie Ogólna charakterystyka teorii Shannona Ogólny model przepływu informacji Własności źródła informacji - Entropia Przydatne pojęcia matematyczne Jakie pojęcia matematyczne będą nam potrzebne? prawdopodobieństwo: P (X) - prawdopodobieństwo zdarzenia X. Jest określone w stosunku do całego zbioru możliwości. Jeśli zbiór A jest 2-elementowy, to - przy równym rozkładzie prawdopodobieństwa - x, y, należące do A, mają prawdopodobieństwo równe 1 2 . P(X|Y ) - prawdopodobieństwo warunkowe zdarzenia X ze względu na Y (prawdopodobieństwo, że wystąpi zjawisko X pod warunkiem wystąpienia Y). Y ogranicza zbiór możliwości: P(X|Y ) = P(X∩Y ) P(Y ) Artur Machlarz Filozofia Informacji, Wykład II - Teoria informacji C. E. Shannona.
- 36. Uwagi historyczne o teorii informacji Shannona Matematyczna Teoria Informacji Claude’a E. Shannona Pojęcie entropii w fizyce Podsumowanie Ogólna charakterystyka teorii Shannona Ogólny model przepływu informacji Własności źródła informacji - Entropia Przydatne pojęcia matematyczne Jakie pojęcia matematyczne będą nam potrzebne? logarytm: logn - funkcja oznaczająca potęgę, do której trzeba podnieść liczbę n, żeby otrzymać określony wynik (np. log28 = 3, ponieważ 2 podniesione do trzeciej potęgi daje 8.) Artur Machlarz Filozofia Informacji, Wykład II - Teoria informacji C. E. Shannona.
- 37. Uwagi historyczne o teorii informacji Shannona Matematyczna Teoria Informacji Claude’a E. Shannona Pojęcie entropii w fizyce Podsumowanie Ogólna charakterystyka teorii Shannona Ogólny model przepływu informacji Własności źródła informacji - Entropia Przydatne pojęcia matematyczne Jakie pojęcia matematyczne będą nam potrzebne? sumowanie: - operacja uogólnionego dodawania składników pewnego szeregu. Jeśli nad tym symbolem pojawia się określona wartość n, oznacza ona, że sumujemy elementy skończonego szeregu. Indeks dolny, oznacza pierwszy element szeregu ( n i=1 ). Artur Machlarz Filozofia Informacji, Wykład II - Teoria informacji C. E. Shannona.
- 38. Uwagi historyczne o teorii informacji Shannona Matematyczna Teoria Informacji Claude’a E. Shannona Pojęcie entropii w fizyce Podsumowanie Ogólna charakterystyka teorii Shannona Ogólny model przepływu informacji Własności źródła informacji - Entropia Ogólne wyrażenie entropii - miara informacji Entropia: H = n i=1 pi log2 1 pi Objaśnienie symboli: H - ilość informacji mierzona w bitach, n i=1 - operacja sumowania n-elementów skończonego zbioru n-elementowego. pi - prawdopodobieństwo i-elementu. Artur Machlarz Filozofia Informacji, Wykład II - Teoria informacji C. E. Shannona.
- 39. Uwagi historyczne o teorii informacji Shannona Matematyczna Teoria Informacji Claude’a E. Shannona Pojęcie entropii w fizyce Podsumowanie Ogólna charakterystyka teorii Shannona Ogólny model przepływu informacji Własności źródła informacji - Entropia Ogólne wyrażenie entropii - przykład Weźmy zbiór 4-elementowy. Rozkład prawdopodobieństw wygląda tak: A = (A1 = 1 2 , A2 = 1 4 , A3 = 1 8 , A4 = 1 8 ) Artur Machlarz Filozofia Informacji, Wykład II - Teoria informacji C. E. Shannona.
- 40. Uwagi historyczne o teorii informacji Shannona Matematyczna Teoria Informacji Claude’a E. Shannona Pojęcie entropii w fizyce Podsumowanie Ogólna charakterystyka teorii Shannona Ogólny model przepływu informacji Własności źródła informacji - Entropia Ogólne wyrażenie entropii - przykład Weźmy zbiór 4-elementowy. Rozkład prawdopodobieństw wygląda tak: A = (A1 = 1 2 , A2 = 1 4 , A3 = 1 8 , A4 = 1 8 ) Wartość entropii: H = 4 i=1 pi log2 1 pi = pA1log2 1 pA1 + ... = 1 2 log2 1 1 2 + 1 4 log2 1 1 4 + 1 8 log2 1 1 8 + 1 8 log2 1 1 8 = 1 2 log22 + 1 4 log24 + 1 8 log28 + 1 8 log28 = 1 2 ∗ 1 + 1 4 ∗ 2 + 1 8 ∗ 3 + 1 8 ∗ 3 = 1 2 + 1 2 + 3 8 + 3 8 = 1, 75 Artur Machlarz Filozofia Informacji, Wykład II - Teoria informacji C. E. Shannona.
- 41. Uwagi historyczne o teorii informacji Shannona Matematyczna Teoria Informacji Claude’a E. Shannona Pojęcie entropii w fizyce Podsumowanie Ogólna charakterystyka teorii Shannona Ogólny model przepływu informacji Własności źródła informacji - Entropia Ogólne wyrażenie entropii - komentarz Komentarz: Entropia nie jest wyrazem zawartości informacyjnej pojedynczego elementu zbioru ani całości zbioru. Entropia wyraża przeciętną informatywność elementów zbioru określoną a priori przez rozkład prawdopodobieństwa w zbiorze możliwości. Entropia może być zinterpretowana jako wartość określająca przeciętną niepewność w danym zbiorze możliwych sygnałów (aczkolwiek bez skojarzeń psychologicznych). W definicji entropii pojawia się funkcja logarytmiczna o podstawie 2, ze względu na warunki techniczne: interesuje nas kod binarny. Artur Machlarz Filozofia Informacji, Wykład II - Teoria informacji C. E. Shannona.
- 42. Uwagi historyczne o teorii informacji Shannona Matematyczna Teoria Informacji Claude’a E. Shannona Pojęcie entropii w fizyce Podsumowanie Ogólna charakterystyka teorii Shannona Ogólny model przepływu informacji Własności źródła informacji - Entropia Ogólne wyrażenie entropii - komentarz Nie chodzi o to, żeby powiedzieć, ile bitów potrzeba było do wysłania jednego z elementów, ale jak maksymalnie oszczędnie skonstruować system zdolny do przesyłania dowolnej informacji z danego zbioru możliwości. Artur Machlarz Filozofia Informacji, Wykład II - Teoria informacji C. E. Shannona.
- 43. Uwagi historyczne o teorii informacji Shannona Matematyczna Teoria Informacji Claude’a E. Shannona Pojęcie entropii w fizyce Podsumowanie Ogólna charakterystyka teorii Shannona Ogólny model przepływu informacji Własności źródła informacji - Entropia Entropia dla zbioru zdarzeń odmiennie prawdopodobnych Pytanie kontrolne - oblicz wartość entropii dla: A = (A1 = 1 16 , A2 = 3 4 , A3 = 1 8 , A4 = 3 16 ) Artur Machlarz Filozofia Informacji, Wykład II - Teoria informacji C. E. Shannona.
- 44. Uwagi historyczne o teorii informacji Shannona Matematyczna Teoria Informacji Claude’a E. Shannona Pojęcie entropii w fizyce Podsumowanie Ogólna charakterystyka teorii Shannona Ogólny model przepływu informacji Własności źródła informacji - Entropia Entropia dla zbioru zdarzeń odmiennie prawdopodobnych Pytanie kontrolne - oblicz wartość entropii dla: A = (A1 = 1 16 , A2 = 3 4 , A3 = 1 8 , A4 = 3 16 ) Dla osób, które nie zapamiętały wzoru: H = n i=1 pi log2 1 pi Artur Machlarz Filozofia Informacji, Wykład II - Teoria informacji C. E. Shannona.
- 45. Uwagi historyczne o teorii informacji Shannona Matematyczna Teoria Informacji Claude’a E. Shannona Pojęcie entropii w fizyce Podsumowanie Ogólna charakterystyka teorii Shannona Ogólny model przepływu informacji Własności źródła informacji - Entropia Entropia dla zbioru zdarzeń równoprawdopodobnych Pytanie kontrolne: oblicz wartość entropii dla: Artur Machlarz Filozofia Informacji, Wykład II - Teoria informacji C. E. Shannona.
- 46. Uwagi historyczne o teorii informacji Shannona Matematyczna Teoria Informacji Claude’a E. Shannona Pojęcie entropii w fizyce Podsumowanie Ogólna charakterystyka teorii Shannona Ogólny model przepływu informacji Własności źródła informacji - Entropia Entropia dla zbioru zdarzeń równoprawdopodobnych Pytanie kontrolne: oblicz wartość entropii dla: A = (A1 = 1 4 , A2 = 1 4 , A3 = 1 4 , A4 = 1 4 ) Artur Machlarz Filozofia Informacji, Wykład II - Teoria informacji C. E. Shannona.
- 47. Uwagi historyczne o teorii informacji Shannona Matematyczna Teoria Informacji Claude’a E. Shannona Pojęcie entropii w fizyce Podsumowanie Ogólna charakterystyka teorii Shannona Ogólny model przepływu informacji Własności źródła informacji - Entropia Entropia dla zbioru zdarzeń równoprawdopodobnych Pytanie kontrolne: oblicz wartość entropii dla: A = (A1 = 1 4 , A2 = 1 4 , A3 = 1 4 , A4 = 1 4 ) Dla osób, które nie zapamiętały wzoru: H = n i=1 pi log2 1 pi Artur Machlarz Filozofia Informacji, Wykład II - Teoria informacji C. E. Shannona.
- 48. Uwagi historyczne o teorii informacji Shannona Matematyczna Teoria Informacji Claude’a E. Shannona Pojęcie entropii w fizyce Podsumowanie Ogólna charakterystyka teorii Shannona Ogólny model przepływu informacji Własności źródła informacji - Entropia Entropia dla zbioru zdarzeń równoprawdopodobnych Pytanie kontrolne - wynik: 2. Artur Machlarz Filozofia Informacji, Wykład II - Teoria informacji C. E. Shannona.
- 49. Uwagi historyczne o teorii informacji Shannona Matematyczna Teoria Informacji Claude’a E. Shannona Pojęcie entropii w fizyce Podsumowanie Ogólna charakterystyka teorii Shannona Ogólny model przepływu informacji Własności źródła informacji - Entropia Entropia dla zbioru zdarzeń równoprawdopodobnych Pytanie kontrolne - wynik: 2. WNIOSEK: entropia będzie osiągała wartość maksymalną dla zbioru zdarzeń równoprawdopodobnych. Jest to własność bardzo intuicyjna: równy rozkład prawdopodobieństw wiąże się z najwyższym stopniem niepewności odnośnie tego, jaki element zbioru zostanie wybrany. Artur Machlarz Filozofia Informacji, Wykład II - Teoria informacji C. E. Shannona.
- 50. Uwagi historyczne o teorii informacji Shannona Matematyczna Teoria Informacji Claude’a E. Shannona Pojęcie entropii w fizyce Podsumowanie Ogólna charakterystyka teorii Shannona Ogólny model przepływu informacji Własności źródła informacji - Entropia Entropia dla zbioru zdarzeń równoprawdopodobnych Obliczenie wartości entropii dla takiego zbioru może być oparte na (bardzo) uproszczonej formule: ilość informacji dla każdego symbolu będzie równa log2(N), gdzie N = ilość symboli w zbiorze. Dla 4 równowartościowych symboli: log2(4) = 2 H = 4 i=1 pi log2 1 pi = pA1log2 1 pA1 + ... = 1 4 log2 1 1 4 + 1 4 log2 1 1 4 + 1 4 log2 1 1 4 + 1 4 log2 1 1 4 = 1 4 log24+ 1 4 log24+ 1 4 log24 + 1 4 log24 = 1 4 ∗ 2 + 1 4 ∗ 2 + 1 4 ∗ 2 + 1 4 ∗ 2 = 1 2 + 1 2 + 1 2 + 1 2 = 2 Artur Machlarz Filozofia Informacji, Wykład II - Teoria informacji C. E. Shannona.
- 51. Uwagi historyczne o teorii informacji Shannona Matematyczna Teoria Informacji Claude’a E. Shannona Pojęcie entropii w fizyce Podsumowanie Ogólna charakterystyka teorii Shannona Ogólny model przepływu informacji Własności źródła informacji - Entropia Entropia Shannona - kolejny przykład Przykład: mamy zawody, w których startuje 16 zawodników. Na podstawie danych z innych zawodów szacujemy prawdopodobieństwo ich zwycięstwa jako nierówne: Z = (p1 = 1 8 , p2 = 1 8 , p3 = 1 8 , pZ 4 = 1 32 , p5 = 1 64 , p6 = 1 64 , p7 = 1 4 , p8 = 1 4 , p9 = 1 128 , p10 = 1 128 , p11 = 1 128 , p12 = 1 128 , p13 = 1 128 , p14 = 1 128 , p15 = 1 128 , p16 = 1 128 ) Artur Machlarz Filozofia Informacji, Wykład II - Teoria informacji C. E. Shannona.
- 52. Uwagi historyczne o teorii informacji Shannona Matematyczna Teoria Informacji Claude’a E. Shannona Pojęcie entropii w fizyce Podsumowanie Ogólna charakterystyka teorii Shannona Ogólny model przepływu informacji Własności źródła informacji - Entropia Entropia Shannona - kolejny przykład Przykład: mamy zawody, w których startuje 16 zawodników. Na podstawie danych z innych zawodów szacujemy prawdopodobieństwo ich zwycięstwa jako nierówne: Z = (p1 = 1 8 , p2 = 1 8 , p3 = 1 8 , pZ 4 = 1 32 , p5 = 1 64 , p6 = 1 64 , p7 = 1 4 , p8 = 1 4 , p9 = 1 128 , p10 = 1 128 , p11 = 1 128 , p12 = 1 128 , p13 = 1 128 , p14 = 1 128 , p15 = 1 128 , p16 = 1 128 ) Proszę o obliczenie entropii Shannona dla tego zbioru oraz obliczenie, ile bitów potrzeba, żeby przesłać wiadomości o konkretnych wynikach. Artur Machlarz Filozofia Informacji, Wykład II - Teoria informacji C. E. Shannona.
- 53. Uwagi historyczne o teorii informacji Shannona Matematyczna Teoria Informacji Claude’a E. Shannona Pojęcie entropii w fizyce Podsumowanie Ogólna charakterystyka teorii Shannona Ogólny model przepływu informacji Własności źródła informacji - Entropia Entropia Shannona - kolejny przykład Wyniki: HZ = 2, 91 Jeśli Zi byłyby równoprawdopodobne: HZ = 4 Artur Machlarz Filozofia Informacji, Wykład II - Teoria informacji C. E. Shannona.
- 54. Uwagi historyczne o teorii informacji Shannona Matematyczna Teoria Informacji Claude’a E. Shannona Pojęcie entropii w fizyce Podsumowanie Ogólna charakterystyka teorii Shannona Ogólny model przepływu informacji Własności źródła informacji - Entropia Entropia Shannona - kodowanie W przypadku zdarzeń równoprawdopodobnych do optymalnego zakodowania zdarzeń w kodzie binarnym potrzebujemy 64 bity. Ile bitów potrzebujemy do optymalnego zakodowania zdarzeń w przypadku wskazanego wcześniej rozkładu prawdopodobieństw? Artur Machlarz Filozofia Informacji, Wykład II - Teoria informacji C. E. Shannona.
- 55. Uwagi historyczne o teorii informacji Shannona Matematyczna Teoria Informacji Claude’a E. Shannona Pojęcie entropii w fizyce Podsumowanie Ogólna charakterystyka teorii Shannona Ogólny model przepływu informacji Własności źródła informacji - Entropia Entropia Shannona - kodowanie W przypadku zdarzeń równoprawdopodobnych do optymalnego zakodowania zdarzeń w kodzie binarnym potrzebujemy 64 bity. Ile bitów potrzebujemy do optymalnego zakodowania zdarzeń w przypadku wskazanego wcześniej rozkładu prawdopodobieństw? W tym przypadku potrzeba 3 bitów na symbol do zakodowania naszego zbioru informacji. Czy do optymalnego zakodowania zdarzeń potrzebujemy zatem 48 bitów? Artur Machlarz Filozofia Informacji, Wykład II - Teoria informacji C. E. Shannona.
- 56. Uwagi historyczne o teorii informacji Shannona Matematyczna Teoria Informacji Claude’a E. Shannona Pojęcie entropii w fizyce Podsumowanie Ogólna charakterystyka teorii Shannona Ogólny model przepływu informacji Własności źródła informacji - Entropia Pozostałe własności entropii Własności entropii: maksymalną wartość uzyskuje dla zbioru wydarzeń równoprawdopodobnych; minimalną wartość uzyskuje dla zbioru, w którym jeden element ma prawdopodobieństwo równe 1 (system nie jest obarczony wtedy żadną niepewnością, a otrzymana wiadomość nie jest dla informowanego żadnym zaskoczeniem - nie niesie niczego nowego). Artur Machlarz Filozofia Informacji, Wykład II - Teoria informacji C. E. Shannona.
- 57. Uwagi historyczne o teorii informacji Shannona Matematyczna Teoria Informacji Claude’a E. Shannona Pojęcie entropii w fizyce Podsumowanie Ogólna charakterystyka teorii Shannona Ogólny model przepływu informacji Własności źródła informacji - Entropia Sens pojęcia entropii Znany wzór na entropię jest wyrazem średniej informatywności dowolnego symbolu ze skończonego zbioru oraz przeciętnej ilości deficytu danych, które informowany posiada przed otrzymaniem komunikatu. Informowany przed otrzymaniem komunikatu nie wie, jaki symbol otrzyma (jeśli wie, to H = 0). Ma pewne oczekiwania, ponieważ wie, z jakiego zbioru będzie dokonywany wybór i zna rozkład prawdopodobieństw w tym zbiorze. Entropia Shannona mówi, jaka jest minimalna ilość bitów przypadająca na symbol potrzebna do zakodowania informacji w kodzie binarnym. Artur Machlarz Filozofia Informacji, Wykład II - Teoria informacji C. E. Shannona.
- 58. Uwagi historyczne o teorii informacji Shannona Matematyczna Teoria Informacji Claude’a E. Shannona Pojęcie entropii w fizyce Podsumowanie Ogólna charakterystyka teorii Shannona Ogólny model przepływu informacji Własności źródła informacji - Entropia Podsumowanie teorii informacji Shannona Teoria informacji Shannona - podsumowanie: Podstawowe pojęcia - elementy modelu, entropia, szum i redundancja. Informacja jest traktowana jako własność fizyczna. Abstrahujemy od wszelkiego rodzaju aspektów psychologicznych i semantycznych. Ograniczamy się jedynie do zbiorów skończonych (tzn. takich, którego elementy możemy policzyć - takie zbiory nazywa się zbiorami dyskretnymi). Artur Machlarz Filozofia Informacji, Wykład II - Teoria informacji C. E. Shannona.
- 59. Uwagi historyczne o teorii informacji Shannona Matematyczna Teoria Informacji Claude’a E. Shannona Pojęcie entropii w fizyce Podsumowanie Drugie prawo termodynamiki i demon Maxwella Entropia w fizyce a entropia Shannona Entropia - fizyka i teoria informacji Entropia - fizyka i teoria informacji Artur Machlarz Filozofia Informacji, Wykład II - Teoria informacji C. E. Shannona.
- 60. Uwagi historyczne o teorii informacji Shannona Matematyczna Teoria Informacji Claude’a E. Shannona Pojęcie entropii w fizyce Podsumowanie Drugie prawo termodynamiki i demon Maxwella Entropia w fizyce a entropia Shannona Sens pojęcia entropii w fizyce Przejście od układu uporządkowanego do nieuporządkowanego jest procesem nieodwracalnym. Rośnie ilość nieuporządkowanych ruchów molekuł a wraz z tym wzrostem spada ilość energii. Artur Machlarz Filozofia Informacji, Wykład II - Teoria informacji C. E. Shannona.
- 61. Uwagi historyczne o teorii informacji Shannona Matematyczna Teoria Informacji Claude’a E. Shannona Pojęcie entropii w fizyce Podsumowanie Drugie prawo termodynamiki i demon Maxwella Entropia w fizyce a entropia Shannona Drugie prawo termodynamiki Zgodnie z drugim prawem termodynamiki wzrost entropii (czyli od porządku do nieuporządkowania) pewnego uniwersum jest równoznaczny ze spadkiem dostępnej energii. Nie jest zaś możliwa zamiana wzrostu entropii na energię. Zgodnie z tym prawem także, jeśli mamy dwa ciała, które nie dopuszczają wymiany ciepła, to nie jest możliwe, żeby - jeśli te ciała mają tą samą temperaturę - powstawały różnice w temperaturze między nimi. Artur Machlarz Filozofia Informacji, Wykład II - Teoria informacji C. E. Shannona.
- 62. Uwagi historyczne o teorii informacji Shannona Matematyczna Teoria Informacji Claude’a E. Shannona Pojęcie entropii w fizyce Podsumowanie Drugie prawo termodynamiki i demon Maxwella Entropia w fizyce a entropia Shannona Demon Maxwella Eksperyment myślowy Maxwella: Co mówi nam ten eksperyment? - że wbrew II zasadzie termodynamiki spadek entropii jest możliwy bez wydatkowania energii (demon jest duchem), więc zasada ta ma co najwyżej charakter statystyczny. Artur Machlarz Filozofia Informacji, Wykład II - Teoria informacji C. E. Shannona.
- 63. Uwagi historyczne o teorii informacji Shannona Matematyczna Teoria Informacji Claude’a E. Shannona Pojęcie entropii w fizyce Podsumowanie Drugie prawo termodynamiki i demon Maxwella Entropia w fizyce a entropia Shannona Demon Maxwella - możliwe rozwiązanie Leo Szilard (rozwiązanie z odniesieniem do fizycznej teorii informacji): demon jest jednym z elementów układu, musi pozyskiwać i przetwarzać informacje o położeniu i prędkości molekuł. Fizyczna realizacja przetwarzania informacji przez demona równoważyłaby spadek entropii w układzie dwóch obiektów. Artur Machlarz Filozofia Informacji, Wykład II - Teoria informacji C. E. Shannona.
- 64. Uwagi historyczne o teorii informacji Shannona Matematyczna Teoria Informacji Claude’a E. Shannona Pojęcie entropii w fizyce Podsumowanie Drugie prawo termodynamiki i demon Maxwella Entropia w fizyce a entropia Shannona Entropia w fizyce a entropia Shannona Pewne własności (matematyczne) są takie same: np. wysoki poziom entropii oznacza niższy poziom energii. W teorii Shannona - wysoka wartość entropii oznacza wyższą aprioryczną wartość niepewności u odbiorcy komunikatu. W obu przypadkach maksymalna wartość entropii oznacza równy rozkład wartości w zbiorze (ciepła lub prawdopodobieństwa). Artur Machlarz Filozofia Informacji, Wykład II - Teoria informacji C. E. Shannona.
- 65. Uwagi historyczne o teorii informacji Shannona Matematyczna Teoria Informacji Claude’a E. Shannona Pojęcie entropii w fizyce Podsumowanie Drugie prawo termodynamiki i demon Maxwella Entropia w fizyce a entropia Shannona Entropia w fizyce a entropia Shannona Pewne własności (matematyczne) są takie same: np. wysoki poziom entropii oznacza niższy poziom energii. W teorii Shannona - wysoka wartość entropii oznacza wyższą aprioryczną wartość niepewności u odbiorcy komunikatu. W obu przypadkach maksymalna wartość entropii oznacza równy rozkład wartości w zbiorze (ciepła lub prawdopodobieństwa). Artur Machlarz Filozofia Informacji, Wykład II - Teoria informacji C. E. Shannona.
- 66. Uwagi historyczne o teorii informacji Shannona Matematyczna Teoria Informacji Claude’a E. Shannona Pojęcie entropii w fizyce Podsumowanie Drugie prawo termodynamiki i demon Maxwella Entropia w fizyce a entropia Shannona Entropia w fizyce a entropia Shannona Dlaczego właściwie Shannon użył pojęcia entropii, zamiast ”informacji“, ”niepewności“ itp.? Moje najgłębsze zatroskanie budziła nazwa. Myślałem o nazwie ”informacja“, ale to słowo jest nadużywane, więc zdecydowałem się na nazwę ”niepewność“. Gdy omawiałem tą sprawę z Johnem von Neumannem, wpadł on na lepszy pomysł. Von Neumann powiedział mi: ”powinieneś to nazwać entropią z dwóch powodów. Po pierwsze, twoja funkcja niepewności jest używana w statystycznej mechanice pod tą nazwą, więc ona ma już nazwę. Po drugie zaś, co zresztą jest ważniejsze, nikt właściwie nie wie, czym tak naprawdę jest entropia, więc zawsze będziesz miał przewagę w dyskusji.“‘ (wypowiedź Shannona, cyt. za Francois Bavaud, Information Theory, Relative Entropy and Statistics, w: Formal Theories of Information Giovanni Sommaruga (Editor), s. 54.) Artur Machlarz Filozofia Informacji, Wykład II - Teoria informacji C. E. Shannona.
- 67. Uwagi historyczne o teorii informacji Shannona Matematyczna Teoria Informacji Claude’a E. Shannona Pojęcie entropii w fizyce Podsumowanie Drugie prawo termodynamiki i demon Maxwella Entropia w fizyce a entropia Shannona Entropia w fizyce a entropia Shannona - Carnap i Bar-Hillel Wg von Neumanna podobieństwo tych pojęć sprawia, że teoria informacji może być wręcz postrzegana jako podstawa termodynamiki. Bar-Hillel zwraca uwagę na fakt, że to podobieństwo jest jedynie formalne - entropia w termodynamice ma charakter empiryczny, natomiast w teorii informacji (semantycznej) jest pojęciem logicznym. Bar-Hillel zwraca też uwagę na fakt, że w termodynamice wartość entropii nie jest wyznaczona w tak precyzyjny sposób jak w teorii informacji. Artur Machlarz Filozofia Informacji, Wykład II - Teoria informacji C. E. Shannona.
- 68. Uwagi historyczne o teorii informacji Shannona Matematyczna Teoria Informacji Claude’a E. Shannona Pojęcie entropii w fizyce Podsumowanie Podsumowanie Podsumowanie Artur Machlarz Filozofia Informacji, Wykład II - Teoria informacji C. E. Shannona.
- 69. Uwagi historyczne o teorii informacji Shannona Matematyczna Teoria Informacji Claude’a E. Shannona Pojęcie entropii w fizyce Podsumowanie Podsumowanie Idee Shannona, które są istotne dla przyszłej filozofii informacji: probabilistyczne ujęcie - a priori określona wartość p dla każdego elementu zbioru, znajomość zbioru zdarzeń i rozkładu prawdopodobieństw przez odbiorcę; wartość informacyjna jest odwrotnie proporcjonalna do prawdopodobieństwa sygnału (intuicja, że im bardziej prawdopodobne zdarzenie, tym mniejszą wartość dla informowanego ma sygnał informujący o tym zdarzeniu); całościowe ujęcie całego zbioru symboli; abstrahowanie od semantyki - problem do rozwiązania. Artur Machlarz Filozofia Informacji, Wykład II - Teoria informacji C. E. Shannona.
- 70. Uwagi historyczne o teorii informacji Shannona Matematyczna Teoria Informacji Claude’a E. Shannona Pojęcie entropii w fizyce Podsumowanie Literatura Duża część tego wykładu oparta jest na: Manuel Bremer, Daniel Cohnitz, Information and Information Flow. An Introduction., Frankfurt 2004, ss. 14-45. Poza tym polecam: C. E. Shannon, “A mathematical theory of communication,” Bell System Technical Journal, vol. 27, pp. 379-423 and 623-656, July and October, 1948. Artur Machlarz Filozofia Informacji, Wykład II - Teoria informacji C. E. Shannona.
- 71. Uwagi historyczne o teorii informacji Shannona Matematyczna Teoria Informacji Claude’a E. Shannona Pojęcie entropii w fizyce Podsumowanie Dziękuję za uwagę i zapraszam do stawiania pytań! Artur Machlarz e-mail: artur.machlarz@uni.opole.pl Artur Machlarz Filozofia Informacji, Wykład II - Teoria informacji C. E. Shannona.