Entropi dalam hidup kita. Entropi adalah maksimum jika - ukuran jumlah maklumat

Prolog 113. Maksud prinsip entropi maksimum

Pengagihan undang-undang kuasa boleh timbul akibat prinsip entropi maksimum - kami melihat ini dalam Prolog 111 dan dalam Prolog 112 kami menerangkan model perlanggaran berganda yang dibina atas dasar ini, yang membangunkan pengedaran undang-undang kuasa pada set objek tertentu .

Walau bagaimanapun, untuk mengaplikasikan model ini dengan secukupnya untuk menerangkan asal usul pengagihan undang-undang kuasa yang diperhatikan dalam pelbagai sistem semula jadi dan manusia, adalah perlu untuk melihat dengan teliti dua asasnya - prinsip entropi maksimum dan kepelbagaian interaksi. Kami akan cuba memikirkan makna "falsafah" mereka. Mari kita mulakan mengikut urutan, dengan prinsip entropi maksimum.

Dua tafsiran prinsip entropi maksimum

Dalam tafsiran ini, prinsip entropi maksimum jelas menggemakan undang-undang kedua termodinamik - undang-undang asas fizik, mengikut mana entropi sistem tertutup boleh sama ada meningkat atau kekal tidak berubah, tetapi tidak berkurangan. Ia mengikuti terus dari ini bahawa jika kita mengambil mana-mana sistem tertutup yang kekal begitu cukup lama, kita akan dapati ia dalam keadaan dengan entropi maksimum.

Walau bagaimanapun, dari segi sejarah, prinsip entropi maksimum mengesan asal-usulnya kepada sumber yang sama sekali berbeza - bukan dari termodinamik, tetapi dari teori kebarangkalian. Dan sumber inilah yang memberikan tafsiran kedua tentang prinsip entropi maksimum, mungkin lebih asas. Ia boleh dirumuskan seperti ini: daripada semua hipotesis tentang bentuk taburan pembolehubah rawak, seseorang harus memilih satu di mana entropi taburan adalah maksimum, dengan mengambil kira sekatan yang dikenakan oleh pengetahuan kita tentang sistem.

Pada permulaan abad ke-18, Jacob Bernoulli, merenungkan asas teori kebarangkalian, merumuskan "Prinsip Penyebab Tidak Mencukupi," yang dianggap sebagai pelopor kepada prinsip entropi maksimum. Mari kita pertimbangkan dua alternatif dan hasil yang saling eksklusif A Dan B. Prinsip Bernoulli menyatakan bahawa jika kita tidak mempunyai maklumat tentang kebarangkalian hasil ini, ia harus dianggap berkemungkinan sama. Iaitu, di bawah syarat-syarat ini kita tidak mempunyai sebab yang mencukupi untuk menetapkan satu daripada hasil kebarangkalian yang lebih tinggi daripada yang lain. Perhatikan bahawa dari sudut pandangan Bernoulli, kebarangkalian mencerminkan pengetahuan kita tentang subjek tersebut. Jika kita tidak mempunyai pengetahuan mengenainya (kecuali dua hasil mungkin), kebarangkalian harus diandaikan sama. Sebarang taburan kebarangkalian lain mesti mempunyai asas, sebab berdasarkan pengetahuan kita tentang undang-undang yang mengawal subjek.

Oleh itu, setiap hasil harus diandaikan berkemungkinan sama melainkan ada sebab untuk membuat pilihan yang berbeza. Jika hasil yang berbeza adalah nilai yang berbeza bagi beberapa kuantiti, kita mesti menganggap taburan kebarangkalian yang seragam. Seperti yang kita ketahui, ia adalah taburan homogen yang mempunyai entropi maksimum. Tetapi Bernoulli tidak bercakap tentang entropi - dia hidup dan bekerja dua abad sebelum konsep ini muncul. Untuk datang dari prinsip sebab yang tidak mencukupi kepada prinsip entropi maksimum, perlu mengambil banyak langkah - dan laluan ini telah selesai hanya pada pertengahan abad ke-20, dan langkah terakhir dikaitkan dengan kerja ahli fizik Amerika. Edwin Jaynes.

Daripada prinsip sebab tidak mencukupi kepada prinsip entropi maksimum

Walau bagaimanapun, kami, berbekalkan konsep moden, boleh melalui laluan ini dengan lebih pantas, secara langsung. Ia kelihatan sangat mudah - tetapi hanya dari ketinggian pengetahuan semasa kita. Namun, Bernoullilah yang boleh menjadi penemu kedua-dua prinsip entropi maksimum dan kalkulus entropi/maklumat itu sendiri. Dia boleh, jika dia percaya lebih sedikit dalam keupayaan deskriptif nombor - dan dia pasti mempercayainya, kerana bukan tanpa alasan dia menjadi salah seorang pengasas teori kebarangkalian.

Jadi, apabila kita mempunyai dua hasil alternatif A dan B, dan tiada apa-apa lagi yang diketahui, prinsip alasan yang tidak mencukupi memerlukan kita untuk menganggap bahawa mereka berkemungkinan sama: p A=p B=1/2. Inilah cara kami memperkenalkan sekurang-kurangnya sebarang berat sebelah ke dalam andaian kami tentang kemungkinan hasil. Mari kita anggap bahawa terdapat beberapa fungsi kebarangkalian ini H(p A ,p B), yang ternyata maksimum jika p A=p B=1/2 (atau kita boleh menerima bahawa dalam keadaan ini ia adalah, sebaliknya, minimum - ini tidak penting). Mari kita nyatakan minimum ini sebagai H(1/2,1/2). Bolehkah kita mengatakan apa-apa lagi tentang fungsi ini berdasarkan pertimbangan umum?

Agak, dan Jacob Bernoulli adalah mahir dalam perkara sedemikian. Pertama, ambil perhatian bahawa jika kita hanya mempunyai satu kemungkinan hasil A, ia secara automatik mempunyai kebarangkalian satu. Ini bermakna tiada pengetahuan tambahan yang boleh kami bawa yang boleh mempengaruhi penilaian kami tentang kebarangkalian hasilnya. Iaitu, kita mempunyai pengetahuan yang lengkap tentang hasilnya. Dalam kes ini, adalah munasabah untuk menjangkakan bahawa fungsi kami, mencerminkan jumlah pengetahuan yang kami bawa ke dalam penilaian hasil, mengambil nilai minimum, katakan, sifar: H(1) = 0.

Selanjutnya, kami perhatikan bahawa apabila situasi dua alternatif yang sama kemungkinan diselesaikan dalam satu cara atau yang lain, kami mendapati diri kami berada dalam situasi dengan satu kemungkinan hasil - yang dipilih secara kebetulan. Apa yang berlaku pada masa ini dengan fungsi H? Ia berkurangan daripada nilai H(1/2,1/2) kepada nilai H(1)= 0. Perbezaan ini: H(1/2,1/2)-H(1) = H(1/2,1/2) adalah munasabah untuk mengira jumlah pengetahuan yang telah kita perolehi mengenai dua hasil yang berkemungkinan sama apabila alternatif itu diselesaikan. Atau, dengan kata lain, jumlah tidak tahu atau tidak pasti dalam situasi awal dengan dua kemungkinan hasil yang sama. Dalam bahasa moden kuantiti ini dipanggil entropi.

Beritahu kami sekarang bahawa terdapat empat hasil A, B, C, D dan tidak lebih. Prinsip alasan yang tidak mencukupi memerlukan kita juga memberikannya kebarangkalian yang sama p A=p B=pC=p D=1/4. Tetapi apakah nilai fungsi itu? H(p A,p B,p C,p D) dalam kes ini? Logik asas membawa kepada kesimpulan bahawa nilainya hendaklah dua kali lebih besar daripada untuk kes dua kemungkinan hasil yang sama mungkin: 2* H(1/2,1/2). Sememangnya, biarkan keputusan A, B di satu pihak dan C, D di pihak yang lain adalah sangat serupa. Jika kita tidak begitu prihatin atau tidak begitu berjaga-jaga, kita mungkin tidak membezakan antara satu sama lain. Kemudian kita kembali kepada kes dengan dua hasil dan ketidakpastian keadaan adalah sama dengan H(1/2,1/2). Tetapi kami melihat dengan teliti dan melihat bahawa sebenarnya, di mana kami melihat satu keputusan, sebenarnya terdapat dua yang rapat. Kami sekali lagi berhadapan dengan tugas untuk memilih pengagihan kebarangkalian yang paling "adil" di antara mereka, dan ia sekali lagi akan menjadi pengagihan seragam. Dan ditambah kepada ketidakpastian H(1/2,1/2). Jadi untuk situasi dengan empat alternatif yang sama kemungkinannya H(1/4,1/4,1/4,1/4) = 2*H(1/2,1/2). Meneruskan secara induktif, kami akan menetapkan bahawa untuk situasi dengan lapan hasil, jumlah ketidakpastian ialah 3* H(1/2,1/2), dan lain-lain.

Saya percaya pembaca memahami bahawa terbitan kami bagi sifat fungsi H bertepatan dengan logik yang membawa kepada persamaan maklumat/entropi Hartley. Jika kita menyatakan bilangan hasil yang berkemungkinan sama seperti N, entropi Hartley adalah sama dengan

Kami telah diperkenalkan kepada laluan mudah yang membawa daripada formula Hartley kepada formula Shannon - Jacob Bernoulli pasti akan menemuinya dengan mudah. Dan jika Bernoulli mempunyai formula ini, dia boleh mengukur tahap ketidakpastian taburan kebarangkalian tertentu dan menetapkan prinsip yang mengikutnya kita harus menetapkan kebarangkalian kepada hasil supaya entropi taburan adalah maksimum semua yang dibenarkan - ini adalah prinsip entropi maksimum.

Walau bagaimanapun, sejarah tidak mengetahui mood subjungtif, dan sains mempunyai rentak santainya sendiri.

Sebagai kesimpulan, perlu diperhatikan bahawa langkah utama adalah yang pertama, di mana kita menganggap kewujudan beberapa fungsi H, mencapai maksimum untuk hasil yang berkemungkinan sama. Semua yang lain bergolek seperti bola. Ini adalah pengesahan lanjut tentang faedah prinsip yang melampau, apabila kita menganggap beberapa keadaan normal atau betul sistem sebagai keadaan di mana beberapa fungsi keadaannya mencapai nilai yang melampau.

Intrik utama prinsip entropi maksimum ialah ia mempunyai dua tafsiran (berpunca daripada dua sumber yang berbeza), yang walaupun pada pandangan pertama adalah berbeza secara radikal dalam makna. Dalam tafsiran, yang mengesan sejarahnya kembali kepada prinsip Bernoulli, kita bercakap tentang peraturan untuk mengatur penerangan kita tentang dunia. Kita mesti menggambarkan dunia sedemikian rupa untuk tidak mengenakan prasangka kita ke atasnya, yang dinyatakan dalam memberikan kebarangkalian yang tidak wajar kepada pelbagai peristiwa. Setiap kali kita harus memilih penerangan yang tidak mengandungi apa-apa selain daripada apa yang kita tahu pasti. Ini ialah peraturan heuristik yang membolehkan anda mengelakkan herotan dalam perihalan realiti.

Tafsiran fizikal, dengan bantuan yang mana kita, khususnya, boleh memperoleh pengagihan tenaga molekul-molekul gas ideal, mengatakan sesuatu yang berbeza. Ia menetapkan peraturan yang tidak mengawal penerangan kita tentang realiti, tetapi realiti itu sendiri.. Jika sistem fizikal dikawal oleh beberapa undang-undang dan tidak ada yang lain, maka taburan parameter di dalamnya 1) akan sepadan dengan undang-undang ini dan 2) akan mempunyai entropi maksimum antara taburan yang dibenarkan. Kenyataan ini bukan tentang bagaimana kita boleh menggambarkan dunia dengan lebih baik, tetapi tentang dunia itu sendiri.

Apabila Manifesto Saintis Kognitif mengatakan bahawa struktur dunia sepadan dengan struktur kesedaran kita, kita bercakap tentang "kebetulan" yang menakjubkan ini dengan tepat: pilihan terbaik dalam membina penerangan kita tentang dunia juga merupakan pilihan terbaik alam itu sendiri.

Untuk ini boleh dibantah bahawa prinsip Bernoulli membolehkan kita memperoleh penerangan yang lebih munasabah tentang realiti, dan hanya atas sebab ini ia boleh dianggap benar. Walau bagaimanapun, Bernoulli tidak memperolehnya secara empirik sama sekali, tanpa membandingkannya dengan realiti. Dia mengemukakannya berdasarkan keperluan logik, berdasarkan sifat-sifat akal itu sendiri dan pembinaan abstraknya. (Lebih-lebih lagi, dia menyedari masalah besar dengan nilai praktikal prinsipnya dalam bentuk asalnya - hanya dalam keadaan yang sangat jarang berlaku dalam fenomena semula jadi seseorang boleh melihat hasil dengan kebarangkalian yang sama.) Tetapi ternyata dunia tertakluk kepada logik yang sama, dan seolah-olah membawa fikiran yang sama, sama seperti kita sendiri.

Kita boleh lebih menghargai dualiti prinsip entropi maksimum yang mengejutkan ini dengan membezakannya dengan satu prinsip berkaitan ideologi yang mempunyai nasib malang kerana dirumus dengan begitu baik. Kami akan cuba membetulkan perkara ini.

Pisau cukur Occam dan prinsip kerumitan minimum

Saudara terdekat dari prinsip alasan tidak mencukupi ialah pisau cukur terkenal Occam. Ini ialah peraturan yang menjemput kami, antara penerangan alternatif dunia, untuk memilih yang paling mudah, yang mengandungi bilangan minimum entiti dan parameter. Merumuskan semula heuristik ini, perkaitan kedua-dua prinsip mudah untuk dilihat: di antara semua penerangan alternatif, seseorang harus memilih yang mengandungi minimum kerumitan struktur atau algoritma. Intinya ialah anda harus memilih model atau penerangan yang mempunyai algoritma paling mudah. "Kerumitan algoritma" bukan kiasan, ia adalah kuantiti boleh diukur yang mempunyai hubungan langsung dengan entropi/maklumat. Ia juga dipanggil entropi algoritma atau Kerumitan Kolmogorov dinamakan sempena ahli matematik Rusia A. N. Kolmogorov, yang memperkenalkan kuantiti ini ke dalam kegunaan saintifik. Kerumitan Kolmogorov bagi rentetan aksara tertentu diukur sebagai panjang program atau algoritma yang diperlukan untuk menghasilkan semula rentetan tersebut. Lebih kompleks rentetan aksara disusun, lebih lama program yang diperlukan untuk menghasilkan semula. Sudah tentu, panjang program bergantung pada bahasa pengaturcaraan, bagaimanapun, faktor ini boleh diabaikan, dengan mengandaikan bahawa kita menulis program dalam beberapa bahasa yang ideal, paling menjimatkan dan ringkas.

Biarkan, sebagai contoh, tatatanda berikut dalam bahasa ideal ini bermaksud mengambil rentetan "AB" dan mengulanginya 10 kali:

Kita boleh mengatakan bahawa kerumitan algoritmik baris ini adalah sama dengan 5 aksara - ini betul-betul panjang program terpendek yang menjana baris ini.

Contoh lain: rentetan 20 aksara yang diberikan mempunyai kerumitan algoritma sebanyak 12 aksara, kerana itu ialah panjang program yang menjananya:

Marilah kita memberi perhatian kepada satu perkara penting: ini tidak sistematik rentetan aksara dalam erti kata bahawa kita tidak melihat sistem di dalamnya yang membolehkan kita memendekkan algoritma. Tetapi itu tidak bermakna ia rawak urutan watak. Jika kita perlu membiak dengan tepat rawak urutan, kita harus menggunakan program lain:

Ini adalah paradoks: rentetan rawak sepenuhnya nampaknya mempunyai kerumitan yang sama seperti rentetan tersusun sepenuhnya. Tetapi sebenarnya, ia bukan rentetan homogen atau rentetan rawak yang mempunyai kerumitan tertinggi, tetapi rentetan yang tidak sistematik, yang tidak sama sekali rawak, tetapi, sebaliknya, sangat teratur. Ini mudah difahami: bayangkan bahawa kita secara rawak mencucuk jari kita ke dalam buku yang terbuka dan Sentiasa kita berakhir dengan perkataan yang sama. Jelas sekali bahawa keadaan ini pada asasnya berbeza daripada keadaan apabila kita secara tidak sengaja berakhir dengan perkataan yang berbeza. Kita akan melihat kepentingan nuansa ini sedikit lebih jauh.

Perhatikan bahawa walaupun hubungan yang kelihatan sangat jauh antara kerumitan menurut Kolmogorov dan entropi menurut Shannon dan Hartley, sebenarnya adalah mungkin untuk menunjukkan hubungan yang mendalam mereka - tetapi kita tidak akan pergi ke topik ini di sini.

Jadi, kita boleh melihat beberapa model atau penerangan sebagai algoritma yang menghasilkan semula set sifat yang diperlukan ("rentetan" yang diperlukan). Kemudian pisau cukur Occam memerlukan memilih perihalan yang mempunyai entropi algoritma yang minimum.

Kisah sejarah yang boleh menjadi contoh situasi di mana prinsip ini berguna ialah konfrontasi antara sistem Ptolemy dan Copernicus. Sistem Ptolemaic adalah model alam semesta berdasarkan kepercayaan agama yang naif bahawa Bumi harus berada di tengah alam semesta:

Badan-badan syurga, termasuk Matahari, beredar mengelilingi Bumi dalam orbit. Walau bagaimanapun, walaupun ketepatan ideologi reka bentuk ini, ia mempunyai beberapa kelemahan: dalam rangka kerjanya adalah mustahil untuk menjelaskan fenomena perubahan arah pergerakan planet merentasi bilik kebal syurga. Katakan Musytari bergerak secara progresif berbanding bintang dalam tempoh beberapa minggu. Tetapi kemudian ia membuat gelung dan bergerak ke arah yang bertentangan untuk beberapa waktu. Kemudian kembali ke pergerakan "betul". Untuk menjelaskan fenomena ini, Ptolemy memperkenalkan apa yang dipanggil epicycles ke dalam sistemnya - dia mengandaikan bahawa selain berputar mengelilingi Bumi, setiap luminary juga berputar dalam orbit kecil di sekitar pusat tertentu, yang seterusnya berputar mengelilingi Bumi dalam orbit bulat. . Kemudian detik-detik apabila Musytari bergerak ke belakang sepanjang epicyclenya, kita melihat perubahan dalam arah pergerakannya merentasi langit.

Copernicus mencadangkan sistem lain: di dalamnya Matahari berada di tengah (pembaca mungkin telah banyak mendengar). Sistem Copernican dapat menerangkan gelung Musytari dan peneraju lain tanpa memperkenalkan epicycles; gerakan bulat mudah planet sudah cukup untuk kita dari Bumi untuk kadang-kadang melihat gelung dalam pergerakan planet. Walaupun tanpa melihat ketepatan ramalan pergerakan planet merentasi langit, sistem Copernican jelas mempunyai kerumitan algoritma yang kurang, dan pada masa yang sama dapat "menghasilkan semula garis yang betul." Oleh itu, jika kita berpandukan prinsip Occam, kita harus memilih sistem Copernican.

Tetapi adakah pisau cukur Occam mempunyai analognya dalam sifat realiti itu sendiri, begitu juga dengan prinsip sebab yang tidak mencukupi? Penulis yakin dengan jawapan yang positif. Cuba kita rumuskan, kita sebut prinsip kerumitan struktur yang minimum: sistem yang berpotensi mempunyai struktur yang berbeza mempunyai struktur yang mempunyai kerumitan minimum menurut Kolmogorov, dengan mengambil kira keperluan luaran untuk sifat sistem ini.

Di sinilah perbezaan antara rentetan rawak dan rentetan yang sangat biasa ternyata menjadi penting. Dengan mendokumentasikan kedudukan dan kelajuan molekul dalam kapal dengan gas, setiap kali kami akan menerima satu set nombor yang hampir dengan rawak - "rentetan rawak". Tetapi jika kita mendapat keputusan yang sama setiap kali, ini akan menunjukkan bahawa sistem berada dalam keadaan yang sangat kompleks dari segi struktur.

Mari kita ambil perhatian bahawa terdapat contoh yang sangat penting bagi kita tentang struktur yang mempunyai kerumitan algoritma yang rendah: fraktal berkembang sebagai hasil pengulangan transformasi penjanaan yang sama digunakan pada tahap skala yang berbeza. Secara algoritma, ini adalah struktur mudah. Mungkin prinsip kerumitan struktur minimum boleh menjelaskan kelaziman struktur fraktal yang begitu menyeluruh dalam pelbagai fenomena dunia.

Walau bagaimanapun, ini masih hanya idea yang tidak jelas.

Seterusnya, kita melihat bagaimana prinsip entropi maksimum berkaitan dengan undang-undang kedua termodinamik. Tetapi mungkin prinsip kerumitan struktur minimum memberitahu kita akibat lain dari prinsip kedua. Ia boleh dirumuskan seperti ini: jika pada titik permulaan masa struktur sistem bukanlah yang paling kompleks, ia berkembang ke arah penurunan kerumitan, mencapai tahap minimum yang mungkin.

Jika tafsiran undang-undang kedua termodinamik ini betul, timbul persoalan yang ditujukan kepada tafsiran biasa: jika entropi dunia sebagai sistem hanya meningkat, mengapa alam semesta belum mencapai keadaan entropi maksimum (dan struktur minimum? kerumitan), yang dipanggil "kematian terma"? Sains tidak dapat menjawab soalan ini. Mungkin - materialis cenderung kepada jawapan ini - dia belum mempunyai masa lagi. Atau mungkin alam semesta kita bukan sistem tertutup, tetapi sistem terbuka dan dari suatu tempat ia menerima sumber yang membolehkannya mengatasi undang-undang kedua termodinamik. Pendapat ini dikongsi oleh golongan idealis, antaranya penulis mengira dirinya sendiri. Kita masih belum mempunyai pengetahuan yang cukup untuk menamatkan dilema ini.

Marilah kita menyimpulkan Prolog ini dengan "berkongsi kulit beruang yang tidak dibunuh" dan mengagumi fakta bahawa pisau cukur Occam bukan sahaja mampu memotong semua perkara yang tidak perlu dari pembinaan mental kita, tetapi juga memotong semua perkara yang tidak perlu dari struktur dunia. , supaya ia muncul di hadapan kita dalam penampilan yang paling ringkas dan paling elegan dari semua yang mungkin. Bagaimanakah seseorang tidak dapat mengingati Leibniz, yang percaya bahawa kita hidup dalam dunia yang terbaik?

Siaran ini ialah terjemahan percuma jawapan yang Mark Eichenlaub berikan kepada soalan Apakah cara intuitif untuk memahami entropi? ditanya di laman web Quora

Entropi. Ini mungkin salah satu konsep yang paling sukar untuk difahami yang boleh anda hadapi dalam kursus fizik, sekurang-kurangnya apabila ia datang kepada fizik klasik. Beberapa graduan fizik boleh menerangkan apa itu. Kebanyakan masalah dengan memahami entropi, bagaimanapun, boleh diselesaikan dengan memahami satu perkara. Entropi secara kualitatif berbeza daripada kuantiti termodinamik yang lain: seperti tekanan, isipadu atau tenaga dalaman, kerana ia bukan sifat sistem, tetapi bagaimana kita menganggap sistem ini. Malangnya, dalam kursus termodinamik ia biasanya dilayan secara sama rata dengan fungsi termodinamik lain, yang memburukkan lagi salah faham.

Jadi apa itu entropi?

Secara ringkasnya, kemudian

Entropi ialah berapa banyak maklumat yang anda tidak tahu tentang sistem

Sebagai contoh, jika anda bertanya kepada saya di mana saya tinggal, dan saya menjawab: di Rusia, maka entropi saya untuk anda akan tinggi, selepas semua, Rusia adalah negara yang besar. Jika saya memberitahu anda poskod saya: 603081, maka entropi saya untuk anda akan berkurangan kerana anda akan menerima lebih banyak maklumat.

Poskod mengandungi enam digit, bermakna saya telah memberi anda enam aksara maklumat. Entropi pengetahuan anda tentang saya telah berkurangan kira-kira 6 aksara. (Sebenarnya, tidak juga, kerana beberapa indeks sepadan dengan lebih banyak alamat dan beberapa lagi lebih sedikit, tetapi kami akan mengabaikannya).

Atau pertimbangkan contoh lain. Biarkan saya mempunyai sepuluh dadu (bermuka enam), dan dengan membuangnya, saya memberitahu anda bahawa jumlahnya ialah 30. Hanya mengetahui ini, anda tidak boleh menyatakan nombor tertentu pada setiap dadu - anda kekurangan maklumat. Dalam fizik statistik, nombor khusus pada dadu ini dipanggil keadaan mikro, dan jumlah keseluruhan (30 dalam kes kami) dipanggil keadaan makro. Terdapat 2,930,455 keadaan mikro yang sepadan dengan jumlah 30. Jadi entropi keadaan makro ini adalah kira-kira 6.5 aksara (separuh muncul kerana fakta bahawa apabila menomborkan keadaan mikro mengikut urutan dalam digit ketujuh, tidak semua nombor tersedia untuk anda, tetapi hanya 0, 1 dan 2).

Bagaimana jika saya memberitahu anda bahawa jumlahnya ialah 59? Terdapat hanya 10 keadaan mikro yang mungkin untuk keadaan makro ini, jadi entropinya hanyalah satu simbol. Seperti yang anda lihat, keadaan makro yang berbeza mempunyai entropi yang berbeza.

Biar saya sekarang memberitahu anda bahawa jumlah lima dadu pertama ialah 13, dan jumlah lima yang tinggal ialah 17, jadi jumlahnya sekali lagi 30. Walau bagaimanapun, dalam kes ini anda mempunyai lebih banyak maklumat, jadi entropi sistem harus jatuh cinta kepada awak. Dan, sememangnya, 13 pada lima dadu boleh diperolehi dalam 420 cara yang berbeza, dan 17 dalam 780, iaitu, jumlah bilangan keadaan mikro hanya akan menjadi 420x780 = 327,600. Entropi sistem sedemikian adalah lebih kurang satu simbol kurang daripada dalam contoh pertama.

Kami mengukur entropi sebagai bilangan simbol yang diperlukan untuk menulis bilangan keadaan mikro. Secara matematik, kuantiti ini ditakrifkan sebagai logaritma, jadi menandakan entropi dengan simbol S, dan bilangan keadaan mikro dengan simbol Ω, kita boleh menulis:

Ini tidak lebih daripada formula Boltzmann (sehingga faktor k, yang bergantung pada unit ukuran yang dipilih) untuk entropi. Jika keadaan makro sepadan dengan satu keadaan mikro, entropinya mengikut formula ini adalah sama dengan sifar. Jika anda mempunyai dua sistem, maka jumlah entropi adalah sama dengan jumlah entropi setiap sistem tersebut, kerana log(AB) = log A + log B.

Daripada huraian di atas menjadi jelas mengapa seseorang tidak sepatutnya memikirkan entropi sebagai sifat intrinsik sistem. Sistem ini mempunyai tenaga dalaman tertentu, momentum, caj, tetapi ia tidak mempunyai entropi tertentu: entropi sepuluh dadu bergantung kepada sama ada anda hanya mengetahui jumlah keseluruhannya, atau juga jumlah sebahagian daripada lima dadu.

Dalam erti kata lain, entropi ialah bagaimana kita menggambarkan sistem. Dan ini menjadikannya sangat berbeza daripada kuantiti lain yang menjadi kebiasaan untuk bekerja dalam fizik.

Contoh fizikal: gas di bawah omboh

Sistem klasik yang dipertimbangkan dalam fizik ialah gas yang terletak di dalam kapal di bawah omboh. Keadaan mikro gas ialah kedudukan dan momentum (halaju) setiap molekulnya. Ini bersamaan dengan mengetahui nilai setiap mati dalam contoh yang dibincangkan sebelum ini. Keadaan makro gas diterangkan oleh kuantiti seperti tekanan, ketumpatan, isipadu, dan komposisi kimia. Ia seperti jumlah nombor yang dibaling pada dadu.

Kuantiti yang menerangkan keadaan makro boleh dikaitkan antara satu sama lain melalui apa yang dipanggil "persamaan keadaan". Kehadiran sambungan inilah yang membolehkan kita, tanpa mengetahui keadaan mikro, meramalkan apa yang akan berlaku kepada sistem kita jika kita mula memanaskannya atau menggerakkan omboh. Untuk gas ideal, persamaan keadaan mempunyai bentuk mudah:

Walaupun anda mungkin lebih biasa dengan persamaan Clapeyron-Mendeleev pV = νRT - ia adalah persamaan yang sama, hanya dengan beberapa pemalar ditambah untuk mengelirukan anda. Lebih banyak keadaan mikro yang sepadan dengan keadaan makro tertentu, iaitu, lebih banyak zarah yang menjadi sebahagian daripada sistem kita, lebih baik persamaan keadaan menerangkannya. Bagi gas, nilai ciri bilangan zarah adalah sama dengan nombor Avogadro, iaitu kira-kira 10 23.

Nilai seperti tekanan, suhu dan ketumpatan dipanggil purata, kerana ia adalah manifestasi purata bagi keadaan mikro yang sentiasa berubah sepadan dengan keadaan makro tertentu (atau, sebaliknya, keadaan makro yang dekat dengannya). Untuk mengetahui keadaan mikro dalam sistem itu, kita memerlukan banyak maklumat - kita perlu mengetahui kedudukan dan kelajuan setiap zarah. Jumlah maklumat ini dipanggil entropi.

Bagaimanakah entropi berubah dengan perubahan dalam keadaan makro? Ia mudah difahami. Sebagai contoh, jika kita memanaskan sedikit gas, maka kelajuan zarahnya akan meningkat, oleh itu, tahap kejahilan kita tentang kelajuan ini akan meningkat, iaitu, entropi akan meningkat. Atau, jika kita meningkatkan isipadu gas dengan menarik balik omboh, ketidaktahuan kita tentang kedudukan zarah akan meningkat, dan entropi juga akan meningkat.

Pepejal dan tenaga keupayaan

Jika kita menganggap, bukannya gas, beberapa badan pepejal, terutamanya dengan struktur yang teratur, seperti dalam kristal, sebagai contoh, sekeping logam, maka entropinya akan menjadi kecil. kenapa? Kerana mengetahui kedudukan satu atom dalam struktur sedemikian, anda tahu kedudukan semua yang lain (mereka berbaris dalam struktur kristal yang betul), tetapi kelajuan atom adalah kecil, kerana mereka tidak boleh terbang jauh dari kedudukan mereka dan hanya berayun sedikit di sekeliling kedudukan keseimbangan.

Jika sekeping logam berada dalam medan graviti (contohnya, dinaikkan di atas permukaan Bumi), maka tenaga potensi setiap atom dalam logam adalah lebih kurang sama dengan tenaga keupayaan atom lain, dan entropi yang dikaitkan dengan tenaga ini rendah. Ini membezakan tenaga berpotensi daripada tenaga kinetik, yang untuk pergerakan haba boleh berbeza-beza dari satu atom ke atom.

Jika sekeping logam, dinaikkan ke ketinggian tertentu, dilepaskan, maka tenaga potensinya akan berubah menjadi tenaga kinetik, tetapi entropi secara praktikal tidak akan meningkat, kerana semua atom akan bergerak lebih kurang sama. Tetapi apabila kepingan itu mencecah tanah, atom logam akan diberi arah pergerakan rawak semasa hentaman, dan entropi akan meningkat secara mendadak. Tenaga kinetik gerakan terarah akan bertukar menjadi tenaga kinetik gerakan terma. Sebelum kesannya, kami tahu kira-kira bagaimana setiap atom bergerak, tetapi kini kami telah kehilangan maklumat ini.

Memahami hukum kedua termodinamik

Undang-undang kedua termodinamik menyatakan bahawa entropi (sistem tertutup) tidak pernah berkurangan. Kita kini boleh memahami sebabnya: kerana adalah mustahil untuk mendapatkan maklumat lanjut mengenai keadaan mikro secara tiba-tiba. Sebaik sahaja anda telah kehilangan beberapa maklumat keadaan mikro (seperti apabila sekeping logam mencecah tanah), anda tidak boleh mendapatkannya kembali.

Mari kita kembali kepada dadu. Ingat bahawa keadaan makro dengan jumlah 59 mempunyai entropi yang sangat rendah, tetapi ia tidak begitu mudah untuk diperolehi. Jika anda membaling dadu berulang kali, jumlah (macrostate) yang sepadan dengan bilangan mikrostat yang lebih besar akan muncul, iaitu, makrostat dengan entropi tinggi akan direalisasikan. Jumlah 35 mempunyai entropi tertinggi, dan jumlah inilah yang akan muncul lebih kerap daripada yang lain. Inilah yang dikatakan undang-undang kedua termodinamik. Sebarang interaksi rawak (tidak terkawal) membawa kepada peningkatan entropi, sekurang-kurangnya sehingga ia mencapai maksimum.

Pencampuran gas

Dan satu lagi contoh untuk mengukuhkan apa yang telah diperkatakan. Mari kita mempunyai bekas yang mengandungi dua gas yang dipisahkan oleh partition yang terletak di tengah-tengah bekas. Mari kita panggil molekul satu gas biru dan satu lagi merah.

Jika anda membuka partition, gas akan mula bercampur, kerana bilangan keadaan mikro di mana gas bercampur jauh lebih besar daripada keadaan mikro di mana ia diasingkan, dan semua keadaan mikro secara semula jadi berkemungkinan sama. Apabila kami membuka partition, untuk setiap molekul kami kehilangan maklumat mengenai bahagian partition yang sekarang terletak. Sekiranya terdapat N molekul, maka N bit maklumat telah hilang (bit dan simbol, dalam konteks ini, sebenarnya, adalah perkara yang sama, dan hanya berbeza dengan faktor tetap tertentu).

Berurusan dengan syaitan Maxwell

Dan akhirnya, mari kita pertimbangkan penyelesaian dalam rangka kerja paradigma kita kepada paradoks terkenal syaitan Maxwell. Izinkan saya mengingatkan anda bahawa ia adalah seperti berikut. Marilah kita mempunyai gas bercampur molekul biru dan merah. Mari letakkan partition kembali, membuat lubang kecil di dalamnya, di mana kita akan meletakkan syaitan khayalan. Tugasnya ialah menghantar hanya yang merah dari kiri ke kanan, dan hanya yang biru dari kanan ke kiri. Jelas sekali, selepas beberapa lama gas akan dipisahkan semula: semua molekul biru akan berada di sebelah kiri partition, dan semua molekul merah akan berada di sebelah kanan.

Ternyata syaitan kita menurunkan entropi sistem. Tiada apa-apa yang berlaku kepada syaitan, iaitu, entropinya tidak berubah, dan sistem kami telah ditutup. Ternyata kita telah menemui contoh apabila undang-undang kedua termodinamik tidak berpuas hati! Bagaimanakah ini boleh berlaku?

Penyelesaian kepada paradoks ini, bagaimanapun, adalah sangat mudah. Lagipun, entropi adalah harta bukan sistem, tetapi pengetahuan kita tentang sistem ini. Anda dan saya tahu sedikit tentang sistem, itulah sebabnya kami nampaknya entropinya semakin berkurangan. Tetapi syaitan kita tahu banyak tentang sistem - untuk memisahkan molekul, dia mesti tahu kedudukan dan kelajuan setiap daripada mereka (sekurang-kurangnya apabila mendekatinya). Sekiranya dia mengetahui segala-galanya tentang molekul, maka dari sudut pandangannya, entropi sistem itu, sebenarnya, sama dengan sifar - dia tidak mempunyai maklumat yang hilang mengenainya. Dalam kes ini, entropi sistem adalah sama dengan sifar dan kekal sama dengan sifar, dan undang-undang kedua termodinamik tidak dilanggar di mana-mana sahaja.

Tetapi walaupun syaitan tidak mengetahui semua maklumat tentang keadaan mikro sistem, dia, sekurang-kurangnya, perlu mengetahui warna molekul yang menghampirinya untuk memahami sama ada untuk membiarkannya atau tidak. Dan jika jumlah molekul ialah N, maka syaitan sepatutnya mempunyai N bit maklumat tentang sistem - tetapi itulah jumlah maklumat yang kita hilang apabila kita membuka partition. Iaitu, jumlah maklumat yang hilang betul-betul sama dengan jumlah maklumat yang perlu diperolehi tentang sistem untuk mengembalikannya ke keadaan asalnya - dan ini kedengaran agak logik, dan sekali lagi tidak bercanggah dengan undang-undang kedua termodinamik. .

Untuk sumber dengan mesej bergantung, entropi juga dikira sebagai jangkaan matematik bagi jumlah maklumat bagi setiap elemen mesej ini. Jumlah maklumat dan entropi adalah ukuran logaritma dan diukur dalam unit yang sama.

6. Entropi gabungan sumber maklumat bebas statistik adalah sama dengan jumlah entropi mereka. 7. Entropi mencirikan ketidakpastian purata memilih satu keadaan daripada ensembel, mengabaikan sepenuhnya bahagian substantif ensembel. ENTROPI EKOSISTEM ialah ukuran gangguan ekosistem, atau jumlah tenaga yang tidak tersedia untuk digunakan. Semakin tinggi indeks entropi, semakin kurang stabil ekosistem dalam masa dan ruang.

4.1.2. Entropi dan prestasi sumber mesej diskret

Mana-mana mesej ini menerangkan keadaan beberapa sistem fizikal. Kita melihat bahawa tahap ketidakpastian sistem fizikal ditentukan bukan sahaja oleh bilangan keadaan yang mungkin, tetapi juga oleh kebarangkalian keadaan. Sebagai ukuran ketidakpastian apriori sistem (atau pembolehubah rawak tak selanjar), teori maklumat menggunakan ciri khas yang dipanggil entropi.

Entropi, seperti yang akan kita lihat kemudian, mempunyai beberapa sifat yang membenarkan pilihannya sebagai ciri tahap ketidakpastian. Akhirnya, dan ini adalah perkara yang paling penting, ia mempunyai sifat aditiviti, iaitu, apabila beberapa sistem bebas digabungkan menjadi satu, entropi mereka bertambah. Jika nombor 10 dipilih sebagai asas, maka kita bercakap tentang "unit perpuluhan" entropi, jika 2 - mengenai "unit binari".

Mari kita buktikan bahawa entropi sistem dengan set keadaan terhingga mencapai maksimum apabila semua keadaan berkemungkinan sama. Contoh 3. Tentukan entropi maksimum yang mungkin bagi sistem yang terdiri daripada tiga unsur, setiap satunya boleh berada dalam empat keadaan yang mungkin.

Perlu diingatkan bahawa nilai entropi yang diperoleh dalam kes ini akan menjadi kurang daripada untuk sumber mesej bebas. Ini berikutan fakta bahawa dengan adanya pergantungan mesej, ketidakpastian pilihan berkurangan dan, dengan itu, entropi berkurangan. Mari kita tentukan entropi sumber binari. Graf pergantungan (4.4) dibentangkan dalam Rajah. 4.1. Seperti berikut daripada graf, entropi sumber binari berbeza dari sifar hingga satu.

Sifat asas entropi

Ia biasanya diperhatikan bahawa entropi mencirikan taburan kebarangkalian yang diberikan dari segi tahap ketidakpastian dalam hasil ujian, iaitu, ketidakpastian dalam pilihan mesej tertentu. Sesungguhnya, adalah mudah untuk mengesahkan bahawa entropi adalah sifar jika dan hanya jika satu daripada kebarangkalian adalah sama dengan satu dan semua yang lain adalah sama dengan sifar; ini bermakna kepastian pilihan yang lengkap.

Satu lagi tafsiran visual tentang konsep entropi adalah mungkin sebagai ukuran "kepelbagaian" mesej yang dicipta oleh sumber. Adalah mudah untuk melihat bahawa sifat entropi di atas agak konsisten dengan idea intuitif tentang ukuran kepelbagaian. Ia juga wajar untuk menganggap bahawa lebih pelbagai kemungkinan untuk memilih elemen ini, lebih besar jumlah maklumat yang terkandung dalam elemen mesej.

Ungkapan yang mewakili jangkaan matematik jumlah maklumat dalam elemen yang dipilih untuk sumber yang terletak dalam keadaan ke-i boleh dipanggil entropi keadaan ini. Entropi sumber bagi setiap elemen mesej yang ditakrifkan di atas bergantung pada cara mesej dibahagikan kepada elemen, iaitu, pada pilihan abjad. Walau bagaimanapun, entropi mempunyai sifat tambahan yang penting.

Mari kita perhatikan beberapa sifat entropi. Entropi. Ini mungkin salah satu konsep yang paling sukar untuk difahami yang boleh anda hadapi dalam kursus fizik, sekurang-kurangnya apabila ia datang kepada fizik klasik.

Entropi pengetahuan anda tentang saya telah berkurangan kira-kira 6 aksara. Bagaimana jika saya memberitahu anda bahawa jumlahnya ialah 59? Terdapat hanya 10 keadaan mikro yang mungkin untuk keadaan makro ini, jadi entropinya hanyalah satu simbol. Seperti yang anda lihat, keadaan makro yang berbeza mempunyai entropi yang berbeza. Kami mengukur entropi sebagai bilangan simbol yang diperlukan untuk menulis bilangan keadaan mikro.

Dalam erti kata lain, entropi ialah bagaimana kita menggambarkan sistem. Sebagai contoh, jika kita memanaskan sedikit gas, maka kelajuan zarahnya akan meningkat, oleh itu, tahap kejahilan kita tentang kelajuan ini akan meningkat, iaitu, entropi akan meningkat. Atau, jika kita meningkatkan isipadu gas dengan menarik balik omboh, ketidaktahuan kita tentang kedudukan zarah akan meningkat, dan entropi juga akan meningkat.

Di satu pihak, ini memperluaskan kemungkinan menggunakan entropi dalam analisis pelbagai jenis fenomena, tetapi, sebaliknya, ia memerlukan penilaian tambahan tertentu tentang situasi baru muncul. Ini yang pertama. Kedua, Alam Semesta bukanlah objek terhingga biasa yang mempunyai sempadan, ia adalah infiniti itu sendiri dalam masa dan ruang.

KERJA MAKSIMUM - dalam termodinamik 1) kerja yang dilakukan oleh bahan penebat haba. Sebarang mesej yang kami berurusan dalam teori maklumat adalah koleksi maklumat tentang beberapa sistem fizikal. Jelas sekali, jika keadaan sistem fizikal diketahui lebih awal, tidak ada gunanya menghantar mesej.

Jelas sekali, maklumat yang diperoleh tentang sistem akan, secara amnya, menjadi lebih berharga dan bermakna, semakin besar ketidakpastian sistem sebelum menerima maklumat ini (“a priori”). Untuk menjawab soalan ini, mari kita bandingkan dua sistem, yang masing-masing mempunyai beberapa ketidakpastian.

Walau bagaimanapun, secara umum ini tidak berlaku. Pertimbangkan, sebagai contoh, peranti teknikal yang boleh berada dalam dua keadaan: 1) beroperasi dan 2) rosak. Kami menekankan bahawa untuk menerangkan tahap ketidakpastian sistem, adalah tidak penting sama sekali nilai mana yang ditulis di baris atas jadual; Hanya bilangan nilai ini dan kebarangkaliannya adalah penting. Konsep entropi adalah asas dalam teori maklumat.

Jumlah maklumat ini dipanggil entropi. Mari kita anggap bahawa sesetengah mesej termasuk unsur abjad, unsur, dsb. Kuantiti itu dipanggil entropi sumber mesej. 3. Entropi adalah maksimum jika semua keadaan elemen mesej adalah sama berkemungkinan. Dalam teori maklumat, terbukti bahawa sentiasa, iaitu, kehadiran sambungan kebarangkalian mengurangkan entropi sumber mesej.

Teori maklumat

Pada asal-usul teori maklumat adalah Claude Shannon, yang pada 1947-48 bekerja pada isu kecekapan sistem komunikasi. Akibatnya, matlamat teori ini dirumuskan - untuk meningkatkan kapasiti saluran komunikasi. Sistem yang berkesan ialah sistem yang, syarat dan kos lain adalah sama, menghantar lebih banyak maklumat. Biasanya, analisis mempertimbangkan objek: sumber maklumat dan saluran untuk menghantar maklumat.

Jadi, ada beberapa acara. Maklumat tentang mereka dalam bentuk simbolik, dalam bentuk isyarat, dihantar melalui saluran komunikasi. Boleh dikatakan saluran adalah baik jika memenuhi dua syarat. Pertama, maklumat dihantar melaluinya pada kelajuan tinggi dan kedua, gangguan yang menjejaskan penghantaran mengurangkan sedikit kualiti maklumat. Untuk mencari syarat untuk pemindahan sedemikian, adalah perlu untuk memasukkan beberapa ciri maklumat.

Prinsip asas teori maklumat paling jelas ditunjukkan dengan sumber diskret dan saluran yang sama. Oleh itu, kami akan memulakan perkenalan kami dengan topik dengan andaian ini.

1.1 Ukuran maklumat kuantitatif.

Mula-mula, mari kita fikirkan perkara yang masuk akal untuk dihantar melalui saluran.

Jika penerima mengetahui maklumat yang akan dihantar, maka jelas tidak perlu untuk menghantarnya. Adalah masuk akal untuk menyampaikan hanya perkara yang tidak dijangka. Lebih besar kejutan, lebih banyak maklumat harus terkandung dalam acara ini. Sebagai contoh, anda bekerja di komputer. Mesej bahawa kerja hari ini mesti diselesaikan dalam masa 45 minit. mengikut jadual tidak mungkin baru kepada anda. Ini benar-benar jelas walaupun sebelum pengumuman tamat kerja. Oleh itu, mesej sedemikian mengandungi maklumat sifar; tiada gunanya meneruskannya. Dan kini satu lagi contoh. Mesejnya adalah seperti berikut: dalam satu jam, bos anda akan memberikan anda tiket kapal terbang ke Moscow dan kembali, dan juga akan memperuntukkan sejumlah wang untuk hiburan. Maklumat jenis ini tidak dijangka untuk anda dan, oleh itu, mengandungi sejumlah besar unit ukuran. Ini adalah jenis mesej yang masuk akal untuk disampaikan melalui saluran. Kesimpulannya sangat mudah: lebih banyak kejutan dalam mesej, lebih banyak maklumat yang terkandung di dalamnya.

Kejutan dicirikan oleh kebarangkalian, yang termasuk dalam ukuran maklumat.

Beberapa contoh lagi. Kami mempunyai dua kotak, satu dengan bola putih dan satu lagi dengan bola hitam. Berapa banyak maklumat yang terkandung dalam mesej di mana bola putih berada? Kebarangkalian bahawa mana-mana kotak yang diberikan mengandungi bola putih ialah 0.5. Mari kita panggil kebarangkalian ini kepada pengalaman atau a priori .

Sekarang kita keluarkan satu bola. Tidak kira bola mana yang kami keluarkan, selepas percubaan sedemikian, kami akan benar-benar tahu di dalam kotak mana bola putih itu berada. Oleh itu, kebarangkalian maklumat akan sama dengan 1. Kebarangkalian ini dipanggil selepas eksperimen atau posterior .

Mari kita lihat contoh ini dari sudut jumlah maklumat.Jadi, kita mempunyai sumber maklumat - kotak dengan bola. Pada mulanya, ketidakpastian tentang bola dicirikan oleh kebarangkalian 0.5. Kemudian sumber itu "bercakap" dan memberikan maklumat; kami mengeluarkan bola. Selanjutnya, segala-galanya menjadi ditentukan dengan kebarangkalian 1. Adalah logik untuk mengambil tahap pengurangan ketidakpastian tentang sesuatu peristiwa akibat pengalaman sebagai ukuran kuantitatif maklumat. Dalam contoh kami ia akan menjadi 1/0.5.

Sekarang contoh lebih kompleks. Adalah diketahui bahawa saiz bahagian boleh 120,121,122, . . .,180 mm., iaitu, ia mempunyai salah satu daripada 61 nilai. Kebarangkalian terdahulu bahawa saiz bahagian i mm ialah 1/61.

Kami mempunyai alat pengukur yang sangat tidak sempurna yang membolehkan kami mengukur bahagian dengan ketepatan +5.-5 mm. Hasil daripada pengukuran, saiznya ialah 130 mm. Tetapi sebenarnya ia boleh menjadi 125,126, . . .,135 mm; hanya 11 nilai. Hasil daripada eksperimen, ketidakpastian kekal, yang dicirikan oleh kebarangkalian posterior 1/11. Tahap pengurangan ketidakpastian ialah (1/11):(1/61). Seperti di atas, nisbah ini ialah jumlah maklumat.

Fungsi logaritma adalah paling mudah untuk mencerminkan jumlah maklumat. Asas logaritma diambil sebagai dua. Mari kita nyatakan jumlah maklumat
- kebarangkalian priori,
- kebarangkalian posterior. Kemudian,

. (1)

Dalam contoh pertama
1 bit maklumat; dalam yang kedua
2.46 bit maklumat. Bit – satu unit maklumat binari .

Sekarang mari kita beralih kepada sumber maklumat sebenar, iaitu satu set peristiwa bebas (mesej) dengan kebarangkalian a priori yang berbeza
. Set ini mewakili data tentang parameter objek dan terdapat maklumat mengenainya. Biasanya, selepas sumber mengeluarkan mesej, ia menjadi diketahui dengan pasti parameter mana yang dikeluarkan. Kebarangkalian posterior ialah 1. Jumlah maklumat yang terkandung dalam setiap acara akan sama dengan

. (2)

Nilai ini sentiasa lebih besar daripada sifar. Begitu banyak peristiwa, begitu banyak maklumat. Ini tidak sepenuhnya sesuai untuk mencirikan sumber. Oleh itu, konsep entropi diperkenalkan. Entropi ialah jumlah purata maklumat bagi setiap peristiwa (mesej) sumber . Ia didapati mengikut peraturan untuk menentukan jangkaan matematik:

. (3)

Atau diberi sifat-sifat fungsi logaritma

. (4)

Bit/mesej dimensi entropi. Mari kita fikirkan tentang sifat-sifat entropi. Mari kita mulakan dengan contoh. Katakan terdapat sumber maklumat binari dengan kebarangkalian priori kejadian Dan membentuk kumpulan yang lengkap. Daripada ini berikut hubungan antara mereka:
. Mari cari entropi sumber:

Tidak sukar untuk melihat bahawa jika salah satu kebarangkalian adalah sama dengan sifar, maka yang kedua adalah sama dengan 1, dan ungkapan entropi akan memberikan sifar.

Mari kita plot pergantungan entropi pada
(Rajah 1).

Mari kita ambil perhatian bahawa entropi adalah maksimum pada kebarangkalian sama dengan 0.5 dan sentiasa positif.

Sifat pertama entropi . Entropi adalah maksimum untuk kejadian yang sama kemungkinan dalam sumber. Dalam contoh sumber binari kami, nilai ini ialah 1. Jika sumbernya bukan binari dan mengandungi N perkataan, kemudian entropi maksimum.

Sifat kedua entropi. Jika kebarangkalian satu mesej sumber ialah 1, dan yang lain adalah sifar, kerana membentuk kumpulan lengkap peristiwa, maka entropi adalah sifar. Sumber sedemikian tidak menjana maklumat.

Sifat ketiga entropi ialah teorem penambahan entropi . Mari kita lihat soalan ini dengan lebih terperinci. Katakan terdapat dua sumber maklumat yang diwakili oleh set mesej Dan .

Setiap sumber mempunyai entropi
Dan
. Seterusnya, sumber-sumber ini digabungkan, dan ia diperlukan untuk mencari entropi ensembel gabungan
. Setiap pasangan mesej Dan sepadan dengan kebarangkalian
. Jumlah maklumat dalam pasangan sedemikian adalah

Meneruskan dengan cara yang terkenal, kami mendapati jumlah purata maklumat bagi setiap pasangan mesej ensemble. Ini akan menjadi entropi. Benar, boleh ada dua kes di sini. Kumpulan gabungan boleh bebas dan bergantung secara statistik.

Pertimbangkan kes pertama ensemble bebas, rupa mesej sama sekali tidak ditakrifkan . Mari kita tuliskan ungkapan untuk entropi:

, (7)

Di sini
- bilangan mesej dalam ensemble.

Oleh kerana dengan kebebasan kebarangkalian dua dimensi , a, daripada formula am sebelumnya yang kita perolehi

di mana
Dan
ditentukan oleh formula yang diketahui.

Seterusnya kita akan mempertimbangkan kes yang lebih kompleks. Mari kita anggap bahawa ensembel mesej adalah dalam hubungan statistik, iaitu dengan beberapa kebarangkalian mencadangkan penampilan . Fakta ini dicirikan oleh kebarangkalian bersyarat
; Garis miring dalam notasi mencirikan keadaan. Dengan memperkenalkan kebarangkalian bersyarat, kebarangkalian dua dimensi boleh ditakrifkan melalui hasil darab satu dimensi:

Dengan mengambil kira perkara ini, mari kita cari ungkapan untuk entropi. Penukaran berlaku seperti ini:

Memandangkan jumlah semua kebarangkalian peristiwa adalah sama dengan 1, jumlah dua kali ganda pertama dalam ungkapan terakhir memberikan entropi sumber X, H(x).

Jumlah berganda kedua dipanggil entropi bersyarat dan dilambangkan sebagai
. Oleh itu,

Dengan cara yang sama dapat dibuktikan bahawa .

Dalam ungkapan terakhir kami menemui entropi bersyarat, yang ditentukan oleh sambungan antara gabungan gabungan mesej. Jika ensembel adalah bebas dari segi statistik
, dan entropi bersyarat
. Hasilnya, kami mendapat formula yang terkenal.

Jika mesej benar-benar bergantung, iaitu, ia berada dalam sambungan berfungsi,
mengambil satu daripada dua nilai: sama ada 1, apabila
, atau 0 apabila
. Entropi bersyarat akan sama dengan 0, kerana ensemble kedua mesej tidak mempunyai kejutan, dan oleh itu tidak membawa maklumat.

Selepas memperkenalkan entropi dan sifatnya, mari kembali kepada satu-satunya sumber maklumat. Anda harus tahu bahawa mana-mana sumber maklumat berfungsi dalam masa semasa. Simbol (tanda)nya menduduki tempat tertentu dalam urutan. Sumber maklumat dipanggil pegun jika kebarangkalian sesuatu simbol tidak bergantung pada tempatnya dalam jujukan. Dan satu lagi definisi. Simbol sumber boleh mempunyai hubungan statistik (kebarangkalian) antara satu sama lain. Sumber maklumat ergodik ialah satu di mana hubungan statistik antara tanda-tanda meluas kepada bilangan terhingga simbol sebelumnya. Jika sambungan ini merangkumi hanya dua tanda bersebelahan, maka sumber sedemikian dipanggil rantai Markov yang disambungkan secara ringkas. Inilah sumber yang akan kita pertimbangkan sekarang. Skim penjanaan simbol oleh sumber ditunjukkan dalam Rajah. 2.

Penampilan Simbol bergantung pada watak apa telah diberikan oleh sumber pada saat sebelumnya. Pergantungan ini ditentukan oleh kebarangkalian
. Mari cari entropi sumber sedemikian. Kami akan meneruskan dari pemahaman umum entropi sebagai jangkaan matematik jumlah maklumat. Katakan dua aksara dipaparkan seperti yang ditunjukkan dalam Rajah. 2. Jumlah maklumat dalam situasi sedemikian diberikan oleh sumber

Dengan purata jumlah ini ke atas semua simbol seterusnya yang mungkin, kami memperoleh entropi separa, dengan syarat bahawa yang sebelumnya sentiasa diberi simbol :

. (13)

Sekali lagi, dengan purata entropi separa ini ke atas semua simbol sebelumnya, kami mendapat hasil akhir:

Indeks 2 dalam penetapan entropi menunjukkan bahawa hubungan statistik meluas hanya kepada dua simbol bersebelahan.

Marilah kita memikirkan sifat-sifat entropi sumber ergodik.

Apabila simbol dalam sumber adalah bebas
, formula (14) dipermudahkan dan dikurangkan kepada bentuk biasa (4).

Kehadiran sambungan statistik (kebarangkalian) antara simbol sumber sentiasa membawa kepada penurunan entropi,
.

Jadi, sumber maklumat mempunyai entropi maksimum jika dua syarat dipenuhi: semua simbol sumber berkemungkinan sama (sifat entropi) dan tiada hubungan statistik antara simbol sumber.

Untuk menunjukkan seberapa baik simbol sumber digunakan, parameter redundansi diperkenalkan :

. (15)

Magnitud berada dalam julat dari 0 hingga 1.

Sikap terhadap parameter ini adalah dua kali ganda. Di satu pihak, semakin kurang redundansi, semakin cekap sumber itu beroperasi. Sebaliknya, semakin besar redundansi, semakin kurang gangguan dan bunyi yang menjejaskan penyampaian maklumat daripada sumber tersebut kepada pengguna. Sebagai contoh, kehadiran hubungan statistik antara simbol meningkatkan redundansi, tetapi pada masa yang sama meningkatkan kesetiaan penghantaran. Watak individu yang hilang boleh diramal dan dipulihkan.

Mari kita lihat satu contoh. Sumbernya adalah huruf abjad Rusia, terdapat 32 daripadanya secara keseluruhan. Mari kita tentukan entropi maksimum:
bit/mesej.

Oleh kerana terdapat hubungan statistik antara huruf dan kebarangkalian penampilannya dalam teks adalah jauh dari identik, entropi sebenar adalah sama dengan 3 bit/mesej. Oleh itu redundansi
.

Ciri sumber seterusnya ialah prestasi; ia mencirikan kelajuan penjanaan maklumat oleh sumber. Mari kita anggap bahawa setiap surat sumber dikeluarkan dalam tempoh masa tertentu . Dengan purata masa ini, kami mendapati purata masa untuk mengeluarkan satu mesej . Jumlah purata maklumat yang dihasilkan oleh sumber per unit masa - produktiviti sumber
:

. (16)

Jadi, mari kita ringkaskan. Ciri-ciri sumber maklumat yang ergodik adalah seperti berikut:

jumlah maklumat dalam setiap tanda,

entropi,

redundansi,

prestasi.

Perlu diingatkan bahawa kekuatan ukuran yang diperkenalkan jumlah maklumat dan, tentu saja, semua ciri adalah kesejagatannya. Semua konsep yang diperkenalkan di atas boleh digunakan untuk sebarang jenis maklumat: sosiologi, teknikal, dll. Sisi lemah ukuran ialah ia tidak menggambarkan kepentingan maklumat, nilainya. Maklumat tentang memenangi pen dan loteri kereta adalah sama penting.

1.2. Ciri-ciri maklumat saluran

Ingatlah bahawa maklumat dihantar melalui saluran komunikasi. Kami sebelum ini memperkenalkan ciri maklumat sumber maklumat, dan kini kami akan memperkenalkan ciri maklumat saluran. Mari kita bayangkan keadaan seperti yang ditunjukkan dalam Rajah. 1.

nasi. 1

Pada input saluran terdapat abjad input yang terdiri daripada banyak aksara , dan pada output - .

P
Mari kita wakili saluran komunikasi dengan model matematik. Perwakilan saluran diskret yang paling terkenal adalah dalam bentuk graf. Nod graf yang diperolehi oleh ( ) dan dihantar ( ) huruf abjad; tepi mencerminkan kemungkinan sambungan antara huruf ini (Rajah 2).

Hubungan antara huruf abjad biasanya dinilai dengan kebarangkalian bersyarat, contohnya,
kebarangkalian penerimaan dengan syarat ia dipindahkan . Ini ialah kebarangkalian penerimaan yang betul. Dengan cara yang sama, seseorang boleh memperkenalkan kebarangkalian bersyarat bagi teknik yang salah, contohnya,
. Sebab-sebab kemunculan kebarangkalian bukan sifar ini adalah gangguan, yang mana tidak ada saluran sebenar yang bebas. Sila ambil perhatian bahawa n dan m, bilangan aksara (huruf) dalam tatasusunan yang dihantar dan diterima tidak semestinya sama. Berdasarkan model ini, definisi lanjut diperkenalkan.

Saluran simetri – ini ialah saluran di mana semua kebarangkalian penerimaan yang betul untuk semua simbol adalah sama, dan juga kebarangkalian penerimaan yang salah adalah sama. Untuk saluran sedemikian, kebarangkalian bersyarat boleh ditulis seperti berikut:

Di sini – kebarangkalian penerimaan yang salah. Jika kebarangkalian ini tidak bergantung pada aksara yang dihantar sebelum simbol tertentu, saluran sedemikian dipanggil " saluran tanpa ingatan “Sebagai contoh, Rajah 3 di bawah menunjukkan graf saluran binari simetri tanpa ingatan.

R
ialah. 3

Mari kita anggap lagi bahawa abjad pada output saluran mengandungi simbol tambahan, yang muncul apabila penyahkod penerima tidak dapat mengenali simbol yang dihantar. Dalam kes ini, dia mengembangkan keengganan untuk membuat keputusan. Kedudukan ini dipanggil pemadaman. Saluran ini dipanggil saluran tanpa ingatan dengan pemadaman dan grafnya ditunjukkan dalam Rajah. 4. Kedudukan "memadam" ditunjukkan di sini dengan tanda soal.

R
ialah. 4.

Saluran paling mudah dengan memori ialah saluran Markov . Di dalamnya, kebarangkalian ralat bergantung kepada sama ada simbol sebelumnya diterima dengan betul atau tersilap.

Bersama-sama dengan graf untuk saluran komunikasi, terdapat huraian lain - matriks saluran . Ini adalah satu set kebarangkalian bersyarat
atau
. Bersama-sama dengan kebarangkalian priori,
Dan
ini memberikan gambaran lengkap tentang statistik saluran bising. Sebagai contoh, mari kita lihat matriks saluran