Entropi. Prinsip entropi maksimum

Teori maklumat

Pada asal-usul teori maklumat adalah Claude Shannon, yang pada 1947-48 bekerja pada isu kecekapan sistem komunikasi. Akibatnya, matlamat teori ini dirumuskan - untuk meningkatkan kapasiti saluran komunikasi. Sistem yang berkesan ialah sistem yang, syarat dan kos lain adalah sama, menghantar lebih banyak maklumat. Biasanya, analisis mempertimbangkan objek: sumber maklumat dan saluran untuk menghantar maklumat.

Jadi, ada beberapa acara. Maklumat tentang mereka dalam bentuk simbolik, dalam bentuk isyarat, dihantar melalui saluran komunikasi. Boleh dikatakan saluran adalah baik jika memenuhi dua syarat. Pertama, maklumat dihantar melaluinya pada kelajuan tinggi dan kedua, gangguan yang menjejaskan penghantaran mengurangkan sedikit kualiti maklumat. Untuk mencari syarat untuk pemindahan sedemikian, adalah perlu untuk memasukkan beberapa ciri maklumat.

Prinsip asas teori maklumat paling jelas ditunjukkan dengan sumber diskret dan saluran yang sama. Oleh itu, kami akan memulakan perkenalan kami dengan topik dengan andaian ini.

1.1 Ukuran maklumat kuantitatif.

Mula-mula, mari kita fikirkan perkara yang masuk akal untuk dihantar melalui saluran.

Jika penerima mengetahui maklumat yang akan dihantar, maka jelas tidak perlu untuk menghantarnya. Adalah masuk akal untuk menyampaikan hanya perkara yang tidak dijangka. Lebih besar kejutan, lebih banyak maklumat harus terkandung dalam acara ini. Sebagai contoh, anda bekerja di komputer. Mesej bahawa kerja hari ini mesti diselesaikan dalam masa 45 minit. mengikut jadual tidak mungkin baru kepada anda. Ini benar-benar jelas walaupun sebelum pengumuman tamat kerja. Oleh itu, mesej sedemikian mengandungi maklumat sifar; tiada gunanya meneruskannya. Dan kini satu lagi contoh. Mesejnya adalah seperti berikut: dalam satu jam, bos anda akan memberikan anda tiket kapal terbang ke Moscow dan kembali, dan juga akan memperuntukkan sejumlah wang untuk hiburan. Maklumat jenis ini tidak dijangka untuk anda dan, oleh itu, mengandungi sejumlah besar unit ukuran. Ini adalah jenis mesej yang masuk akal untuk disampaikan melalui saluran. Kesimpulannya sangat mudah: lebih banyak kejutan dalam mesej, lebih banyak maklumat yang terkandung di dalamnya.

Kejutan dicirikan oleh kebarangkalian, yang termasuk dalam ukuran maklumat.

Beberapa contoh lagi. Kami mempunyai dua kotak, satu dengan bola putih dan satu lagi dengan bola hitam. Berapa banyak maklumat yang terkandung dalam mesej di mana bola putih berada? Kebarangkalian bahawa mana-mana kotak yang diberikan mengandungi bola putih ialah 0.5. Mari kita panggil kebarangkalian ini kepada pengalaman atau a priori .

Sekarang kita keluarkan satu bola. Tidak kira bola mana yang kami keluarkan, selepas percubaan sedemikian, kami akan benar-benar tahu di dalam kotak mana bola putih itu berada. Oleh itu, kebarangkalian maklumat akan sama dengan 1. Kebarangkalian ini dipanggil selepas eksperimen atau posterior .

Mari kita lihat contoh ini dari sudut pandangan jumlah maklumat Jadi, kita mempunyai sumber maklumat - kotak dengan bola. Pada mulanya, ketidakpastian tentang bola dicirikan oleh kebarangkalian 0.5. Kemudian sumber itu "bercakap" dan memberikan maklumat; kami mengeluarkan bola. Kemudian segala-galanya menjadi ditentukan dengan kebarangkalian 1. Adalah logik untuk mengambil tahap pengurangan ketidakpastian tentang sesuatu peristiwa sebagai hasil daripada pengalaman sebagai ukuran kuantitatif maklumat. Dalam contoh kami, ia akan menjadi 1/0.5.

Sekarang contoh lebih kompleks. Adalah diketahui bahawa saiz bahagian boleh 120,121,122, . . .,180 mm., iaitu, ia mempunyai salah satu daripada 61 nilai. Kebarangkalian terdahulu bahawa saiz bahagian i mm ialah 1/61.

Kami mempunyai alat pengukur yang sangat tidak sempurna yang membolehkan kami mengukur bahagian dengan ketepatan +5.-5 mm. Hasil daripada pengukuran, saiznya ialah 130 mm. Tetapi sebenarnya ia boleh menjadi 125,126, . . .,135 mm; hanya 11 nilai. Hasil daripada eksperimen, ketidakpastian kekal, yang dicirikan oleh kebarangkalian posterior 1/11. Tahap pengurangan ketidakpastian ialah (1/11):(1/61). Seperti di atas, nisbah ini ialah jumlah maklumat.

Fungsi logaritma adalah paling mudah untuk mencerminkan jumlah maklumat. Asas logaritma diambil sebagai dua. Mari kita nyatakan jumlah maklumat
- kebarangkalian priori,
- kebarangkalian posterior. Kemudian,

. (1)

Dalam contoh pertama
1 bit maklumat; dalam yang kedua
2.46 bit maklumat. Bit – satu unit maklumat binari .

Sekarang mari kita beralih kepada sumber maklumat sebenar, iaitu satu set peristiwa bebas (mesej) dengan kebarangkalian a priori yang berbeza
. Set ini mewakili data tentang parameter objek dan terdapat maklumat mengenainya. Biasanya, selepas sumber mengeluarkan mesej, ia menjadi diketahui dengan pasti parameter mana yang dikeluarkan. Kebarangkalian posterior ialah 1. Jumlah maklumat yang terkandung dalam setiap acara akan sama dengan

. (2)

Nilai ini sentiasa lebih besar daripada sifar. Begitu banyak peristiwa, begitu banyak maklumat. Ini tidak sepenuhnya sesuai untuk mencirikan sumber. Oleh itu, konsep entropi diperkenalkan. Entropi ialah jumlah purata maklumat bagi setiap peristiwa (mesej) sumber . Ia didapati mengikut peraturan untuk menentukan jangkaan matematik:

. (3)

Atau diberi sifat-sifat fungsi logaritma

. (4)

Bit/mesej dimensi entropi. Mari kita fikirkan tentang sifat-sifat entropi. Mari kita mulakan dengan contoh. Katakan terdapat sumber maklumat binari dengan kebarangkalian priori kejadian Dan membentuk kumpulan yang lengkap. Daripada ini berikut hubungan antara mereka:
. Mari cari entropi sumber:

Tidak sukar untuk melihat bahawa jika salah satu kebarangkalian adalah sama dengan sifar, maka yang kedua adalah sama dengan 1, dan ungkapan entropi akan memberikan sifar.

Mari kita plot pergantungan entropi pada
(Gamb. 1).

Mari kita ambil perhatian bahawa entropi adalah maksimum pada kebarangkalian sama dengan 0.5 dan sentiasa positif.

Sifat pertama entropi . Entropi adalah maksimum untuk kejadian yang sama kemungkinan dalam sumber. Dalam contoh sumber binari kami, nilai ini ialah 1. Jika sumbernya bukan binari dan mengandungi N perkataan, kemudian entropi maksimum.

Sifat kedua entropi. Jika kebarangkalian satu mesej sumber ialah 1, dan yang lain adalah sifar, kerana membentuk kumpulan lengkap peristiwa, maka entropi adalah sifar. Sumber sedemikian tidak menjana maklumat.

Sifat ketiga entropi ialah teorem penambahan entropi . Mari kita lihat soalan ini dengan lebih terperinci. Katakan terdapat dua sumber maklumat yang diwakili oleh set mesej Dan .

Setiap sumber mempunyai entropi
Dan
. Seterusnya, sumber-sumber ini digabungkan, dan ia diperlukan untuk mencari entropi ensembel gabungan
. Setiap pasangan mesej Dan sepadan dengan kebarangkalian
. Jumlah maklumat dalam pasangan sedemikian adalah

Meneruskan dengan cara yang terkenal, kami mendapati jumlah purata maklumat bagi setiap pasangan mesej ensemble. Ini akan menjadi entropi. Benar, boleh ada dua kes di sini. Kumpulan gabungan boleh bebas dan bergantung secara statistik.

Pertimbangkan kes pertama ensemble bebas, rupa mesej sama sekali tidak ditakrifkan . Mari kita tuliskan ungkapan untuk entropi:

, (7)

Di sini
- bilangan mesej dalam ensemble.

Oleh kerana dengan kebebasan kebarangkalian dua dimensi , a, daripada formula am sebelumnya yang kita perolehi

di mana
Dan
ditentukan oleh formula yang diketahui.

Seterusnya kita akan mempertimbangkan kes yang lebih kompleks. Mari kita anggap bahawa ensembel mesej berada dalam hubungan statistik, iaitu dengan beberapa kebarangkalian mencadangkan penampilan . Fakta ini dicirikan oleh kebarangkalian bersyarat
; Garis miring dalam tatatanda mencirikan keadaan. Dengan memperkenalkan kebarangkalian bersyarat, kebarangkalian dua dimensi boleh ditakrifkan melalui hasil darab satu dimensi:

Dengan mengambil kira perkara ini, mari kita cari ungkapan untuk entropi. Penukaran berlaku seperti ini:

Memandangkan jumlah semua kebarangkalian peristiwa adalah sama dengan 1, jumlah dua kali ganda pertama dalam ungkapan terakhir memberikan entropi sumber X, H(x).

Jumlah berganda kedua dipanggil entropi bersyarat dan dilambangkan sebagai
. Oleh itu,

Dengan cara yang sama dapat dibuktikan bahawa .

Dalam ungkapan terakhir kami menemui entropi bersyarat, yang ditentukan oleh sambungan antara kumpulan mesej gabungan. Jika ensembel adalah bebas dari segi statistik
, dan entropi bersyarat
. Hasilnya, kami mendapat formula yang terkenal.

Jika mesej benar-benar bergantung, iaitu, ia berada dalam sambungan berfungsi,
mengambil satu daripada dua nilai: sama ada 1, apabila
, atau 0 apabila
. Entropi bersyarat akan sama dengan 0, kerana ensemble kedua mesej tidak mempunyai kejutan, dan oleh itu tidak membawa maklumat.

Selepas memperkenalkan entropi dan sifatnya, mari kembali kepada satu-satunya sumber maklumat. Anda harus tahu bahawa mana-mana sumber maklumat berfungsi dalam masa semasa. Simbol (tanda)nya menduduki tempat tertentu dalam urutan. Sumber maklumat dipanggil pegun jika kebarangkalian sesuatu simbol tidak bergantung pada tempatnya dalam jujukan. Dan satu lagi definisi. Simbol sumber boleh mempunyai hubungan statistik (kebarangkalian) antara satu sama lain. Sumber maklumat yang ergodik ialah satu di mana hubungan statistik antara tanda-tanda meluas kepada bilangan terhingga aksara sebelumnya. Jika sambungan ini merangkumi hanya dua tanda bersebelahan, maka sumber sedemikian dipanggil rantai Markov yang disambungkan secara ringkas. Inilah sumber yang akan kita pertimbangkan sekarang. Skim penjanaan simbol oleh sumber ditunjukkan dalam Rajah. 2.

Kemunculan simbol bergantung pada watak apa telah diberikan oleh sumber pada saat sebelumnya. Pergantungan ini ditentukan oleh kebarangkalian
. Mari cari entropi sumber sedemikian. Kami akan meneruskan dari pemahaman umum entropi sebagai jangkaan matematik jumlah maklumat. Katakan dua aksara dipaparkan seperti yang ditunjukkan dalam Rajah. 2. Jumlah maklumat dalam situasi sedemikian diberikan oleh sumber

Dengan purata jumlah ini ke atas semua kemungkinan simbol seterusnya, kami memperoleh entropi separa, dengan syarat simbol sebelumnya sentiasa diberikan :

. (13)

Sekali lagi, dengan purata entropi separa ini ke atas semua simbol sebelumnya, kami mendapat hasil akhir:

Indeks 2 dalam penetapan entropi menunjukkan bahawa hubungan statistik meluas hanya kepada dua simbol bersebelahan.

Marilah kita memikirkan sifat-sifat entropi sumber ergodik.

Apabila simbol dalam sumber adalah bebas
, formula (14) dipermudahkan dan dikurangkan kepada bentuk biasa (4).

Kehadiran sambungan statistik (kebarangkalian) antara simbol sumber sentiasa membawa kepada penurunan entropi,
.

Jadi, sumber maklumat mempunyai entropi maksimum jika dua syarat dipenuhi: semua simbol sumber berkemungkinan sama (sifat entropi) dan tiada hubungan statistik antara simbol sumber.

Untuk menunjukkan seberapa baik simbol sumber digunakan, parameter redundansi diperkenalkan :

. (15)

Magnitud berada dalam julat dari 0 hingga 1.

Sikap terhadap parameter ini adalah dua kali ganda. Di satu pihak, semakin kurang redundansi, semakin cekap sumber itu beroperasi. Sebaliknya, semakin besar redundansi, semakin kurang gangguan dan bunyi yang menjejaskan penyampaian maklumat daripada sumber tersebut kepada pengguna. Sebagai contoh, kehadiran hubungan statistik antara simbol meningkatkan redundansi, tetapi pada masa yang sama meningkatkan kesetiaan penghantaran. Watak individu yang hilang boleh diramal dan dipulihkan.

Mari kita lihat contoh. Sumbernya adalah huruf abjad Rusia, terdapat 32 daripadanya secara keseluruhan Mari kita tentukan entropi maksimum:
bit/mesej.

Oleh kerana terdapat hubungan statistik antara huruf dan kebarangkalian penampilannya dalam teks adalah jauh dari identik, entropi sebenar adalah sama dengan 3 bit/mesej. Oleh itu redundansi
.

Ciri sumber seterusnya ialah prestasi; ia mencirikan kelajuan penjanaan maklumat oleh sumber. Mari kita anggap bahawa setiap surat sumber dikeluarkan dalam tempoh masa tertentu . Dengan purata masa ini, kami mendapati purata masa untuk mengeluarkan satu mesej . Jumlah purata maklumat yang dihasilkan oleh sumber per unit masa - produktiviti sumber
:

. (16)

Jadi, mari kita ringkaskan. Ciri-ciri sumber maklumat yang ergodik adalah seperti berikut:

jumlah maklumat dalam setiap tanda,

entropi,

redundansi,

prestasi.

Perlu diingatkan bahawa kekuatan ukuran yang diperkenalkan jumlah maklumat dan, tentu saja, semua ciri adalah kesejagatannya. Semua konsep yang diperkenalkan di atas boleh digunakan untuk sebarang jenis maklumat: sosiologi, teknikal, dll. Sisi lemah ukuran ialah ia tidak menggambarkan kepentingan maklumat, nilainya. Maklumat tentang memenangi pen dan loteri kereta adalah sama penting.

1.2. Ciri-ciri maklumat saluran

Ingatlah bahawa maklumat dihantar melalui saluran komunikasi. Kami sebelum ini memperkenalkan ciri maklumat sumber maklumat, dan kini kami akan memperkenalkan ciri maklumat saluran. Mari kita bayangkan keadaan seperti yang ditunjukkan dalam Rajah. 1.

nasi. 1

Pada input saluran terdapat abjad input yang terdiri daripada banyak aksara , dan pada output - .

P
Mari kita wakili saluran komunikasi dengan model matematik. Perwakilan saluran diskret yang paling terkenal adalah dalam bentuk graf. Nod graf yang diperolehi oleh ( ) dan dihantar ( ) huruf abjad; tepi mencerminkan kemungkinan sambungan antara huruf ini (Rajah 2).

Hubungan antara huruf abjad biasanya dinilai dengan kebarangkalian bersyarat, contohnya,
kebarangkalian penerimaan dengan syarat ia dipindahkan . Ini ialah kebarangkalian penerimaan yang betul. Dengan cara yang sama, seseorang boleh memperkenalkan kebarangkalian bersyarat bagi teknik yang salah, contohnya,
. Sebab-sebab kemunculan kebarangkalian bukan sifar ini adalah gangguan, yang mana tidak ada saluran sebenar yang bebas. Sila ambil perhatian bahawa n dan m, bilangan aksara (huruf) dalam tatasusunan yang dihantar dan diterima tidak semestinya sama. Berdasarkan model ini, definisi lanjut diperkenalkan.

Saluran simetri – ini ialah saluran di mana semua kebarangkalian penerimaan yang betul untuk semua simbol adalah sama, dan juga kebarangkalian penerimaan yang salah adalah sama. Untuk saluran sedemikian, kebarangkalian bersyarat boleh ditulis seperti berikut:

Di sini – kebarangkalian penerimaan yang salah. Jika kebarangkalian ini tidak bergantung pada aksara yang dihantar sebelum simbol tertentu, saluran sedemikian dipanggil " saluran tanpa ingatan “Sebagai contoh, Rajah 3 di bawah menunjukkan graf saluran binari simetri tanpa ingatan.

R
ialah. 3

Mari kita anggap selanjutnya bahawa abjad pada output saluran mengandungi simbol tambahan, yang muncul apabila penyahkod penerima tidak dapat mengenali simbol yang dihantar. Dalam kes ini, dia mengembangkan keengganan untuk membuat keputusan. Kedudukan ini dipanggil pemadaman. Saluran ini dipanggil saluran tanpa ingatan dengan pemadaman dan grafnya ditunjukkan dalam Rajah. 4. Kedudukan "memadam" ditunjukkan di sini dengan tanda soal.

R
ialah. 4.

Saluran paling mudah dengan memori ialah saluran Markov . Di dalamnya, kebarangkalian ralat bergantung pada sama ada simbol sebelumnya diterima dengan betul atau tersilap.

Bersama-sama dengan graf untuk saluran komunikasi, terdapat huraian lain - matriks saluran . Ini adalah satu set kebarangkalian bersyarat
atau
. Bersama-sama dengan kebarangkalian priori,
Dan
ini memberikan gambaran lengkap tentang statistik saluran bising. Sebagai contoh, mari kita lihat matriks saluran

.

Untuk sumber dengan mesej bergantung, entropi juga dikira sebagai jangkaan matematik bagi jumlah maklumat bagi setiap elemen mesej ini. Jumlah maklumat dan entropi adalah ukuran logaritma dan diukur dalam unit yang sama.

6. Entropi gabungan sumber maklumat bebas statistik adalah sama dengan jumlah entropi mereka. 7. Entropi mencirikan ketidakpastian purata memilih satu keadaan daripada ensembel, mengabaikan sepenuhnya bahagian substantif ensembel. ENTROPI EKOSISTEM ialah ukuran gangguan ekosistem, atau jumlah tenaga yang tidak tersedia untuk digunakan. Semakin tinggi indeks entropi, semakin kurang stabil ekosistem dalam masa dan ruang.

4.1.2. Entropi dan prestasi sumber mesej diskret

Mana-mana mesej ini menerangkan keadaan beberapa sistem fizikal. Kita melihat bahawa tahap ketidakpastian sistem fizikal ditentukan bukan sahaja oleh bilangan keadaan yang mungkin, tetapi juga oleh kebarangkalian keadaan. Sebagai ukuran ketidakpastian apriori sistem (atau pembolehubah rawak tak selanjar), teori maklumat menggunakan ciri khas yang dipanggil entropi.

Entropi, seperti yang akan kita lihat kemudian, mempunyai beberapa sifat yang membenarkan pilihannya sebagai ciri tahap ketidakpastian. Akhirnya, dan ini adalah perkara yang paling penting, ia mempunyai sifat aditiviti, iaitu, apabila beberapa sistem bebas digabungkan menjadi satu, entropi mereka bertambah. Jika nombor 10 dipilih sebagai asas, maka kita bercakap tentang "unit perpuluhan" entropi, jika 2 - mengenai "unit binari".

Mari kita buktikan bahawa entropi sistem dengan set keadaan terhingga mencapai maksimum apabila semua keadaan berkemungkinan sama. Contoh 3. Tentukan entropi maksimum yang mungkin bagi sistem yang terdiri daripada tiga unsur, setiap satunya boleh berada dalam empat keadaan yang mungkin.

Perlu diingatkan bahawa nilai entropi yang diperoleh dalam kes ini akan menjadi kurang daripada untuk sumber mesej bebas. Ini berikutan fakta bahawa dengan adanya pergantungan mesej, ketidakpastian pilihan berkurangan dan, dengan itu, entropi berkurangan. Mari kita tentukan entropi sumber binari. Graf pergantungan (4.4) dibentangkan dalam Rajah. 4.1. Seperti berikut daripada graf, entropi sumber binari berbeza dari sifar hingga satu.

Sifat asas entropi

Ia biasanya diperhatikan bahawa entropi mencirikan taburan kebarangkalian yang diberikan dari segi tahap ketidakpastian dalam hasil ujian, iaitu, ketidakpastian dalam pilihan mesej tertentu. Sesungguhnya, adalah mudah untuk mengesahkan bahawa entropi adalah sifar jika dan hanya jika satu daripada kebarangkalian adalah sama dengan satu dan semua yang lain adalah sama dengan sifar; ini bermakna kepastian pilihan yang lengkap.

Satu lagi tafsiran visual tentang konsep entropi adalah mungkin sebagai ukuran "kepelbagaian" mesej yang dicipta oleh sumber. Adalah mudah untuk melihat bahawa sifat entropi di atas agak konsisten dengan idea intuitif tentang ukuran kepelbagaian. Ia juga wajar untuk menganggap bahawa lebih pelbagai kemungkinan untuk memilih elemen ini, lebih besar jumlah maklumat yang terkandung dalam elemen mesej.

Ungkapan yang mewakili jangkaan matematik jumlah maklumat dalam elemen yang dipilih untuk sumber yang terletak dalam keadaan ke-th boleh dipanggil entropi keadaan ini. Entropi sumber bagi setiap elemen mesej yang ditakrifkan di atas bergantung pada cara mesej dibahagikan kepada elemen, iaitu, pada pilihan abjad. Walau bagaimanapun, entropi mempunyai sifat tambahan yang penting.

Mari kita perhatikan beberapa sifat entropi. Entropi. Ini mungkin salah satu konsep yang paling sukar untuk difahami yang boleh anda hadapi dalam kursus fizik, sekurang-kurangnya apabila ia datang kepada fizik klasik.

Sebagai contoh, jika anda bertanya kepada saya di mana saya tinggal, dan saya menjawab: di Rusia, maka entropi saya untuk anda akan tinggi, selepas semua, Rusia adalah negara yang besar. Jika saya memberitahu anda poskod saya: 603081, maka entropi saya untuk anda akan berkurangan kerana anda akan menerima lebih banyak maklumat.

Entropi pengetahuan anda tentang saya telah berkurangan kira-kira 6 aksara. Bagaimana jika saya memberitahu anda bahawa jumlahnya ialah 59? Terdapat hanya 10 keadaan mikro yang mungkin untuk keadaan makro ini, jadi entropinya hanyalah satu simbol. Seperti yang anda lihat, keadaan makro yang berbeza mempunyai entropi yang berbeza. Kami mengukur entropi sebagai bilangan simbol yang diperlukan untuk menulis bilangan keadaan mikro.

Dalam erti kata lain, entropi ialah bagaimana kita menggambarkan sistem. Sebagai contoh, jika kita memanaskan sedikit gas, maka kelajuan zarahnya akan meningkat, oleh itu, tahap kejahilan kita tentang kelajuan ini akan meningkat, iaitu, entropi akan meningkat. Atau, jika kita meningkatkan isipadu gas dengan menarik balik omboh, ketidaktahuan kita tentang kedudukan zarah akan meningkat, dan entropi juga akan meningkat.

Di satu pihak, ini memperluaskan kemungkinan menggunakan entropi dalam analisis pelbagai jenis fenomena, tetapi, sebaliknya, ia memerlukan penilaian tambahan tertentu tentang situasi baru muncul. Ini pertama sekali, Alam Semesta bukanlah objek terhingga biasa dengan sempadan, ia adalah infiniti itu sendiri dalam masa dan ruang.

KERJA MAKSIMUM - dalam termodinamik 1) kerja yang dilakukan oleh bahan penebat haba. Sebarang mesej yang kami berurusan dalam teori maklumat adalah koleksi maklumat tentang beberapa sistem fizikal. Jelas sekali, jika keadaan sistem fizikal diketahui lebih awal, tidak ada gunanya menghantar mesej.

Jelas sekali, maklumat yang diperoleh tentang sistem akan, secara amnya, menjadi lebih berharga dan bermakna, semakin besar ketidakpastian sistem sebelum menerima maklumat ini (“a priori”). Untuk menjawab soalan ini, mari kita bandingkan dua sistem, yang masing-masing mempunyai beberapa ketidakpastian.

Walau bagaimanapun, secara umum ini tidak berlaku. Pertimbangkan, sebagai contoh, peranti teknikal yang boleh berada dalam dua keadaan: 1) beroperasi dan 2) rosak. Kami menekankan bahawa untuk menerangkan tahap ketidakpastian sistem, adalah tidak penting sama sekali nilai mana yang ditulis di baris atas jadual; Hanya bilangan nilai ini dan kebarangkaliannya adalah penting. Konsep entropi adalah asas dalam teori maklumat.

Jumlah maklumat ini dipanggil entropi. Mari kita anggap bahawa sesetengah mesej termasuk unsur abjad, unsur, dsb. Kuantiti itu dipanggil entropi sumber mesej. 3. Entropi adalah maksimum jika semua keadaan elemen mesej adalah sama berkemungkinan. Dalam teori maklumat, terbukti bahawa sentiasa, iaitu, kehadiran sambungan kebarangkalian mengurangkan entropi sumber mesej.

Prolog 113. Maksud prinsip entropi maksimum

Pengagihan kuasa boleh timbul akibat prinsip entropi maksimum - kami melihat ini dalam Prolog 111 dan dalam Prolog 112 kami menerangkan model perlanggaran darab yang dibina atas dasar ini, yang membangunkan pengagihan kuasa pada set objek tertentu.

Walau bagaimanapun, untuk mengaplikasikan model ini dengan secukupnya untuk menerangkan asal usul pengagihan undang-undang kuasa yang diperhatikan dalam pelbagai sistem semula jadi dan manusia, adalah perlu untuk melihat dengan teliti dua asasnya - prinsip entropi maksimum dan kepelbagaian interaksi. Kami akan cuba memikirkan makna "falsafah" mereka. Mari kita mulakan mengikut urutan, dengan prinsip entropi maksimum.

Dua tafsiran prinsip entropi maksimum

Dalam tafsiran ini, prinsip entropi maksimum jelas menggemakan undang-undang kedua termodinamik - undang-undang asas fizik, mengikut mana entropi sistem tertutup boleh sama ada meningkat atau kekal tidak berubah, tetapi tidak berkurangan. Ia mengikuti terus dari ini bahawa jika kita mengambil mana-mana sistem tertutup yang kekal begitu cukuplah lama, kita akan dapati ia dalam keadaan dengan entropi maksimum.

Walau bagaimanapun, dari segi sejarah, prinsip entropi maksimum mengesan asal-usulnya kepada sumber yang sama sekali berbeza - bukan dari termodinamik, tetapi dari teori kebarangkalian. Dan sumber inilah yang memberikan tafsiran kedua tentang prinsip entropi maksimum, mungkin lebih asas. Ia boleh dirumuskan seperti ini: daripada semua hipotesis tentang bentuk taburan pembolehubah rawak, seseorang harus memilih satu di mana entropi taburan adalah maksimum, dengan mengambil kira sekatan yang dikenakan oleh pengetahuan kita tentang sistem.

Pada permulaan abad ke-18, Jacob Bernoulli, merenungkan asas teori kebarangkalian, merumuskan "Prinsip Penyebab Tidak Mencukupi," yang dianggap sebagai pelopor kepada prinsip entropi maksimum. Mari kita pertimbangkan dua alternatif dan hasil yang saling eksklusif A Dan B. Prinsip Bernoulli menyatakan bahawa jika kita tidak mempunyai maklumat tentang kebarangkalian hasil ini, ia harus dianggap berkemungkinan sama. Iaitu, di bawah syarat-syarat ini kita tidak mempunyai sebab yang mencukupi untuk menetapkan satu daripada hasil kebarangkalian yang lebih tinggi daripada yang lain. Perhatikan bahawa dari sudut pandangan Bernoulli, kebarangkalian mencerminkan pengetahuan kita tentang subjek tersebut. Jika kita tidak mempunyai pengetahuan mengenainya (kecuali dua hasil mungkin), kebarangkalian harus diandaikan sama. Sebarang taburan kebarangkalian lain mesti mempunyai asas, sebab berdasarkan pengetahuan kita tentang undang-undang yang mengawal subjek.

Jadi, setiap hasil harus diandaikan berkemungkinan sama melainkan terdapat alasan untuk pilihan yang berbeza. Jika hasil yang berbeza adalah nilai yang berbeza bagi beberapa kuantiti, kita mesti menganggap taburan kebarangkalian yang seragam. Seperti yang kita ketahui, ia adalah taburan homogen yang mempunyai entropi maksimum. Tetapi Bernoulli tidak bercakap tentang entropi - dia hidup dan bekerja dua abad sebelum konsep ini muncul. Untuk datang dari prinsip sebab yang tidak mencukupi kepada prinsip entropi maksimum, perlu mengambil banyak langkah - dan laluan ini telah selesai hanya pada pertengahan abad ke-20, dan langkah terakhir dikaitkan dengan kerja ahli fizik Amerika. Edwin Jaynes.

Daripada prinsip sebab tidak mencukupi kepada prinsip entropi maksimum

Walau bagaimanapun, kami, berbekalkan konsep moden, boleh melalui laluan ini dengan lebih pantas, secara langsung. Ia kelihatan sangat mudah - tetapi hanya dari ketinggian pengetahuan semasa kita. Namun, Bernoullilah yang boleh menjadi penemu kedua-dua prinsip entropi maksimum dan kalkulus entropi/maklumat itu sendiri. Dia boleh, jika dia percaya lebih sedikit dalam keupayaan deskriptif nombor - dan dia pasti mempercayainya, kerana bukan tanpa alasan dia menjadi salah seorang pengasas teori kebarangkalian.

Jadi, apabila kita mempunyai dua hasil alternatif A dan B, dan tiada apa-apa lagi yang diketahui, prinsip alasan yang tidak mencukupi memerlukan kita untuk menganggap bahawa mereka berkemungkinan sama: p A=p B=1/2. Inilah cara kami memperkenalkan sekurang-kurangnya sebarang berat sebelah ke dalam andaian kami tentang kemungkinan hasil. Mari kita anggap bahawa terdapat beberapa fungsi kebarangkalian ini H(p A ,p B), yang ternyata maksimum jika p A=p B=1/2 (atau kita boleh menerima bahawa dalam keadaan ini ia adalah, sebaliknya, minimum - ini tidak penting). Mari kita nyatakan minimum ini sebagai H(1/2,1/2). Bolehkah kita mengatakan apa-apa lagi tentang fungsi ini berdasarkan pertimbangan umum?

Cukup, dan Jacob Bernoulli adalah mahir dalam perkara sedemikian. Pertama, ambil perhatian bahawa jika kita hanya mempunyai satu kemungkinan hasil A, ia secara automatik mempunyai kebarangkalian satu. Ini bermakna tiada pengetahuan yang boleh kami bawa yang boleh mempengaruhi penilaian kami tentang kebarangkalian hasilnya. Iaitu, kita mempunyai pengetahuan yang lengkap tentang hasilnya. Dalam kes ini, adalah munasabah untuk menjangkakan bahawa fungsi kami, mencerminkan jumlah pengetahuan yang kami bawa ke dalam penilaian hasil, mengambil nilai minimum, katakan, sifar: H(1) = 0.

Selanjutnya, kami perhatikan bahawa apabila situasi dua alternatif yang sama kemungkinan diselesaikan dalam satu cara atau yang lain, kami mendapati diri kami berada dalam situasi dengan satu kemungkinan hasil - yang dipilih secara kebetulan. Apa yang berlaku pada masa ini dengan fungsi H? Ia berkurangan daripada nilai H(1/2,1/2) kepada nilai H(1)= 0. Perbezaan ini: H(1/2,1/2)-H(1) = H(1/2,1/2) adalah munasabah untuk mengira jumlah pengetahuan yang telah kita perolehi mengenai dua hasil yang berkemungkinan sama apabila alternatif itu diselesaikan. Atau, dengan kata lain, jumlah tidak tahu atau tidak pasti dalam situasi awal dengan dua kemungkinan hasil yang sama. Dalam bahasa moden, kuantiti ini dipanggil entropi.

Beritahu kami sekarang bahawa terdapat empat hasil A, B, C, D dan tidak lebih. Prinsip alasan yang tidak mencukupi memerlukan kita juga memberikannya kebarangkalian yang sama p A=p B=pC=p D=1/4. Tetapi apakah nilai fungsi itu? H(p A,p B,p C,p D) dalam kes ini? Logik asas membawa kepada kesimpulan bahawa nilainya harus dua kali lebih besar daripada untuk kes dua kemungkinan hasil yang sama mungkin: 2* H(1/2,1/2). Sememangnya, biarkan hasil A, B di satu pihak dan C, D sebaliknya sangat serupa. Jika kita tidak begitu prihatin atau tidak begitu berjaga-jaga, kita mungkin tidak membezakan antara satu sama lain. Kemudian kita kembali kepada kes dengan dua hasil dan ketidakpastian keadaan adalah sama dengan H(1/2,1/2). Tetapi kami melihat dengan teliti dan melihat bahawa sebenarnya, di mana kami melihat satu keputusan, sebenarnya terdapat dua yang rapat. Kami sekali lagi berhadapan dengan tugas untuk memilih pengagihan kebarangkalian yang paling "adil" di antara mereka, dan ia sekali lagi akan menjadi pengagihan seragam. Dan ditambah kepada ketidakpastian H(1/2,1/2). Jadi untuk situasi dengan empat alternatif yang sama kemungkinannya H(1/4,1/4,1/4,1/4) = 2*H(1/2,1/2). Meneruskan secara induktif, kami akan menetapkan bahawa untuk situasi dengan lapan hasil, jumlah ketidakpastian ialah 3* H(1/2,1/2), dsb.

Saya percaya pembaca memahami bahawa terbitan kami bagi sifat fungsi H bertepatan dengan logik yang membawa kepada persamaan kuantiti maklumat/entropi Hartley. Jika kita menyatakan bilangan hasil yang berkemungkinan sama seperti N, entropi Hartley adalah sama dengan

Kami telah diperkenalkan kepada laluan mudah yang membawa daripada formula Hartley kepada formula Shannon - Jacob Bernoulli pasti akan menemuinya dengan mudah. Dan jika Bernoulli mempunyai formula ini, dia boleh mengukur tahap ketidakpastian taburan kebarangkalian tertentu dan mewujudkan prinsip yang mengikutnya kita harus menetapkan kebarangkalian kepada hasil supaya entropi taburan adalah maksimum daripada semua yang dibenarkan - ini adalah prinsip entropi maksimum.

Walau bagaimanapun, sejarah tidak mengetahui mood subjungtif, dan sains mempunyai rentak santainya sendiri.

Sebagai kesimpulan, perlu diperhatikan bahawa langkah utama adalah yang pertama, di mana kita menganggap kewujudan beberapa fungsi H, mencapai maksimum untuk hasil yang berkemungkinan sama. Semua yang lain bergolek seperti bola. Ini adalah pengesahan lanjut tentang faedah prinsip yang melampau, apabila kita menganggap beberapa keadaan normal atau betul sistem sebagai keadaan di mana beberapa fungsi keadaannya mencapai nilai yang melampau.

Intrik utama prinsip entropi maksimum ialah ia mempunyai dua tafsiran (berpunca daripada dua sumber yang berbeza), yang walaupun pada pandangan pertama adalah berbeza secara radikal dalam makna. Dalam tafsiran, yang menjejaki sejarahnya kembali kepada prinsip Bernoulli, kita bercakap tentang peraturan untuk mengatur penerangan kita tentang dunia. Kita mesti menggambarkan dunia sedemikian rupa untuk tidak mengenakan prasangka kita ke atasnya, yang dinyatakan dalam memberikan kebarangkalian yang tidak wajar kepada pelbagai peristiwa. Setiap kali kita harus memilih penerangan yang tidak mengandungi apa-apa selain daripada apa yang kita tahu pasti. Ini ialah peraturan heuristik yang membolehkan anda mengelakkan herotan dalam perihalan realiti.

Tafsiran fizikal, dengan bantuan yang mana kita, khususnya, boleh memperoleh pengagihan tenaga bagi molekul gas ideal, mengatakan sesuatu yang berbeza. Ia menetapkan peraturan yang tidak mengawal penerangan kita tentang realiti, tetapi realiti itu sendiri.. Jika sistem fizikal dikawal oleh beberapa undang-undang dan tidak ada yang lain, maka taburan parameter di dalamnya 1) akan sepadan dengan undang-undang ini dan 2) akan mempunyai entropi maksimum antara taburan yang dibenarkan. Kenyataan ini bukan tentang bagaimana kita boleh menggambarkan dunia dengan lebih baik, tetapi tentang dunia itu sendiri.

Apabila Manifesto Saintis Kognitif mengatakan bahawa struktur dunia sepadan dengan struktur kesedaran kita, kita bercakap tentang "kebetulan" yang menakjubkan ini dengan tepat: pilihan terbaik dalam membina penerangan kita tentang dunia juga merupakan pilihan terbaik alam itu sendiri.

Untuk ini boleh dibantah bahawa prinsip Bernoulli membolehkan kita memperoleh penerangan yang lebih munasabah tentang realiti, dan hanya atas sebab ini ia boleh dianggap benar. Walau bagaimanapun, Bernoulli tidak memperolehnya secara empirik sama sekali, tanpa membandingkannya dengan realiti. Dia mengemukakannya berdasarkan keperluan logik, berdasarkan sifat-sifat akal itu sendiri dan pembinaan abstraknya. (Selain itu, dia menyedari masalah besar dengan nilai praktikal prinsipnya dalam bentuk asalnya - hanya dalam keadaan yang sangat jarang berlaku dalam fenomena semula jadi seseorang boleh melihat hasil dengan kebarangkalian yang sama.) Tetapi ternyata dunia tertakluk kepada logik yang sama, dan seolah-olah membawa fikiran yang sama, sama seperti kita sendiri.

Kita boleh lebih menghargai dualiti prinsip entropi maksimum yang mengejutkan ini dengan membezakannya dengan satu prinsip berkaitan ideologi yang mempunyai nasib malang kerana dirumus dengan begitu baik. Kami akan cuba membetulkan perkara ini.

Pisau cukur Occam dan prinsip kerumitan minimum

Saudara terdekat prinsip alasan tidak mencukupi ialah pisau cukur terkenal Occam. Ini ialah peraturan yang menjemput kami, antara penerangan alternatif dunia, untuk memilih yang paling mudah, yang mengandungi bilangan minimum entiti dan parameter. Merumuskan semula heuristik ini, perkaitan kedua-dua prinsip mudah untuk dilihat: di antara semua penerangan alternatif, seseorang harus memilih yang mengandungi minimum kerumitan struktur atau algoritma. Intinya ialah anda harus memilih model atau penerangan yang mempunyai algoritma paling mudah. "Kerumitan algoritma" bukan kiasan, ia adalah kuantiti boleh diukur yang mempunyai hubungan langsung dengan entropi/maklumat. Ia juga dipanggil entropi algoritma atau Kerumitan Kolmogorov dinamakan sempena ahli matematik Rusia A. N. Kolmogorov, yang memperkenalkan kuantiti ini ke dalam kegunaan saintifik. Kerumitan Kolmogorov bagi rentetan aksara tertentu diukur sebagai panjang program atau algoritma yang diperlukan untuk menghasilkan semula rentetan tersebut. Lebih kompleks rentetan aksara disusun, lebih lama program yang diperlukan untuk menghasilkan semula. Sudah tentu, panjang program bergantung pada bahasa pengaturcaraan, bagaimanapun, faktor ini boleh diabaikan, dengan mengandaikan bahawa kita menulis program dalam beberapa bahasa yang ideal, paling menjimatkan dan ringkas.

Biarkan, sebagai contoh, tatatanda berikut dalam bahasa ideal ini bermaksud mengambil rentetan "AB" dan mengulanginya 10 kali:

Kita boleh mengatakan bahawa kerumitan algoritmik baris ini adalah sama dengan 5 aksara - ini betul-betul panjang program terpendek yang menjana baris ini.

Contoh lain: rentetan 20 aksara yang diberikan mempunyai kerumitan algoritma sebanyak 12 aksara, kerana itu ialah panjang program yang menjananya:

Marilah kita memberi perhatian kepada satu perkara penting: ini tidak sistematik rentetan aksara dalam erti kata bahawa kita tidak melihat sistem di dalamnya yang membolehkan kita memendekkan algoritma. Tetapi itu tidak bermakna ia rawak urutan watak. Jika kita perlu membiak dengan tepat rawak urutan, kita harus menggunakan program lain:

Ini adalah paradoks: rentetan rawak sepenuhnya nampaknya mempunyai kerumitan yang sama seperti rentetan tersusun sepenuhnya. Tetapi sebenarnya, ia bukan rentetan homogen atau rentetan rawak yang mempunyai kerumitan tertinggi, tetapi rentetan yang tidak sistematik, yang tidak sama sekali rawak, tetapi, sebaliknya, sangat teratur. Ini mudah difahami: bayangkan bahawa kita secara rawak mencucuk jari kita ke dalam buku yang terbuka dan Sentiasa kita berakhir dengan perkataan yang sama. Jelas sekali bahawa keadaan ini pada asasnya berbeza daripada keadaan apabila kita secara tidak sengaja berakhir dengan perkataan yang berbeza. Kita akan melihat kepentingan nuansa ini sedikit lebih jauh.

Perhatikan bahawa walaupun hubungan yang kelihatan sangat jauh antara kerumitan menurut Kolmogorov dan entropi menurut Shannon dan Hartley, sebenarnya adalah mungkin untuk menunjukkan hubungan yang mendalam mereka - tetapi kita tidak akan pergi ke topik ini di sini.

Jadi, kita boleh melihat beberapa model atau penerangan sebagai algoritma yang menghasilkan semula set sifat yang diperlukan ("rentetan" yang diperlukan). Kemudian pisau cukur Occam memerlukan memilih perihalan yang mempunyai entropi algoritma yang minimum.

Kisah sejarah yang boleh menjadi contoh situasi di mana prinsip ini berguna ialah konfrontasi antara sistem Ptolemy dan Copernicus. Sistem Ptolemaic adalah model alam semesta berdasarkan kepercayaan agama yang naif bahawa Bumi harus berada di tengah-tengah alam semesta:

Badan-badan syurga, termasuk Matahari, beredar mengelilingi Bumi dalam orbit. Walau bagaimanapun, walaupun ketepatan ideologi reka bentuk ini, ia mempunyai beberapa kelemahan: dalam rangka kerjanya adalah mustahil untuk menjelaskan fenomena perubahan arah pergerakan planet merentasi bilik kebal syurga. Katakan Musytari bergerak secara progresif berbanding bintang selama beberapa minggu. Tetapi kemudian ia membuat gelung dan bergerak ke arah yang bertentangan untuk beberapa waktu. Kemudian kembali ke pergerakan "betul". Untuk menjelaskan fenomena ini, Ptolemy memperkenalkan apa yang dipanggil epicycles ke dalam sistemnya - dia mengandaikan bahawa selain berputar mengelilingi Bumi, setiap luminary juga berputar dalam orbit kecil di sekitar pusat tertentu, yang seterusnya berputar mengelilingi Bumi dalam orbit bulat. . Kemudian detik-detik apabila Musytari bergerak ke belakang sepanjang epicyclenya, kita melihat perubahan dalam arah pergerakannya merentasi langit.

Copernicus mencadangkan sistem lain: di dalamnya Matahari berada di tengah (pembaca mungkin telah banyak mendengar). Sistem Copernican dapat menerangkan gelung Musytari dan peneraju lain tanpa memperkenalkan epicycles yang mudah membulat planet sudah cukup untuk kita dari Bumi untuk kadang-kadang melihat gelung dalam pergerakan planet. Walaupun tanpa melihat ketepatan ramalan pergerakan planet merentasi langit, sistem Copernican jelas mempunyai kerumitan algoritma yang kurang, dan pada masa yang sama dapat "menghasilkan semula garis yang betul." Oleh itu, jika kita berpandukan prinsip Occam, kita harus memilih sistem Copernican.

Tetapi adakah pisau cukur Occam mempunyai analognya dalam sifat realiti itu sendiri, seperti juga prinsip sebab yang tidak mencukupi? Penulis yakin dengan jawapan yang positif. Cuba kita rumuskan, kita sebut prinsip kerumitan struktur yang minimum: sistem yang berpotensi mempunyai struktur yang berbeza mempunyai struktur yang mempunyai kerumitan minimum menurut Kolmogorov, dengan mengambil kira keperluan luaran untuk sifat sistem ini.

Di sinilah perbezaan antara rentetan rawak dan rentetan yang sangat biasa ternyata menjadi penting. Dengan mendokumentasikan kedudukan dan kelajuan molekul dalam kapal dengan gas, setiap kali kami akan menerima satu set nombor yang hampir dengan rawak - "rentetan rawak". Tetapi jika kita mendapat keputusan yang sama setiap kali, ini akan menunjukkan bahawa sistem berada dalam keadaan yang sangat kompleks dari segi struktur.

Mari kita ambil perhatian bahawa terdapat contoh yang sangat penting bagi kita tentang struktur dengan kerumitan algoritma yang rendah: fraktal berkembang sebagai hasil pengulangan transformasi penjanaan yang sama digunakan pada tahap skala yang berbeza. Secara algoritma, ini adalah struktur mudah. Mungkin prinsip kerumitan struktur minimum boleh menjelaskan kelaziman struktur fraktal yang begitu menyeluruh dalam pelbagai fenomena dunia.

Walau bagaimanapun, ini masih hanya idea yang tidak jelas.

Seterusnya, kita melihat bagaimana prinsip entropi maksimum berkaitan dengan undang-undang kedua termodinamik. Tetapi mungkin prinsip kerumitan struktur minimum memberitahu kita akibat lain dari prinsip kedua. Ia boleh dirumuskan seperti ini: jika pada titik permulaan masa struktur sistem bukanlah yang paling kompleks, ia berkembang ke arah penurunan kerumitan, mencapai kemungkinan minimum.

Jika tafsiran undang-undang kedua termodinamik ini betul, timbul persoalan yang ditujukan kepada tafsiran biasa: jika entropi dunia sebagai sistem hanya meningkat, mengapa alam semesta belum mencapai keadaan entropi maksimum (dan struktur minimum? kerumitan), yang dipanggil "kematian terma"? Sains tidak dapat menjawab soalan ini. Mungkin - materialis cenderung kepada jawapan ini - dia belum mempunyai masa lagi. Atau mungkin alam semesta kita bukan sistem tertutup, tetapi sistem terbuka dan dari suatu tempat ia menerima sumber yang membolehkannya mengatasi undang-undang kedua termodinamik. Pendapat ini dikongsi oleh golongan idealis, antaranya penulis mengira dirinya sendiri. Kita masih belum mempunyai pengetahuan yang cukup untuk menamatkan dilema ini.

Marilah kita menyimpulkan Prolog ini dengan "berkongsi kulit beruang yang tidak dibunuh" dan mengagumi fakta bahawa pisau cukur Occam bukan sahaja mampu memotong semua perkara yang tidak perlu dari pembinaan mental kita, tetapi juga memotong semua perkara yang tidak perlu dari struktur dunia. , supaya ia muncul di hadapan kita dalam penampilan yang paling ringkas dan paling elegan dari semua yang mungkin. Bagaimanakah seseorang tidak dapat mengingati Leibniz, yang percaya bahawa kita hidup dalam dunia yang terbaik?

Dengan mencari nilai maksimum entropi, kita memperoleh hukum taburan molekul antara tahap tenaga, sama sekali dengan kes klasik.
Dan menandakan nilai entropi maksimum.
Jika terdapat nilai entropi maksimum H (x, y), sistem tidak mempunyai organisasi dan nilai x dan y tidak berkaitan antara satu sama lain.
Adalah mustahil untuk membuktikan keperluan untuk nilai entropi maksimum untuk keadaan keseimbangan sistem berdasarkan persamaan termodinamik umum. Walau bagaimanapun, keseimbangan adalah mustahil pada nilai entropi bukan maksimum.
Formula (1.1) menyatakan nilai maksimum entropi (1.8); apabila semua keadaan yang mungkin bagi sesuatu sistem adalah sama berkemungkinan, ia adalah yang paling tidak teratur, dan oleh itu entropinya sepatutnya mempunyai nilai yang paling besar.
Dalam erti kata lain, nilai maksimum entropi pasangan kakisan dengan bilangan keadaan terhingga adalah sama dengan logaritma nombor ini dan mencapai Smax apabila semua keadaan berkemungkinan sama. Jika keadaan pasangan kakisan diketahui terlebih dahulu, maka entropinya adalah sifar.
Keadaan sistem dengan nilai entropi maksimum ialah keadaan keseimbangan yang stabil. Malah, dalam keadaan ini, proses tidak boleh balik tidak boleh berlaku dalam sistem, kerana jika tidak, entropi sistem perlu meningkat, yang tidak boleh berlaku.
Oleh kerana keadaan keseimbangan sepadan dengan nilai entropi maksimum, dan aliran dalam keadaan ini hilang, semua parameter dalam keadaan keseimbangan menjadi sifar.
Keadaan keseimbangan metastabil juga dicirikan oleh nilai entropi maksimum (dan minima tenaga dan potensi termodinamik), tetapi keadaan keseimbangan lain mungkin untuk sistem, di mana, untuk nilai tenaga, isipadu dan jumlah bahan yang sama, entropi mempunyai nilai yang lebih besar.
Jika keseimbangan termodinamik, yang sepadan dengan nilai maksimum entropi, hanya bersifat statistik, maka seseorang harus mengharapkan sisihan daripada nilai yang paling berkemungkinan apabila memerhati di kawasan yang sangat kecil. Berkaitan dengan turun naik ketumpatan ini adalah penyerakan cahaya di atmosfera, khususnya warna langit; teori fenomena ini memungkinkan untuk mengira nombor Avogadro daripada taburan spektrum keamatan cahaya yang tersebar. Sekiranya terdapat kecil, tetapi masih boleh dilihat di bawah mikroskop zarah (zarah koloid) dalam cecair, maka gegarannya yang tidak teratur kelihatan, disebabkan oleh fakta bahawa kesan molekul cecair dari sisi yang berbeza tidak betul-betul seimbang pada setiap saat: pertama pada satu sisi, kemudian di sisi lain zarah itu dipukul oleh bilangan molekul yang lebih besar, dan ia disesarkan ke arah yang sepadan. Intipati fenomena ini, yang dipanggil pergerakan Brownian (sebagai penghormatan kepada ahli botani Inggeris Brown), kekal tidak jelas untuk masa yang lama. Tetapi di bawah mikroskop, kelajuan diperhatikan yang banyak pesanan magnitud lebih rendah jika ia ditakrifkan dengan cara biasa sebagai nisbah laluan kepada masa. Pada hakikatnya, kelajuan zarah menukar arahnya dengan kerap sehingga pergerakan zarah yang diperhatikan hanyalah anggaran kasar gerakan zigzag sebenar.
Jika sistem berada dalam keadaan keseimbangan, dicirikan oleh nilai entropi maksimum, maka proses yang paling mungkin adalah proses di mana entropi sistem tidak berubah. Perbandingan kesimpulan ini dengan hukum kedua termodinamik menunjukkan kesetaraan mereka.
Dalam contoh ini (dengan dua kemungkinan hasil), nilai entropi maksimum ialah satu unit binari.
Perlu diambil kira bahawa taburan Flory memberikan nilai entropi maksimum.
Perubahan dalam entropi sistem terpencil dengan dimensi terhingga.
Sistem ini pada asasnya dalam keadaan keseimbangan sepadan dengan nilai maksimum entropi sistem; Setelah menyimpang dari keadaan ini, sistem kemudian kembali kepadanya. Apabila memerhati sistem untuk masa yang lama, boleh diperhatikan bahawa kes peningkatan dan penurunan dalam entropi berlaku sama kerap, dan masa pengulangan mana-mana sisihan sistem daripada keadaan keseimbangan adalah lebih lama, semakin rendah kebarangkalian bukan yang diberikan. -keadaan keseimbangan. Apabila saiz sistem meningkat, masa kebolehulangan meningkat dengan cepat. Oleh itu, proses yang tidak boleh diterbalikkan dari sudut pandangan termodinamik biasa nampaknya boleh diterbalikkan secara praktikal dari sudut pandangan statistik. Keadaan ini membawa kedua-dua rumusan undang-undang kedua termodinamik lebih rapat dan secara praktikal menghapuskan perbezaan yang dinyatakan di atas.
Mari kita buktikan untuk kes yang paling mudah (untuk sistem fasa tunggal) bahawa nilai maksimum entropi atau nilai minimum tenaga bebas sistem sepadan dengan pengagihan ekuiti isotop. Mari kita anggap selanjutnya bahawa sebatian AX mengandungi atom p n unsur X yang mengambil bahagian dalam pertukaran.
Ia boleh ditunjukkan bahawa untuk serakan keadaan o tertentu, taburan mengikut hukum biasa memberikan nilai entropi maksimum.
Proses spontan dalam sistem terpencil hanya boleh diteruskan ke arah peningkatan entropi, dan nilai maksimum entropi sepadan dengan keseimbangan.
Dengan memperkenalkan kadar dan mempertimbangkan keadaan bukan keseimbangan yang mewakili organisma, kita kehilangan kriteria yang boleh dipercayai seperti nilai maksimum entropi, dan kita mesti cuba mencari alasan lain untuk memilih keadaan yang stabil.
Peralihan kaca dan suhu lebur beberapa polimer, kawasan penggunaannya. Apabila sistem sedemikian cacat, jumlah gangguan statistik berkurangan, jadi sistem cenderung untuk kembali ke keadaan sepadan dengan nilai entropi maksimum.
Kedalaman proses spontan ditentukan oleh nilai entropi setiap jasad yang mana beberapa proses berlaku, yang berhenti apabila nilai entropi maksimum dicapai, selepas itu sistem memasuki keadaan keseimbangan terma, yang mana ia tidak boleh keluar secara spontan.
Pengagihan berat molekul polyhexamethylene adipamide. Apabila menghasilkan persamaan ini, andaian asas dibuat tentang kebebasan kereaktifan molekul daripada berat molekul, serta andaian tentang nilai maksimum entropi untuk komposisi pecahan keseimbangan tertentu, tentang perubahan dalam komposisi pecahan pada diberi purata berat molekul hanya disebabkan oleh perubahan entropi.
Keseimbangan sistem heterogen sepadan dengan kesamaan potensi kimia setiap komponen dalam semua fasa, serta nilai minimum potensi isochorik atau isobarik atau nilai maksimum entropi keseluruhan sistem dalam keadaan tertentu. Jika sistem merangkumi sekurang-kurangnya satu fasa, komposisi yang berubah apabila ia menghampiri keseimbangan, maka keadaan keseimbangan fasa dan keseluruhan sistem dicirikan oleh pemalar keseimbangan, contohnya, dalam sistem yang terdiri daripada bahan individu dalam keadaan terkondensasi. dan gas. Dalam sistem yang terdiri daripada bahan individu dalam keadaan pekat, di mana komposisi fasa tidak berubah semasa proses, dan proses berterusan sehingga kehilangan sepenuhnya salah satu bahan permulaan (contohnya, transformasi polimorfik bahan), konsep pemalar keseimbangan tidak boleh digunakan.
Keseimbangan sistem heterogen sepadan dengan kesamaan potensi kimia setiap komponen dalam semua fasa, serta nilai minimum salah satu potensi termodinamik atau nilai maksimum entropi keseluruhan sistem di bawah keadaan yang sesuai. Keadaan yang paling biasa dalam amalan ialah suhu malar dan tekanan malar, jadi kita akan menilai keseimbangan sistem heterogen dengan potensi isobariknya.
Dengan mengambil kira sifat molekul bahan kerja dan turun naik parameter dalaman di dalamnya, dapat diperhatikan bahawa tanpa mewujudkan keseimbangan dalam sistem, nilai entropi maksimum tidak dapat dicapai. Turun naik membawa sistem kepada keseimbangan. Ia adalah turun naik dalam sistem yang membawa kepada keperluan untuk entropi maksimum pada keseimbangan apabila keadaan ini tidak dipenuhi, iaitu, sistem dikeluarkan daripada keseimbangan.

Oleh itu, sebab utama keanjalan semasa ubah bentuk dalam keadaan sangat kenyal dan berlakunya tegasan dalam sampel adalah perubahan dalam konformasi dan peralihan daripada bentuk keseimbangan gegelung statistik dengan nilai entropi maksimum kepada tidak keseimbangan dengan penurunan. dalam entropi dan peralihan terbalik selepas ubah bentuk berhenti. Sumbangan komponen tenaga kepada proses ini adalah kecil, dan untuk grid ideal ia adalah sama dengan sifar.
KEMATIAN TERMA ALAM SEMESTA - keadaan akhir dunia, yang kononnya timbul sebagai akibat daripada perubahan tak boleh balik semua bentuk gerakan kepada haba, pelesapan haba di angkasa dan peralihan dunia kepada keadaan keseimbangan dengan nilai entropi maksimum. Kesimpulan ini dibuat berdasarkan pemutlakan hukum kedua termodinamik dan lanjutannya ke seluruh alam semesta.
KEMATIAN TERMA ALAM SEMESTA - keadaan akhir dunia, yang kononnya timbul sebagai akibat daripada perubahan tak boleh balik semua bentuk gerakan kepada haba, pelesapan haba di angkasa dan peralihan dunia kepada keadaan keseimbangan dengan nilai entropi maksimum. Kesimpulan ini dibuat berdasarkan pemutlakan hukum kedua termodinamik dan lanjutannya ke seluruh alam semesta. Pembentukan bintang dan galaksi adalah salah satu manifestasi proses ini. Perubahan jirim yang tidak dapat dipulihkan di alam semesta tidak membayangkan k.
Undang-undang kedua termodinamik menetapkan bahawa proses tak boleh balik (dan seperti itu hampir semua proses terma dan, dalam apa jua keadaan, semua proses yang berlaku secara semula jadi) berjalan sedemikian rupa sehingga entropi sistem badan yang mengambil bahagian dalam proses itu berkembang, cenderung kepada proses tersebut. nilai maksimum. Nilai maksimum entropi dicapai apabila sistem mencapai keadaan keseimbangan.
Sifat entropi untuk meningkat dalam proses tak boleh balik, dan tak boleh balik itu sendiri, adalah bertentangan dengan kebolehbalikan semua pergerakan mekanikal dan oleh itu makna fizikal entropi tidak begitu jelas seperti, sebagai contoh, makna fizikal tenaga dalaman. Nilai maksimum entropi sistem tertutup dicapai apabila sistem mencapai keadaan keseimbangan termodinamik. Rumusan kuantitatif undang-undang kedua termodinamik ini diberikan oleh Clausius, dan tafsiran molekul-kinetiknya oleh Boltzmann, yang memperkenalkan konsep statistik ke dalam teori haba berdasarkan fakta bahawa ketakterbalikan proses terma adalah kebarangkalian.
Hubungan (IX.2) menyatakan fakta bahawa untuk keadaan keseimbangan sistem terpencil terdapat maksimum bersyarat entropi. Nilai maksimum entropi sistem terpencil ditentukan oleh nilai tenaga dan isipadu sistem yang diberikan, serta jisim, dan oleh itu bilangan tahi lalat komponen.
Pertumbuhan entropi dalam mana-mana proses tidak berterusan selama-lamanya, tetapi hanya sehingga ciri nilai maksimum tertentu sistem tertentu. Nilai entropi maksimum ini sepadan dengan keadaan keseimbangan, dan selepas ia dicapai, sebarang perubahan dalam keadaan tanpa pengaruh luar terhenti.
Pertumbuhan entropi dalam mana-mana proses tidak berterusan selama-lamanya, tetapi hanya sehingga ciri nilai maksimum tertentu sistem tertentu. Nilai entropi maksimum ini sepadan dengan keadaan keseimbangan, dan selepas ia dicapai, sebarang perubahan dalam keadaan tanpa pengaruh luar terhenti.
Oleh itu, dalam kes kebarangkalian kejadian input yang sama, entropi sepadan dengan jumlah maklumat untuk hasil yang berkemungkinan sama. Hartley sepadan dengan nilai entropi maksimum. Secara fizikal, ini mentakrifkan kes apabila ketidakpastian adalah sangat besar sehingga sukar untuk diramalkan.
Nshks ialah 2ptropium maksimum yang mungkin untuk semua gubahan dengan bilangan komponen tertentu. Jelas sekali, komposisi di mana semua komponen berada dalam kepekatan yang sama mempunyai nilai entropi maksimum.
Seperti yang dapat kita lihat, kebarangkalian termodinamik tertinggi akan berlaku apabila molekul-molekul diagihkan secara sama rata ke atas kawasan tersebut. Taburan seragam ini sepadan dengan nilai entropi maksimum.
Perkembangan yang lebih ketat mengenai isu ini diberikan dalam termodinamik statistik. Kami hanya ambil perhatian bahawa nilai entropi maksimum yang sepadan dengan keadaan keseimbangan dianggap hanya sebagai yang paling berkemungkinan. Dalam tempoh masa yang cukup lama, penyimpangan daripadanya adalah mungkin. Dalam sistem makro, ini memerlukan masa susunan astronomi. Dalam jumlah mikroskopik, di dalam badan di sekeliling kita, perubahan sedemikian berlaku secara berterusan.
Jelas daripada ini bahawa proses ini akan berterusan sehingga entropi sistem mencapai maksimum. Keadaan sistem terpencil dengan nilai entropi maksimum ialah keadaan keseimbangan yang stabil.
Jelas daripada ini bahawa proses ini akan berterusan sehingga entropi sistem mencapai maksimum. Keadaan sistem terpencil dengan nilai entropi maksimum ialah keadaan keseimbangan yang stabil.

Sifat statistik undang-undang peningkatan entropi mengikut definisi entropi (III.70), yang menghubungkan fungsi ini dengan kebarangkalian keadaan makroskopik sistem tertentu. Walau bagaimanapun, keadaan keseimbangan, yang sepadan dengan nilai maksimum entropi sistem terpencil, berkemungkinan besar, dan untuk sistem makroskopik maksimum adalah sangat tajam. Hampir keseluruhan isipadu lapisan tenaga sepadan dengan keadaan keseimbangan sistem terpencil makroskopik, dan titik mewakili sistem terletak tepat di rantau ini dengan kebarangkalian hampir kepada perpaduan. Jika sistem tidak berada dalam keadaan yang sepadan dengan nilai keseimbangan parameter makroskopik X (dalam selang DH), ia hampir pasti akan sampai ke keadaan ini; jika sistem sudah dalam keadaan ini, ia akan sangat jarang meninggalkannya.
Sifat statistik undang-undang peningkatan entropi mengikut definisi entropi (II 1.63), yang menghubungkan fungsi ini dengan kebarangkalian keadaan makroskopik sistem tertentu. Walau bagaimanapun, keadaan keseimbangan, yang sepadan dengan nilai maksimum entropi sistem terpencil, berkemungkinan besar, dan untuk sistem makroskopik maksimum adalah sangat tajam. Hampir keseluruhan isipadu lapisan tenaga sepadan dengan keadaan keseimbangan sistem terpencil makroskopik, dan titik mewakili sistem dengan ketepatan yang hampir kepada perpaduan terletak tepat di rantau ini; nilai parameter makroskopik X sepadan (dalam selang AX), dia hampir pasti akan datang ke keadaan ini; jika sistem sudah dalam keadaan ini, ia akan sangat jarang meninggalkannya.
Keadaan keseimbangan yang paling umum berikutan daripada pernyataan hukum kedua termodinamik tentang pertumbuhan entropi sistem terpencil secara adiabatik apabila proses tak boleh balik berlaku di dalamnya. Jika keadaan tertentu sistem sedemikian dicirikan oleh nilai entropi maksimum, maka keadaan ini tidak boleh menjadi tidak seimbang, kerana jika tidak, semasa kelonggaran, entropi sistem akan meningkat mengikut undang-undang kedua, yang tidak konsisten dengan andaian maksimumnya. Akibatnya, keadaan entropi maksimum sistem terpencil adalah keadaan yang mencukupi untuk keseimbangannya.