เอนโทรปี หลักการเอนโทรปีสูงสุด

ทฤษฎีสารสนเทศ

ต้นกำเนิดของทฤษฎีสารสนเทศคือ Claude Shannon ซึ่งในปี 1947-1948 ได้ทำงานในประเด็นเรื่องประสิทธิภาพของระบบการสื่อสาร เป็นผลให้มีการกำหนดเป้าหมายของทฤษฎีนี้ - เพื่อเพิ่มขีดความสามารถของช่องทางการสื่อสาร ระบบที่มีประสิทธิภาพคือระบบที่มีเงื่อนไขและต้นทุนเท่ากันในการส่งข้อมูลเพิ่มเติม โดยทั่วไปแล้ว การวิเคราะห์จะพิจารณาวัตถุ ได้แก่ แหล่งที่มาของข้อมูลและช่องทางในการส่งข้อมูล

จึงมีเหตุการณ์บางอย่าง ข้อมูลเกี่ยวกับพวกเขาในรูปแบบสัญลักษณ์ในรูปแบบของสัญญาณจะถูกส่งผ่านช่องทางการสื่อสาร อาจเป็นที่ถกเถียงกันอยู่ว่าช่องจะดีหากตรงตามเงื่อนไขสองประการ ประการแรกข้อมูลจะถูกส่งผ่านด้วยความเร็วสูงและประการที่สองการรบกวนที่ส่งผลต่อการส่งข้อมูลจะลดคุณภาพของข้อมูลลงเล็กน้อย เพื่อที่จะค้นหาเงื่อนไขในการถ่ายโอนจำเป็นต้องป้อนข้อมูลบางอย่าง

หลักการพื้นฐานของทฤษฎีสารสนเทศปรากฏชัดเจนที่สุดโดยมีแหล่งข้อมูลแยกจากกันและช่องทางเดียวกัน ดังนั้นเราจะเริ่มทำความคุ้นเคยกับหัวข้อนี้ด้วยสมมติฐานนี้

1.1 การวัดปริมาณข้อมูล

ขั้นแรก เรามาทำความเข้าใจว่าอะไรที่เหมาะสมในการส่งสัญญาณผ่านช่องสัญญาณ

หากผู้รับรู้ว่าข้อมูลใดจะถูกส่ง ก็เห็นได้ชัดว่าไม่จำเป็นต้องส่งข้อมูลนั้น มันสมเหตุสมผลแล้วที่จะถ่ายทอดเฉพาะสิ่งที่ไม่คาดคิดเท่านั้น ยิ่งเซอร์ไพรส์มากเท่าไรก็ยิ่งมีข้อมูลในงานนี้มากขึ้นเท่านั้น ตัวอย่างเช่น คุณทำงานที่คอมพิวเตอร์ ข้อความว่างานวันนี้ต้องเสร็จภายใน 45 นาที ตามกำหนดการไม่น่าจะใหม่สำหรับคุณ สิ่งนี้ชัดเจนก่อนที่จะมีการประกาศยุติงาน ดังนั้นข้อความดังกล่าวจึงไม่มีข้อมูล ไม่มีประโยชน์ที่จะส่งต่อมันต่อไป และตอนนี้อีกตัวอย่างหนึ่ง ข้อความมีดังนี้: ภายในหนึ่งชั่วโมงเจ้านายของคุณจะมอบตั๋วเครื่องบินไปมอสโคว์และขากลับให้คุณและจะจัดสรรเงินจำนวนหนึ่งเพื่อความบันเทิงด้วย ข้อมูลประเภทนี้เป็นสิ่งที่ไม่คาดคิดสำหรับคุณ ดังนั้นจึงประกอบด้วยหน่วยการวัดจำนวนมาก นี่เป็นข้อความประเภทที่เหมาะสมในการถ่ายทอดผ่านช่องทาง ข้อสรุปนั้นง่ายมาก: ยิ่งข้อความมีความประหลาดใจมากเท่าใด ข้อมูลก็ยิ่งมีมากขึ้นเท่านั้น

ความประหลาดใจนั้นมีลักษณะเฉพาะคือความน่าจะเป็น ซึ่งรวมอยู่ในการวัดข้อมูล

ตัวอย่างเพิ่มเติมบางส่วน เรามีกล่องสองกล่อง กล่องหนึ่งมีลูกบอลสีขาว และอีกกล่องมีลูกบอลสีดำ ในข้อความที่มีลูกบอลสีขาวมีข้อมูลมากน้อยเพียงใด ความน่าจะเป็นที่กล่องใดกล่องหนึ่งจะมีลูกบอลสีขาวคือ 0.5 ลองเรียกความน่าจะเป็นนี้ขึ้นกับประสบการณ์หรือ นิรนัย .

ตอนนี้เราเอาลูกบอลหนึ่งลูกออกมา ไม่ว่าเราจะหยิบลูกบอลลูกไหนออกมา หลังจากการทดลองดังกล่าว เราจะรู้ได้อย่างแน่ชัดว่าลูกบอลสีขาวอยู่ในกล่องไหน ดังนั้นความน่าจะเป็นของข้อมูลจะเท่ากับ 1 ความน่าจะเป็นนี้เรียกว่าหลังจากการทดลองหรือ หลัง .

ลองดูตัวอย่างนี้จากมุมมองของปริมาณข้อมูล ดังนั้นเราจึงมีแหล่งข้อมูล - กล่องที่มีลูกบอล ในตอนแรกความไม่แน่นอนเกี่ยวกับลูกบอลถูกกำหนดโดยความน่าจะเป็น 0.5 จากนั้นแหล่งข่าวก็ “พูด” และให้ข้อมูล เราดึงลูกบอลออกมา นอกจากนี้ ทุกอย่างถูกกำหนดด้วยความน่าจะเป็น 1 มีเหตุผลที่จะลดระดับความไม่แน่นอนเกี่ยวกับเหตุการณ์อันเป็นผลมาจากประสบการณ์เป็นการวัดข้อมูลเชิงปริมาณ ในตัวอย่างของเรา มันจะเป็น 1/0.5

ตอนนี้ตัวอย่างมีความซับซ้อนมากขึ้น เป็นที่รู้กันว่าขนาดชิ้นส่วนสามารถเป็น 120,121,122, . - .,180 มม. คือมีค่าใดค่าหนึ่งจาก 61 ค่า ความน่าจะเป็นก่อนหน้าที่ขนาดชิ้นส่วน i mm คือ 1/61

เรามีเครื่องมือวัดที่ไม่สมบูรณ์แบบมากซึ่งช่วยให้สามารถวัดชิ้นส่วนด้วยความแม่นยำ +5.-5 มม. จากการวัดขนาดคือ 130 มม. แต่จริงๆ แล้วอาจเป็น 125,126, . - .,135 มม.; เพียง 11 ค่า จากผลของการทดลอง ความไม่แน่นอนยังคงอยู่ ซึ่งมีลักษณะเฉพาะคือความน่าจะเป็นด้านหลังที่ 1/11 ระดับความไม่แน่นอนที่ลดลงจะเป็น (1/11):(1/61) ดังที่กล่าวข้างต้น อัตราส่วนนี้คือปริมาณข้อมูล

ฟังก์ชันลอการิทึมสะดวกที่สุดในการสะท้อนปริมาณข้อมูล ฐานของลอการิทึมถือเป็นสอง ให้เราแสดงจำนวนข้อมูล
- ความน่าจะเป็นนิรนัย
- ความน่าจะเป็นหลัง แล้ว,

. (1)

ในตัวอย่างแรก
ข้อมูล 1 บิต; ในวินาที
ข้อมูล 2.46 บิต บิต – หนึ่งหน่วยข้อมูลไบนารี .

ตอนนี้เรามาดูแหล่งข้อมูลที่แท้จริงซึ่งเป็นชุดของเหตุการณ์อิสระ (ข้อความ) ที่มีความน่าจะเป็นเชิงนิรนัยที่แตกต่างกัน
- ชุดนี้แสดงถึงข้อมูลเกี่ยวกับพารามิเตอร์ของออบเจ็กต์และมีข้อมูลเกี่ยวกับมัน โดยปกติ หลังจากที่แหล่งที่มาออกข้อความ จะทราบได้อย่างน่าเชื่อถือว่าออกพารามิเตอร์ใด ความน่าจะเป็นหลังเท่ากับ 1 จำนวนข้อมูลในแต่ละเหตุการณ์จะเท่ากับ

. (2)

ค่านี้จะมากกว่าศูนย์เสมอ เหตุการณ์มากมาย ข้อมูลมากมาย นี่ไม่สะดวกเลยสำหรับการระบุแหล่งที่มา ดังนั้นจึงมีการแนะนำแนวคิดของเอนโทรปี เอนโทรปีคือจำนวนข้อมูลโดยเฉลี่ยต่อเหตุการณ์ (ข้อความ) ของแหล่งที่มา - พบได้ตามกฎในการพิจารณาความคาดหวังทางคณิตศาสตร์:

. (3)

หรือกำหนดคุณสมบัติของฟังก์ชันลอการิทึม

. (4)

บิต/ข้อความของมิติเอนโทรปี ให้เราอาศัยคุณสมบัติของเอนโทรปี เริ่มต้นด้วยตัวอย่าง สมมติว่ามีแหล่งข้อมูลไบนารีที่มีความน่าจะเป็นของเหตุการณ์ต่างๆ และ สร้างกลุ่มให้สมบูรณ์ จากนี้ไปตามความเชื่อมโยงระหว่างพวกเขา:
- มาหาเอนโทรปีของแหล่งที่มากัน:

ไม่ใช่เรื่องยากที่จะเห็นว่าถ้าหนึ่งในความน่าจะเป็นมีค่าเท่ากับศูนย์ ค่าที่สองจะเท่ากับ 1 และนิพจน์เอนโทรปีจะให้ค่าเป็นศูนย์

ลองพลอตการพึ่งพาเอนโทรปีกัน
(รูปที่ 1)

โปรดทราบว่าเอนโทรปีมีค่าสูงสุดที่ความน่าจะเป็นเท่ากับ 0.5 และจะเป็นค่าบวกเสมอ

คุณสมบัติแรกของเอนโทรปี . เอนโทรปีมีค่าสูงสุดสำหรับเหตุการณ์ที่น่าจะเป็นไปได้เท่ากันในแหล่งที่มา ในตัวอย่างแหล่งไบนารีของเรา ค่านี้คือ 1 หากแหล่งที่มาไม่ใช่ไบนารี่และมี เอ็น คำแล้วเอนโทรปีสูงสุด

คุณสมบัติที่สองของเอนโทรปี ถ้าความน่าจะเป็นของข้อความต้นฉบับหนึ่งคือ 1 และข้อความอื่นๆ เป็นศูนย์ เนื่องจากก่อให้เกิดกลุ่มเหตุการณ์ที่สมบูรณ์ เอนโทรปีจะเป็นศูนย์- แหล่งที่มาดังกล่าวไม่ได้สร้างข้อมูล

คุณสมบัติที่สามของเอนโทรปีคือทฤษฎีบทการบวกเอนโทรปี - ลองดูคำถามนี้โดยละเอียด สมมติว่ามีแหล่งข้อมูลสองแหล่งที่แสดงโดยชุดข้อความ และ .

แต่ละแหล่งมีเอนโทรปี
และ
- จากนั้น แหล่งที่มาเหล่านี้จะถูกรวมเข้าด้วยกัน และจำเป็นต้องค้นหาเอนโทรปีของวงดนตรีที่รวมกัน
- ข้อความแต่ละคู่ และ สอดคล้องกับความน่าจะเป็น
- จำนวนข้อมูลในคู่ดังกล่าวจะเป็น

ดำเนินการในลักษณะที่ทราบกันดี เราจะค้นหาจำนวนข้อมูลโดยเฉลี่ยต่อคู่ข้อความทั้งมวล นี่จะเป็นเอนโทรปี จริงอยู่อาจมีสองกรณีที่นี่ วงดนตรีที่รวมกันสามารถเป็นอิสระและขึ้นอยู่กับทางสถิติ

พิจารณากรณีแรกของวงดนตรีอิสระ การปรากฏตัวของข้อความ ไม่มีการกำหนดไว้แต่อย่างใด - ลองเขียนนิพจน์สำหรับเอนโทรปี:

, (7)

ที่นี่
- จำนวนข้อความในวงดนตรี

เนื่องจากมีความเป็นอิสระ ความน่าจะเป็นสองมิติ , a จากสูตรก่อนหน้าทั่วไปที่เราได้รับ

ที่ไหน
และ
ถูกกำหนดโดยสูตรที่รู้จัก

ต่อไปเราจะพิจารณากรณีที่ซับซ้อนมากขึ้น ให้เราสมมติว่าชุดข้อความมีความเชื่อมโยงทางสถิตินั่นคือ มีความน่าจะเป็นบ่งบอกถึงลักษณะที่ปรากฏ - ข้อเท็จจริงข้อนี้มีลักษณะเฉพาะด้วยความน่าจะเป็นแบบมีเงื่อนไข
- เครื่องหมายทับในสัญลักษณ์แสดงลักษณะเฉพาะของเงื่อนไข ด้วยการแนะนำความน่าจะเป็นแบบมีเงื่อนไข ความน่าจะเป็นแบบสองมิติสามารถกำหนดได้จากผลคูณของความน่าจะเป็นแบบหนึ่งมิติ:

เมื่อคำนึงถึงสิ่งนี้ ให้เราค้นหาสำนวนสำหรับเอนโทรปี การแปลงเป็นดังนี้:

เมื่อผลรวมของความน่าจะเป็นของเหตุการณ์ทั้งหมดเท่ากับ 1 ผลรวมสองเท่าตัวแรกในนิพจน์สุดท้ายจะให้ค่าเอนโทรปีของแหล่งกำเนิด X, H(x)

ผลรวมสองเท่าที่สองเรียกว่าเอนโทรปีแบบมีเงื่อนไขและแสดงเป็น
- ดังนั้น,

ในทำนองเดียวกันสามารถพิสูจน์ได้ว่า

ในนิพจน์สุดท้าย เราพบเอนโทรปีแบบมีเงื่อนไข ซึ่งถูกกำหนดโดยการเชื่อมโยงระหว่างกลุ่มข้อความที่รวมกัน หากวงดนตรีมีความเป็นอิสระทางสถิติ
และเอนโทรปีแบบมีเงื่อนไข
- ส่งผลให้เราได้สูตรที่เป็นที่รู้จัก

หากข้อความขึ้นอยู่กับการเชื่อมต่อโดยสิ้นเชิง นั่นคือข้อความเหล่านั้นอยู่ในการเชื่อมต่อที่ใช้งานได้
รับหนึ่งในสองค่า: 1 เมื่อใด
หรือ 0 เมื่อ
- เอนโทรปีแบบมีเงื่อนไขจะเท่ากับ 0 เนื่องจากข้อความชุดที่สองไม่มีความประหลาดใจ ดังนั้นจึงไม่มีข้อมูล

หลังจากแนะนำเอนโทรปีและคุณสมบัติของมันแล้ว เรากลับมาที่แหล่งข้อมูลเพียงแห่งเดียวกัน คุณควรรู้ว่าแหล่งข้อมูลใด ๆ ใช้งานได้ในเวลาปัจจุบัน สัญลักษณ์ (เครื่องหมาย) ของมันครอบครองตำแหน่งที่แน่นอนในลำดับ แหล่งข้อมูลเรียกว่านิ่งหากความน่าจะเป็นของสัญลักษณ์ไม่ได้ขึ้นอยู่กับตำแหน่งของสัญลักษณ์ในลำดับและอีกหนึ่งคำจำกัดความ สัญลักษณ์แหล่งที่มาสามารถมีความสัมพันธ์ทางสถิติ (ความน่าจะเป็น) ซึ่งกันและกัน แหล่งข้อมูลตามหลักสรีรศาสตร์คือแหล่งข้อมูลที่ความสัมพันธ์ทางสถิติระหว่างสัญญาณขยายไปจนถึงสัญลักษณ์ก่อนหน้าจำนวนจำกัดหากการเชื่อมต่อนี้ครอบคลุมสัญญาณใกล้เคียงเพียงสองสัญญาณเท่านั้น แหล่งกำเนิดดังกล่าวจะเรียกว่าลูกโซ่มาร์คอฟที่เชื่อมต่ออย่างง่าย นี่คือแหล่งที่มาที่เราจะพิจารณาตอนนี้ รูปแบบการสร้างสัญลักษณ์ตามแหล่งที่มาจะแสดงในรูปที่ 1 2.

การปรากฏตัวของสัญลักษณ์ ขึ้นอยู่กับตัวละครตัวไหน แหล่งข่าวแจ้งไว้เมื่อคราวที่แล้ว การพึ่งพาอาศัยกันนี้ถูกกำหนดโดยความน่าจะเป็น
- เรามาค้นหาเอนโทรปีของแหล่งกำเนิดดังกล่าวกัน เราจะเริ่มจากความเข้าใจทั่วไปเกี่ยวกับเอนโทรปีเป็นความคาดหวังทางคณิตศาสตร์ของปริมาณข้อมูล สมมติว่ามีอักขระสองตัวปรากฏดังแสดงในรูปที่ 1 2. จำนวนข้อมูลในสถานการณ์ดังกล่าวจะได้รับจากแหล่งที่มา

โดยการเฉลี่ยจำนวนนี้กับสัญลักษณ์ที่ตามมาที่เป็นไปได้ทั้งหมด เราจะได้เอนโทรปีบางส่วน โดยมีเงื่อนไขว่าจะต้องให้สัญลักษณ์ก่อนหน้าเสมอ :

. (13)

อีกครั้งหนึ่ง เมื่อเฉลี่ยเอนโทรปีบางส่วนนี้เหนือสัญลักษณ์ก่อนหน้าทั้งหมด เราได้ผลลัพธ์สุดท้าย:

ดัชนี 2 ในการกำหนดเอนโทรปีบ่งชี้ว่าความสัมพันธ์ทางสถิติขยายออกไปเพียงสองสัญลักษณ์ที่อยู่ติดกัน

ให้เราอาศัยคุณสมบัติของเอนโทรปีของแหล่งกำเนิดตามหลักสรีรศาสตร์

เมื่อสัญลักษณ์ในแหล่งกำเนิดมีความเป็นอิสระ
สูตร (14) ถูกทำให้ง่ายขึ้นและลดขนาดลงเป็นรูปแบบปกติ (4)

การมีการเชื่อมต่อทางสถิติ (ความน่าจะเป็น) ระหว่างสัญลักษณ์แหล่งที่มามักจะทำให้เอนโทรปีลดลง
.

ดังนั้น แหล่งข้อมูลจะมีเอนโทรปีสูงสุดหากตรงตามเงื่อนไขสองข้อ นั่นคือ สัญลักษณ์ทั้งหมดของแหล่งข้อมูลมีความน่าจะเป็นเท่ากัน (คุณสมบัติเอนโทรปี) และไม่มีความเชื่อมโยงทางสถิติระหว่างสัญลักษณ์ของแหล่งข้อมูล

เพื่อแสดงให้เห็นว่าสัญลักษณ์แหล่งที่มาถูกใช้ได้ดีเพียงใด จึงมีการใช้พารามิเตอร์สำรอง :

. (15)

ขนาด อยู่ในช่วงตั้งแต่ 0 ถึง 1

ทัศนคติต่อพารามิเตอร์นี้เป็นสองเท่า ในด้านหนึ่ง ยิ่งมีความซ้ำซ้อนน้อยลง แหล่งที่มาก็จะทำงานได้อย่างมีประสิทธิภาพมากขึ้นเท่านั้น ในทางกลับกัน ยิ่งมีความซ้ำซ้อนมาก การรบกวนและสัญญาณรบกวนก็จะน้อยลงส่งผลต่อการส่งข้อมูลจากแหล่งดังกล่าวไปยังผู้บริโภค ตัวอย่างเช่น การมีความสัมพันธ์ทางสถิติระหว่างสัญลักษณ์จะเพิ่มความซ้ำซ้อน แต่ในขณะเดียวกันก็เพิ่มความเที่ยงตรงในการส่งข้อมูลด้วย อักขระที่หายไปแต่ละตัวสามารถคาดเดาและกู้คืนได้

ลองดูตัวอย่าง แหล่งที่มาคือตัวอักษรของอักษรรัสเซียมีทั้งหมด 32 ตัว ให้เราพิจารณาเอนโทรปีสูงสุด:
บิต/ข้อความ

เนื่องจากมีความสัมพันธ์ทางสถิติระหว่างตัวอักษรและความน่าจะเป็นที่จะปรากฏในข้อความจึงห่างไกลจากความเหมือนกัน เอนโทรปีที่แท้จริงจึงเท่ากับ 3 บิต/ข้อความ ดังนั้นความซ้ำซ้อน
.

ลักษณะเฉพาะถัดไปของแหล่งที่มาคือประสิทธิภาพ มันแสดงลักษณะความเร็วของการสร้างข้อมูลตามแหล่งที่มา สมมติว่าจดหมายแต่ละฉบับของแหล่งที่มาออกในช่วงระยะเวลาหนึ่ง - โดยเฉลี่ยเวลาเหล่านี้ เราจะหาเวลาเฉลี่ยในการออกข้อความหนึ่งข้อความ - จำนวนข้อมูลเฉลี่ยที่ผลิตโดยแหล่งที่มาต่อหน่วยเวลา - ผลผลิตจากแหล่งที่มา
:

. (16)

เอาล่ะ เรามาสรุปกัน ลักษณะของแหล่งข้อมูลตามหลักสรีรศาสตร์มีดังนี้:

จำนวนข้อมูลในแต่ละป้าย

เอนโทรปี,

ความซ้ำซ้อน

ผลงาน.

ควรสังเกตว่าจุดแข็งของการวัดปริมาณข้อมูลที่แนะนำและแน่นอนว่าลักษณะทั้งหมดคือความเป็นสากล แนวคิดทั้งหมดที่นำเสนอข้างต้นใช้ได้กับข้อมูลทุกประเภท: สังคมวิทยา เทคนิค ฯลฯ จุดอ่อนของการวัดคือไม่ได้สะท้อนถึงความสำคัญของข้อมูลและคุณค่าของมัน ข้อมูลถูกปากกาและหวยรถยนต์ก็มีความสำคัญไม่แพ้กัน

1.2. ลักษณะข้อมูลของช่อง

ให้เราจำไว้ว่าข้อมูลจะถูกส่งผ่านช่องทางการสื่อสาร ก่อนหน้านี้เราได้แนะนำลักษณะข้อมูลของแหล่งข้อมูล และตอนนี้ เราจะแนะนำลักษณะข้อมูลของช่องทาง ลองจินตนาการถึงสถานการณ์ดังแสดงในรูปที่ 1 1.

ข้าว. 1

ที่ช่องอินพุตจะมีตัวอักษรอินพุตประกอบด้วยอักขระหลายตัว และที่เอาต์พุต - .

ป
เรามาแสดงช่องทางการสื่อสารด้วยแบบจำลองทางคณิตศาสตร์กันดีกว่า การแสดงช่องทางแยกที่มีชื่อเสียงที่สุดอยู่ในรูปแบบของกราฟ โหนดกราฟได้รับโดย ( ) และถ่ายทอด ( ) ตัวอักษร; ขอบสะท้อนถึงการเชื่อมต่อที่เป็นไปได้ระหว่างตัวอักษรเหล่านี้ (รูปที่ 2)

ความสัมพันธ์ระหว่างตัวอักษรมักจะประเมินโดยความน่าจะเป็นแบบมีเงื่อนไข เช่น
ความน่าจะเป็นของการยอมรับ โดยมีเงื่อนไขว่าจะโอน - นี่คือความน่าจะเป็นของการรับที่ถูกต้อง ในทำนองเดียวกัน เราสามารถแนะนำความน่าจะเป็นแบบมีเงื่อนไขของเทคนิคที่ผิดพลาดได้ เช่น
- สาเหตุของการปรากฏตัวของความน่าจะเป็นที่ไม่เป็นศูนย์เหล่านี้เกิดจากการรบกวน ซึ่งไม่มีช่องสัญญาณจริงใดว่างเลย โปรดทราบว่า n และ m จำนวนอักขระ (ตัวอักษร) ในอาร์เรย์ที่ส่งและรับไม่จำเป็นต้องเท่ากัน จากโมเดลนี้ จะมีการแนะนำคำจำกัดความเพิ่มเติม

ช่องสมมาตร – นี่คือช่องทางที่ความน่าจะเป็นของการรับที่ถูกต้องสำหรับสัญลักษณ์ทั้งหมดเท่ากัน และความน่าจะเป็นของการรับที่ผิดพลาดก็เท่ากัน สำหรับช่องสัญญาณดังกล่าว ความน่าจะเป็นแบบมีเงื่อนไขสามารถเขียนได้ดังนี้

ที่นี่ – ความน่าจะเป็นของการรับที่ผิดพลาด หากความน่าจะเป็นนี้ไม่ได้ขึ้นอยู่กับอักขระที่ถูกส่งก่อนสัญลักษณ์ที่กำหนด ช่องดังกล่าวจะเรียกว่า " ช่องที่ไม่มีหน่วยความจำ "ตามตัวอย่าง รูปที่ 3 ด้านล่างแสดงกราฟของช่องสัญญาณไบนารีแบบสมมาตรที่ไม่มีหน่วยความจำ

ร
เป็น. 3

ให้เราสมมติเพิ่มเติมว่าตัวอักษรที่เอาต์พุตของช่องสัญญาณมีสัญลักษณ์เพิ่มเติม ซึ่งจะปรากฏขึ้นเมื่อตัวถอดรหัสตัวรับไม่สามารถจดจำสัญลักษณ์ที่ส่งได้ ในกรณีนี้เขาเริ่มปฏิเสธที่จะตัดสินใจ ตำแหน่งนี้เรียกว่าการลบล้าง ช่องนี้มีชื่อว่า ช่องที่ไม่มีหน่วยความจำพร้อมการลบ และกราฟจะแสดงในรูป 4. ตำแหน่ง "การลบ" จะแสดงที่นี่ด้วยเครื่องหมายคำถาม

ร
เป็น. 4.

ช่องทางที่ง่ายที่สุดที่มีหน่วยความจำคือ ช่องมาร์คอฟ - ในนั้นความน่าจะเป็นของข้อผิดพลาดขึ้นอยู่กับว่าได้รับสัญลักษณ์ก่อนหน้าอย่างถูกต้องหรือผิดพลาด

นอกจากกราฟช่องทางการสื่อสารแล้วยังมีคำอธิบายอีกประการหนึ่งคือ เมทริกซ์ช่อง - นี่คือเซตของความน่าจะเป็นแบบมีเงื่อนไข
หรือ
- ร่วมกับความน่าจะเป็นแบบนิรนัย
และ
ทำให้ได้ภาพสถิติช่องสัญญาณรบกวนครบถ้วน ตัวอย่างเช่น ลองดูที่เมทริกซ์ช่องสัญญาณ

.

สำหรับแหล่งที่มาที่มีข้อความที่ต้องพึ่งพา เอนโทรปียังถูกคำนวณเป็นความคาดหวังทางคณิตศาสตร์ของจำนวนข้อมูลต่อองค์ประกอบของข้อความเหล่านี้ ปริมาณข้อมูลและเอนโทรปีเป็นหน่วยวัดลอการิทึมและวัดในหน่วยเดียวกัน

6. เอนโทรปีของแหล่งข้อมูลที่เป็นอิสระทางสถิติรวมกันจะเท่ากับผลรวมของเอนโทรปี 7. เอนโทรปีแสดงถึงความไม่แน่นอนโดยเฉลี่ยของการเลือกสถานะหนึ่งจากวงดนตรี โดยไม่สนใจด้านสำคัญของวงดนตรีโดยสิ้นเชิง ECOSYSTEM ENTROPY คือการวัดความผิดปกติของระบบนิเวศหรือปริมาณพลังงานที่ไม่สามารถใช้งานได้ ยิ่งดัชนีเอนโทรปีสูงเท่าไร ระบบนิเวศก็ยิ่งมีความเสถียรน้อยลงตามเวลาและพื้นที่

4.1.2. เอนโทรปีและประสิทธิภาพของแหล่งข้อความที่ไม่ต่อเนื่อง

ข้อความใดๆ เหล่านี้อธิบายสถานะของระบบฟิสิคัลบางระบบ เราเห็นว่าระดับความไม่แน่นอนของระบบทางกายภาพนั้นไม่ได้ถูกกำหนดโดยจำนวนสถานะที่เป็นไปได้เท่านั้น แต่ยังพิจารณาจากความน่าจะเป็นของรัฐด้วย ในการวัดความไม่แน่นอนเชิงนิรนัยของระบบ (หรือตัวแปรสุ่มที่ไม่ต่อเนื่อง) ทฤษฎีสารสนเทศจะใช้คุณลักษณะพิเศษที่เรียกว่าเอนโทรปี

เอนโทรปี ดังที่เราจะเห็นในภายหลัง มีคุณสมบัติหลายประการที่พิสูจน์ให้เห็นถึงการเลือกเป็นลักษณะของระดับความไม่แน่นอน ท้ายที่สุด นี่คือสิ่งที่สำคัญที่สุด มันมีคุณสมบัติของการบวก กล่าวคือ เมื่อระบบอิสระหลายระบบรวมกันเป็นหนึ่งเดียว เอนโทรปีของพวกมันก็รวมกัน หากเลือกหมายเลข 10 เป็นฐาน เราจะพูดถึง "หน่วยทศนิยม" ของเอนโทรปี ถ้า 2 - เกี่ยวกับ "หน่วยไบนารี"

ขอให้เราพิสูจน์ว่าเอนโทรปีของระบบที่มีชุดสถานะจำกัดถึงค่าสูงสุดเมื่อทุกสถานะมีความน่าจะเป็นเท่ากัน ตัวอย่างที่ 3 พิจารณาค่าเอนโทรปีสูงสุดที่เป็นไปได้ของระบบที่ประกอบด้วยสามองค์ประกอบ ซึ่งแต่ละองค์ประกอบสามารถอยู่ในสถานะที่เป็นไปได้สี่สถานะ

ควรสังเกตว่าค่าเอนโทรปีที่ได้รับในกรณีนี้จะน้อยกว่าแหล่งที่มาของข้อความอิสระ สิ่งนี้ตามมาจากข้อเท็จจริงที่ว่าเมื่อมีการพึ่งพาข้อความ ความไม่แน่นอนในการเลือกจะลดลง และด้วยเหตุนี้ เอนโทรปีจึงลดลง เรามาพิจารณาเอนโทรปีของแหล่งไบนารีกัน กราฟของการพึ่งพา (4.4) แสดงไว้ในรูปที่ 1 4.1. จากกราฟดังต่อไปนี้ เอนโทรปีของแหล่งไบนารีจะแตกต่างกันไปจากศูนย์ถึงหนึ่ง

คุณสมบัติพื้นฐานของเอนโทรปี

โดยปกติจะสังเกตเห็นว่าเอนโทรปีแสดงลักษณะเฉพาะของการแจกแจงความน่าจะเป็นที่กำหนดในแง่ของระดับความไม่แน่นอนในผลลัพธ์ของการทดสอบ กล่าวคือ ความไม่แน่นอนในการเลือกข้อความเฉพาะ อันที่จริง มันเป็นเรื่องง่ายที่จะตรวจสอบว่าเอนโทรปีเป็นศูนย์ ถ้าหากความน่าจะเป็นอย่างหนึ่งมีค่าเท่ากับหนึ่ง และค่าอื่นๆ ทั้งหมดมีค่าเท่ากับศูนย์ นี่หมายถึงความมั่นใจในการเลือกอย่างสมบูรณ์

การตีความแนวคิดเรื่องเอนโทรปีด้วยภาพอีกแบบหนึ่งนั้นเป็นไปได้โดยเป็นการวัด "ความหลากหลาย" ของข้อความที่สร้างขึ้นโดยแหล่งที่มา เป็นเรื่องง่ายที่จะเห็นว่าคุณสมบัติข้างต้นของเอนโทรปีค่อนข้างสอดคล้องกับแนวคิดสัญชาตญาณในการวัดความหลากหลาย เป็นเรื่องปกติที่จะสันนิษฐานว่ายิ่งความเป็นไปได้ในการเลือกองค์ประกอบนี้มีความหลากหลายมากขึ้น ปริมาณข้อมูลที่มีอยู่ในองค์ประกอบข้อความก็จะยิ่งมากขึ้นเท่านั้น

นิพจน์ที่แสดงถึงความคาดหวังทางคณิตศาสตร์ของปริมาณข้อมูลในองค์ประกอบที่เลือกสำหรับแหล่งที่มาที่อยู่ในสถานะที่ i สามารถเรียกว่าเอนโทรปีของสถานะนี้ได้ เอนโทรปีแหล่งที่มาต่อองค์ประกอบข้อความที่กำหนดไว้ข้างต้นขึ้นอยู่กับวิธีการแบ่งข้อความออกเป็นองค์ประกอบต่างๆ เช่น การเลือกตัวอักษร อย่างไรก็ตาม เอนโทรปีมีคุณสมบัติที่สำคัญของการเติม

ให้เราทราบคุณสมบัติบางประการของเอนโทรปี เอนโทรปี นี่อาจเป็นหนึ่งในแนวคิดที่ยากที่สุดในการทำความเข้าใจที่คุณสามารถพบได้ในหลักสูตรฟิสิกส์ อย่างน้อยก็ในวิชาฟิสิกส์คลาสสิก

ตัวอย่างเช่น หากคุณถามฉันว่าฉันอาศัยอยู่ที่ไหน และฉันตอบว่า: ในรัสเซีย เอนโทรปีของฉันสำหรับคุณจะสูง เพราะรัสเซียเป็นประเทศใหญ่ ถ้าฉันบอกรหัสไปรษณีย์ของฉัน: 603081 เอนโทรปีของฉันสำหรับคุณจะลดลงเพราะคุณจะได้รับข้อมูลเพิ่มเติม

เอนโทรปีความรู้ของคุณเกี่ยวกับฉันลดลงประมาณ 6 ตัวอักษร จะเกิดอะไรขึ้นถ้าฉันบอกคุณว่าผลรวมคือ 59? แมโครสเตตนี้มีเพียง 10 ไมโครสเตตที่เป็นไปได้ ดังนั้นเอนโทรปีจึงเป็นเพียงสัญลักษณ์เดียว อย่างที่คุณเห็น Macrostate ที่ต่างกันมีเอนโทรปีต่างกัน เราวัดเอนโทรปีเป็นจำนวนสัญลักษณ์ที่จำเป็นในการเขียนจำนวนไมโครสเตต

กล่าวอีกนัยหนึ่ง เอนโทรปีคือวิธีที่เราอธิบายระบบ ตัวอย่างเช่น ถ้าเราให้ความร้อนแก่แก๊สเล็กน้อย ความเร็วของอนุภาคของมันจะเพิ่มขึ้น ดังนั้นระดับความไม่รู้ของเราเกี่ยวกับความเร็วนี้จะเพิ่มขึ้น นั่นคือ เอนโทรปีจะเพิ่มขึ้น หรือถ้าเราเพิ่มปริมาตรของก๊าซโดยการดึงลูกสูบกลับ ความไม่รู้ของเราเกี่ยวกับตำแหน่งของอนุภาคก็จะเพิ่มขึ้น และเอนโทรปีก็จะเพิ่มขึ้นด้วย

ในแง่หนึ่ง สิ่งนี้เป็นการขยายความเป็นไปได้ของการใช้เอนโทรปีในการวิเคราะห์ปรากฏการณ์ต่างๆ มากมาย แต่ในทางกลับกัน จำเป็นต้องมีการประเมินสถานการณ์ใหม่ๆ เพิ่มเติม ประการแรก จักรวาลไม่ใช่วัตถุจำกัดธรรมดาที่มีขอบเขต แต่เป็นอนันต์ในมิติเวลาและอวกาศ

งานสูงสุด - ในอุณหพลศาสตร์ 1) งานที่ทำโดยวัสดุฉนวนความร้อน ข้อความใดๆ ที่เราจัดการในทฤษฎีสารสนเทศคือชุดของข้อมูลเกี่ยวกับระบบทางกายภาพบางอย่าง แน่นอนว่าหากทราบสถานะของระบบกายภาพล่วงหน้า จะไม่มีประโยชน์ในการส่งข้อความ

แน่นอนว่าข้อมูลที่ได้รับเกี่ยวกับระบบโดยทั่วไปจะมีคุณค่าและมีความหมายมากขึ้น ยิ่งความไม่แน่นอนของระบบก่อนที่จะได้รับข้อมูลนี้ (“นิรนัย”) ก็จะมากขึ้นเท่านั้น เพื่อตอบคำถามนี้ เราจะเปรียบเทียบสองระบบ ซึ่งแต่ละระบบมีความไม่แน่นอนอยู่บ้าง

อย่างไรก็ตาม โดยทั่วไปจะไม่เป็นเช่นนั้น ตัวอย่างเช่น พิจารณาอุปกรณ์ทางเทคนิคที่สามารถมีได้สองสถานะ: 1) ใช้งานได้ และ 2) ชำรุด เราเน้นย้ำว่าในการอธิบายระดับความไม่แน่นอนของระบบนั้นไม่สำคัญอย่างยิ่งว่าค่าใดจะถูกเขียนไว้ที่แถวบนสุดของตาราง เฉพาะจำนวนค่าเหล่านี้และความน่าจะเป็นเท่านั้นที่สำคัญ แนวคิดเรื่องเอนโทรปีเป็นพื้นฐานในทฤษฎีสารสนเทศ

จำนวนข้อมูลนี้เรียกว่าเอนโทรปี สมมติว่าบางข้อความมีองค์ประกอบของตัวอักษร องค์ประกอบ ฯลฯ ปริมาณนี้เรียกว่าเอนโทรปีของแหล่งข้อความ 3. เอนโทรปีจะสูงสุดหากสถานะขององค์ประกอบข้อความทั้งหมดมีความน่าจะเป็นเท่ากัน ในทฤษฎีสารสนเทศ ได้รับการพิสูจน์แล้วว่าเสมอ เช่น การมีอยู่ของการเชื่อมต่อที่น่าจะเป็นจะช่วยลดเอนโทรปีของแหล่งข้อความ

อารัมภบท 113 ความหมายของหลักการเอนโทรปีสูงสุด

การแจกแจงกฎกำลังสามารถเกิดขึ้นได้เป็นผลมาจากหลักการของเอนโทรปีสูงสุด เราเห็นสิ่งนี้ในบทนำ 111 และในบทนำ 112 เราได้อธิบายแบบจำลองการชนกันแบบทวีคูณที่สร้างขึ้นบนพื้นฐานนี้ ซึ่งพัฒนาการกระจายกฎกำลังบนชุดของวัตถุบางชุด .

อย่างไรก็ตาม เพื่อที่จะใช้แบบจำลองนี้อย่างเหมาะสมเพื่ออธิบายที่มาของการกระจายกฎกำลังซึ่งสังเกตได้ในระบบธรรมชาติและระบบของมนุษย์ต่างๆ จำเป็นต้องพิจารณารากฐานทั้งสองของมันอย่างใกล้ชิด - หลักการของเอนโทรปีสูงสุดและการคูณของ การโต้ตอบ เราจะพยายามคิดถึงความหมาย "ปรัชญา" ของพวกเขา มาเริ่มกันตามลำดับด้วยหลักการของเอนโทรปีสูงสุด

การตีความหลักการเอนโทรปีสูงสุดสองครั้ง

ในการตีความนี้ หลักการของเอนโทรปีสูงสุดสะท้อนกฎข้อที่สองของอุณหพลศาสตร์ซึ่งเป็นกฎพื้นฐานของฟิสิกส์อย่างชัดเจน ซึ่งเอนโทรปีของระบบปิดสามารถเพิ่มหรือยังคงไม่เปลี่ยนแปลง แต่ไม่ลดลง มันตามมาโดยตรงจากนี้ว่าถ้าเราเอาระบบปิดใด ๆ ที่ยังคงอยู่เช่นนั้น เพียงพอเป็นเวลานานเราจะพบว่ามันอยู่ในสภาวะที่มีเอนโทรปีสูงสุด

อย่างไรก็ตาม ในอดีต หลักการของเอนโทรปีสูงสุดมีต้นกำเนิดมาจากแหล่งกำเนิดที่แตกต่างไปจากเดิมอย่างสิ้นเชิง ไม่ใช่จากอุณหพลศาสตร์ แต่มาจากทฤษฎีความน่าจะเป็น และแหล่งข้อมูลนี้เองที่ให้การตีความหลักการเอนโทรปีสูงสุดครั้งที่สอง ซึ่งอาจเป็นพื้นฐานมากกว่า สามารถกำหนดได้ดังนี้: จากสมมติฐานทั้งหมดเกี่ยวกับรูปร่างของการแจกแจงของตัวแปรสุ่ม เราควรเลือกอันที่มีค่าเอนโทรปีของการแจกแจงสูงสุด โดยคำนึงถึงข้อจำกัดที่กำหนดโดยความรู้ของเราเกี่ยวกับระบบ.

ในตอนต้นของศตวรรษที่ 18 เจค็อบ เบอร์นูลลีได้ใคร่ครวญถึงรากฐานของทฤษฎีความน่าจะเป็น และได้กำหนด "หลักการของสาเหตุที่ไม่เพียงพอ" ซึ่งถือเป็นบรรพบุรุษของหลักการของเอนโทรปีสูงสุด ให้เราพิจารณาผลลัพธ์ทางเลือกสองทางและไม่เกิดร่วมกัน กและ บี- หลักการของเบอร์นูลลีระบุว่า ถ้าเราไม่มีข้อมูลเกี่ยวกับความน่าจะเป็นของผลลัพธ์เหล่านี้ ก็ควรถือว่ามีความน่าจะเป็นเท่ากัน นั่นคือภายใต้เงื่อนไขเหล่านี้ เรามีเหตุผลไม่เพียงพอที่จะกำหนดผลลัพธ์อย่างใดอย่างหนึ่งให้มีความน่าจะเป็นที่สูงกว่าผลลัพธ์อื่น โปรดทราบว่าจากมุมมองของเบอร์นูลลี ความน่าจะเป็นสะท้อนความรู้ของเราเกี่ยวกับเรื่องนี้ หากเราไม่มีความรู้เกี่ยวกับเรื่องนี้ (ยกเว้นว่าผลลัพธ์ทั้งสองเป็นไปได้) ความน่าจะเป็นก็ควรจะถือว่าเท่ากัน การแจกแจงความน่าจะเป็นอื่นๆ จะต้องมีพื้นฐาน เหตุผลตามความรู้ของเราเกี่ยวกับกฎหมายที่ควบคุมหัวข้อนั้น

ดังนั้น แต่ละผลลัพธ์ควรถือว่ามีความน่าจะเป็นเท่ากัน เว้นแต่จะมีเหตุผลให้ตัดสินใจเลือกที่แตกต่างกัน หากผลลัพธ์ที่แตกต่างกันมีค่าต่างกันของปริมาณบางจำนวน เราต้องถือว่าการแจกแจงความน่าจะเป็นสม่ำเสมอ ดังที่เราทราบ การกระจายตัวแบบเอกพันธ์มีเอนโทรปีสูงสุด แต่เบอร์นูลลีไม่ได้พูดถึงเอนโทรปี - เขาอาศัยและทำงานเมื่อสองศตวรรษก่อนที่แนวคิดนี้จะปรากฏขึ้น เพื่อมาจากหลักการของสาเหตุที่ไม่เพียงพอไปสู่หลักการของเอนโทรปีสูงสุดจำเป็นต้องดำเนินการหลายขั้นตอน - และเส้นทางนี้เสร็จสมบูรณ์ในกลางศตวรรษที่ 20 เท่านั้นและขั้นตอนสุดท้ายเกี่ยวข้องกับงานของนักฟิสิกส์ชาวอเมริกัน เอ็ดวิน เจย์เนส.

จากหลักการของสาเหตุที่ไม่เพียงพอไปสู่หลักการของเอนโทรปีสูงสุด

อย่างไรก็ตาม เรามีแนวคิดสมัยใหม่ที่สามารถเดินทางเส้นทางนี้ได้เร็วขึ้นมากโดยตรง ดูเหมือนง่ายมาก - แต่จากความรู้ของเราในปัจจุบันเท่านั้น ถึงกระนั้น เบอร์นูลลีก็สามารถเป็นผู้ค้นพบทั้งหลักการของเอนโทรปีสูงสุดและแคลคูลัสเอนโทรปี/ข้อมูลเอง เขาสามารถมีได้ถ้าเขาเชื่อเพิ่มอีกนิดในความสามารถในการอธิบายของตัวเลข - และเขาก็เชื่อในมันอย่างแน่นอน เนื่องจากไม่ใช่เพื่ออะไรที่เขากลายเป็นหนึ่งในผู้ก่อตั้งทฤษฎีความน่าจะเป็น

ดังนั้น เมื่อเรามีสองผลลัพธ์ทางเลือก A และ B และไม่มีใครทราบสิ่งใดอีก หลักการของเหตุผลที่ไม่เพียงพอกำหนดให้เราต้องสันนิษฐานว่าผลลัพธ์เหล่านี้มีแนวโน้มเท่ากัน: พี เอ=พี บี=1/2. นี่คือวิธีที่เราแนะนำอคติขั้นต่ำในสมมติฐานของเราเกี่ยวกับความน่าจะเป็นของผลลัพธ์ สมมติว่ามีฟังก์ชันบางอย่างของความน่าจะเป็นเหล่านี้ H(พี ก ,พี ข)ซึ่งกลายเป็นค่าสูงสุดหาก พี เอ=พี บี=1/2 (หรือเราอาจยอมรับได้ว่าในเงื่อนไขเหล่านี้ มีน้อยมาก ซึ่งไม่สำคัญ) ให้เราแสดงขั้นต่ำนี้เป็น สูง(1/2,1/2)- เราสามารถพูดอะไรเพิ่มเติมเกี่ยวกับฟังก์ชันนี้โดยพิจารณาจากการพิจารณาทั่วไปได้หรือไม่?

ค่อนข้างจะเป็นเช่นนั้น และจาค็อบ เบอร์นูลลีก็เป็นผู้เชี่ยวชาญในเรื่องดังกล่าว อันดับแรก โปรดทราบว่าถ้าเรามีผลลัพธ์ A ที่เป็นไปได้เพียงผลลัพธ์เดียว ผลลัพธ์ก็จะมีความน่าจะเป็นเพียง 1 รายการโดยอัตโนมัติ ซึ่งหมายความว่าไม่มีความรู้เพิ่มเติมที่เราสามารถนำเข้ามาซึ่งอาจส่งผลต่อการประเมินความน่าจะเป็นของผลลัพธ์ได้ นั่นคือเรามีความรู้ที่สมบูรณ์เกี่ยวกับผลลัพธ์ ในกรณีนี้ มีเหตุผลที่จะคาดหวังว่าฟังก์ชันของเรา ซึ่งสะท้อนถึงปริมาณความรู้ที่เรานำเข้ามาในการประเมินผลลัพธ์ จะใช้ค่าขั้นต่ำ เช่น ศูนย์: เอช(1) = 0.

นอกจากนี้ เราสังเกตว่าเมื่อสถานการณ์ของทางเลือกที่เป็นไปได้สองทางได้รับการแก้ไขไม่ทางใดก็ทางหนึ่ง เราจะพบว่าตัวเองอยู่ในสถานการณ์ที่มีผลลัพธ์ที่เป็นไปได้เพียงผลลัพธ์เดียว นั่นคือผลลัพธ์ที่เลือกโดยบังเอิญ สิ่งที่เกิดขึ้นในขณะนี้กับฟังก์ชั่น ชม- มันลดลงจากค่า สูง(1/2,1/2)ถึงคุณค่า เอช(1)= 0 ความแตกต่างนี้: สูง(1/2,1/2)-เอช(1) = สูง(1/2,1/2)มีความสมเหตุสมผลที่จะนับจำนวนความรู้ที่เราได้รับเกี่ยวกับผลลัพธ์ที่น่าจะเป็นไปได้สองประการที่เท่าเทียมกันเมื่อทางเลือกอื่นได้รับการแก้ไข หรือมิฉะนั้น จำนวนความไม่รู้หรือความไม่แน่นอนในสถานการณ์เริ่มแรกซึ่งมีผลลัพธ์ที่น่าจะเป็นไปได้เท่ากันสองประการ ในภาษาสมัยใหม่ ปริมาณนี้เรียกว่าเอนโทรปี

แจ้งให้เราทราบว่าผลลัพธ์อาจมีได้สี่แบบ A, B, C, D และไม่มีอะไรเพิ่มเติม หลักการของเหตุผลที่ไม่เพียงพอกำหนดให้เราต้องกำหนดความน่าจะเป็นที่เท่ากันด้วย พี เอ=พี บี=พี ซี=พี ดี=1/4. แต่ค่าของฟังก์ชันคืออะไร? H(พี ก,พี บี,พี ซี,พี ดี)ในกรณีนี้? ตรรกะเบื้องต้นนำไปสู่ข้อสรุปว่ามูลค่าของมันควรจะมากกว่าสองเท่าของกรณีของผลลัพธ์ที่เป็นไปได้ที่น่าจะเป็นไปได้เท่ากันสองรายการ: 2* สูง(1/2,1/2)- อันที่จริง ให้ผลลัพธ์ A, B ในด้านหนึ่งและ C, D อีกด้านหนึ่งคล้ายกันมาก หากเราไม่ใส่ใจมากนักหรือไม่ระมัดระวังมากนักเราก็ไม่อาจแยกแยะออกจากกันได้ จากนั้นเรากลับมาที่กรณีที่มีผลลัพธ์สองประการและความไม่แน่นอนของสถานการณ์เท่ากับ สูง(1/2,1/2)- แต่เรามองอย่างใกล้ชิดและเห็นว่าในความเป็นจริง เมื่อเราเห็นผลอย่างหนึ่ง จริงๆ แล้วมีสองผลลัพธ์ที่ใกล้เคียงกัน เรากำลังเผชิญกับภารกิจในการเลือกการแจกแจงความน่าจะเป็นที่ "ยุติธรรม" ที่สุดระหว่างพวกเขาอีกครั้ง และมันจะเป็นการแจกแจงแบบสม่ำเสมออีกครั้ง และยิ่งเพิ่มความไม่แน่นอนเข้าไปด้วย สูง(1/2,1/2)- ดังนั้นสำหรับสถานการณ์ที่มีทางเลือกที่เป็นไปได้สี่ทางเท่ากัน สูง(1/4,1/4,1/4,1/4) = 2*สูง(1/2,1/2)- จากการอุปนัยอย่างต่อเนื่อง เราจะกำหนดได้ว่าสำหรับสถานการณ์ที่มีผลลัพธ์แปดประการ จำนวนความไม่แน่นอนคือ 3* สูง(1/2,1/2)ฯลฯ

ฉันเชื่อว่าผู้อ่านเข้าใจว่าการได้มาของคุณสมบัติฟังก์ชันของเรา ชมเกิดขึ้นพร้อมกับตรรกะที่นำไปสู่ปริมาณข้อมูล/สมการเอนโทรปีของฮาร์ตลีย์ ถ้าเราแทนจำนวนผลลัพธ์ที่เป็นไปได้เท่ากัน เอ็น, เอนโทรปีของฮาร์ตลีย์เท่ากับ

เราได้รับการแนะนำให้รู้จักกับเส้นทางง่ายๆ ที่นำจากสูตรของ Hartley ไปสู่สูตรของ Shannon - Jacob Bernoulli น่าจะค้นพบมันได้อย่างง่ายดาย และถ้าเบอร์นูลลีมีสูตรนี้ไว้ใช้ เขาก็สามารถวัดระดับความไม่แน่นอนของการแจกแจงความน่าจะเป็นได้ และสร้างหลักการตามที่เราควรกำหนดความน่าจะเป็นให้กับผลลัพธ์ เพื่อให้เอนโทรปีของการแจกแจงเป็นค่าสูงสุดของค่าที่อนุญาตทั้งหมด - นี่คือหลักการของเอนโทรปีสูงสุด

อย่างไรก็ตาม ประวัติศาสตร์ไม่รู้จักอารมณ์ที่ผนวกเข้ามา และวิทยาศาสตร์ก็มีจังหวะที่สบายๆ ในตัวมันเอง

โดยสรุป เป็นที่น่าสังเกตว่าขั้นตอนสำคัญคือขั้นตอนแรกสุด ซึ่งเราถือว่าการมีอยู่ของฟังก์ชันบางอย่าง ชมถึงจุดสูงสุดเพื่อผลลัพธ์ที่น่าจะเป็นไปได้เท่าเทียมกัน ทุกสิ่งทุกอย่างม้วนออกมาเหมือนลูกบอล นี่เป็นการยืนยันเพิ่มเติมถึงผลประโยชน์ หลักการสุดโต่งเมื่อเราพิจารณาสถานะปกติหรือสถานะที่ถูกต้องของระบบให้เป็นสถานะที่ฟังก์ชันบางอย่างของสถานะถึงค่าสูงสุด

หลักการสำคัญของหลักการเอนโทรปีสูงสุดคือมีการตีความได้ 2 แบบ (มาจากแหล่งที่ต่างกัน 2 แห่ง) ซึ่งแม้จะมองแวบแรกก็มีความหมายที่แตกต่างกันอย่างสิ้นเชิง ในการตีความซึ่งมีประวัติย้อนกลับไปถึงหลักการของเบอร์นูลลี เรากำลังพูดถึง กฎสำหรับการจัดระเบียบคำอธิบายของโลกของเรา- เราต้องอธิบายโลกในลักษณะที่จะไม่กำหนดอคติของเราซึ่งแสดงออกมาในการกำหนดความน่าจะเป็นที่ไม่ยุติธรรมให้กับเหตุการณ์ต่างๆ แต่ละครั้งเราควรเลือกคำอธิบายที่ไม่มีอะไรนอกจากสิ่งที่เรารู้แน่นอน นี่คือกฎการเรียนรู้ที่ช่วยให้คุณหลีกเลี่ยงการบิดเบือนคำอธิบายของความเป็นจริง

การตีความทางกายภาพโดยเฉพาะอย่างยิ่งเราสามารถรับการกระจายพลังงานของโมเลกุลของก๊าซในอุดมคติได้ กล่าวอะไรบางอย่างที่แตกต่างออกไป มันกำหนดกฎเกณฑ์ที่ไม่ได้ควบคุมคำอธิบายความเป็นจริงของเรา แต่เป็นตัวความเป็นจริงเอง- หากระบบทางกายภาพอยู่ภายใต้กฎหมายบางอย่างและไม่มีอะไรอื่นใด การกระจายตัวของพารามิเตอร์ในระบบ 1) จะสอดคล้องกับกฎนี้ และ 2) จะมีเอนโทรปีสูงสุดระหว่างการแจกแจงที่อนุญาต คำสั่งนี้ ไม่เกี่ยวกับว่าเราจะอธิบายโลกได้ดีขึ้นอย่างไร แต่เกี่ยวกับโลกด้วย.

เมื่อแถลงการณ์นักวิทยาศาสตร์ด้านความรู้ความเข้าใจกล่าวว่าโครงสร้างของโลกสอดคล้องกับโครงสร้างของจิตสำนึกของเรา เรากำลังพูดถึง "ความบังเอิญ" ที่น่าทึ่งเหล่านี้อย่างชัดเจน: ทางเลือกที่ดีที่สุดในการสร้างคำอธิบายเกี่ยวกับโลกของเราก็เป็นทางเลือกที่ดีที่สุดจากธรรมชาติด้วย

ด้วยเหตุนี้จึงสามารถโต้แย้งได้ว่าหลักการของแบร์นูลลีช่วยให้เราได้รับการอธิบายความเป็นจริงที่เป็นไปได้มากขึ้น และด้วยเหตุผลนี้เท่านั้นจึงจะถือว่าเป็นจริงได้ อย่างไรก็ตาม เบอร์นูลลีไม่ได้รับมันจากประสบการณ์เลย โดยไม่ได้เปรียบเทียบกับความเป็นจริง เขาหยิบยกมันขึ้นมาตามความต้องการของตรรกะ ขึ้นอยู่กับคุณสมบัติของเหตุผลและโครงสร้างเชิงนามธรรมของมัน (ยิ่งกว่านั้น เขาได้ตระหนักถึงปัญหาใหญ่ด้วยคุณค่าเชิงปฏิบัติของหลักการของเขาในรูปแบบดั้งเดิม - เฉพาะในสถานการณ์ที่หายากมากในปรากฏการณ์ทางธรรมชาติเท่านั้นที่เราจะเห็นผลลัพธ์ที่มีความน่าจะเป็นเท่ากัน) แต่ปรากฎว่าโลกอยู่ภายใต้ ตรรกะเดียวกันและดูเหมือนว่าจะมีความคิดเดียวกันเช่นเดียวกับเราเอง

เราสามารถชื่นชมความเป็นคู่อันน่าประหลาดใจของหลักการเอนโทรปีสูงสุดนี้ได้ดีขึ้น โดยเปรียบเทียบกับหลักการที่เกี่ยวข้องกับอุดมการณ์ข้อหนึ่งซึ่งมีโชคร้ายที่ถูกกำหนดไว้อย่างดี เราจะพยายามแก้ไขปัญหานี้

มีดโกนของ Occam และหลักการของความซับซ้อนขั้นต่ำ

ญาติสนิทของหลักการของเหตุผลที่ไม่เพียงพอคือมีดโกนของ Occam ที่มีชื่อเสียง นี่เป็นกฎที่เชิญชวนให้เราเลือกคำอธิบายที่ง่ายที่สุดซึ่งมีจำนวนเอนทิตีและพารามิเตอร์ขั้นต่ำ การปฏิรูปการศึกษาสำนึกนี้ทำให้ความเกี่ยวข้องของหลักการทั้งสองนั้นง่ายต่อการแยกแยะ: ในบรรดาคำอธิบายทางเลือกทั้งหมด เราควรเลือกคำอธิบายที่มีความซับซ้อนเชิงโครงสร้างหรืออัลกอริทึมขั้นต่ำ- ประเด็นก็คือคุณควรเลือกโมเดลหรือคำอธิบายที่มีอัลกอริธึมที่ง่ายที่สุด "ความซับซ้อนของอัลกอริทึม" ไม่ใช่เพียงคำพูด แต่เป็นปริมาณเชิงปริมาณที่มีความสัมพันธ์โดยตรงกับเอนโทรปี/ข้อมูล เรียกอีกอย่างว่าเอนโทรปีของอัลกอริทึมหรือ ความซับซ้อนของโคลโมโกรอฟตั้งชื่อตามนักคณิตศาสตร์ชาวรัสเซีย A. N. Kolmogorov ซึ่งนำปริมาณนี้ไปใช้ทางวิทยาศาสตร์ ความซับซ้อนของ Kolmogorov ของสตริงอักขระที่กำหนดจะถูกวัดตามความยาวของโปรแกรมหรืออัลกอริธึมที่จำเป็นในการทำซ้ำสตริงนั้น ยิ่งมีการจัดระเบียบสตริงอักขระที่ซับซ้อนมากขึ้นเท่าใด โปรแกรมที่จำเป็นในการทำซ้ำก็จะยิ่งนานขึ้นเท่านั้น แน่นอนว่าความยาวของโปรแกรมขึ้นอยู่กับภาษาการเขียนโปรแกรม อย่างไรก็ตาม ปัจจัยนี้สามารถถูกละเลยได้ โดยสมมติว่าเราเขียนโปรแกรมด้วยภาษาในอุดมคติ ประหยัดที่สุด และกระชับที่สุด

ตัวอย่างเช่น ให้สัญกรณ์ต่อไปนี้ในภาษาอุดมคตินี้หมายถึงการใช้สตริง "AB" และทำซ้ำ 10 ครั้ง:

เราสามารถพูดได้ว่าความซับซ้อนของอัลกอริทึมของบรรทัดนี้เท่ากับ 5 อักขระ - นี่คือความยาวของโปรแกรมที่สั้นที่สุดที่สร้างบรรทัดนี้พอดี

อีกตัวอย่างหนึ่ง: สตริงที่กำหนดจำนวน 20 อักขระมีความซับซ้อนของอัลกอริทึมที่ 12 อักขระ เนื่องจากนั่นคือความยาวของโปรแกรมที่สร้างมันขึ้นมา:

ให้เราใส่ใจกับประเด็นสำคัญ: สิ่งนี้ ไม่เป็นระบบสตริงอักขระในแง่ที่เราไม่เห็นระบบที่จะช่วยให้เราย่ออัลกอริทึมให้สั้นลง แต่นั่นไม่ได้หมายความว่ามันเป็น สุ่มลำดับของอักขระ หากเราต้องสืบพันธุ์อย่างแน่นอน สุ่มลำดับเราควรจะใช้โปรแกรมอื่น:

สิ่งนี้ขัดแย้งกัน: สตริงสุ่มที่สมบูรณ์ดูเหมือนจะมีความซับซ้อนเช่นเดียวกับสตริงที่เรียงลำดับอย่างสมบูรณ์ แต่ในความเป็นจริง มันไม่ใช่สตริงที่เป็นเนื้อเดียวกันหรือสตริงสุ่มที่มีความซับซ้อนสูงสุด แต่เป็นสตริงที่ไม่เป็นระบบซึ่งไม่ได้สุ่มเลย แต่ในทางกลับกัน สม่ำเสมอมาก สิ่งนี้เข้าใจง่าย: ลองจินตนาการว่าเราสุ่มเอานิ้วจิ้มเข้าไปในหนังสือที่เปิดอยู่และ เสมอเราก็ลงเอยด้วยคำเดียวกัน เห็นได้ชัดว่าสถานการณ์นี้แตกต่างโดยพื้นฐานจากสถานการณ์เมื่อเราใช้คำที่แตกต่างกันโดยไม่ได้ตั้งใจ เราจะเห็นความสำคัญของความแตกต่างนี้อีกสักหน่อย

โปรดทราบว่าแม้จะมีความสัมพันธ์ที่ดูเหมือนจะห่างไกลอย่างสิ้นเชิงระหว่างความซับซ้อนตาม Kolmogorov และเอนโทรปีตาม Shannon และ Hartley แต่ในความเป็นจริงมันเป็นไปได้ที่จะแสดงความสัมพันธ์ที่ลึกซึ้ง - แต่เราจะไม่พูดถึงหัวข้อนี้ที่นี่

ดังนั้น เราสามารถดูแบบจำลองหรือคำอธิบายบางอย่างเป็นอัลกอริธึมที่สร้างชุดคุณสมบัติที่ต้องการ ("สตริง" ที่จำเป็น) จากนั้นมีดโกนของ Occam จะต้องเลือกคำอธิบายที่มีเอนโทรปีของอัลกอริทึมน้อยที่สุด

เรื่องราวทางประวัติศาสตร์ที่สามารถใช้เป็นตัวอย่างสถานการณ์ซึ่งหลักการนี้จะเป็นประโยชน์คือการเผชิญหน้าระหว่างระบบของปโตเลมีและโคเปอร์นิคัส ระบบทอเลมีเป็นแบบจำลองของจักรวาลตามความเชื่อทางศาสนาที่ไร้เดียงสาที่ว่าโลกควรเป็นศูนย์กลางของจักรวาล:

เทห์ฟากฟ้า รวมทั้งดวงอาทิตย์ โคจรรอบโลกในวงโคจร อย่างไรก็ตามแม้จะมีความถูกต้องทางอุดมการณ์ของการออกแบบนี้ แต่ก็มีข้อเสียเปรียบอยู่บ้าง: ภายในกรอบของมันมันเป็นไปไม่ได้ที่จะอธิบายปรากฏการณ์ของการเปลี่ยนทิศทางการเคลื่อนที่ของดาวเคราะห์ทั่วห้องนิรภัยแห่งสวรรค์ สมมติว่าดาวพฤหัสบดีเคลื่อนตัวสัมพันธ์กับดวงดาวต่างๆ อย่างต่อเนื่องเป็นเวลาหลายสัปดาห์ แต่แล้วมันก็วนซ้ำและเคลื่อนไปในทิศทางตรงกันข้ามสักพักหนึ่ง แล้วกลับไปสู่การเคลื่อนไหวที่ “ถูกต้อง” เพื่ออธิบายปรากฏการณ์นี้ ปโตเลมีได้แนะนำสิ่งที่เรียกว่า epicycles เข้าสู่ระบบของเขา - เขาสันนิษฐานว่านอกเหนือจากการหมุนรอบโลกแล้ว แสงสว่างแต่ละดวงยังหมุนเพิ่มเติมในวงโคจรเล็ก ๆ รอบจุดศูนย์กลางที่แน่นอน ซึ่งจะหมุนรอบโลกในวงโคจรเป็นวงกลม . จากนั้นช่วงเวลาที่ดาวพฤหัสบดีเคลื่อนถอยหลังไปตามวงโคจร เราจะเห็นการเปลี่ยนแปลงในทิศทางการเคลื่อนที่ข้ามท้องฟ้า

โคเปอร์นิคัสเสนอระบบอื่น: ดวงอาทิตย์อยู่ตรงกลาง (ผู้อ่านคงเคยได้ยินมามาก) ระบบโคเปอร์นิคัสสามารถอธิบายวงโคจรของดาวพฤหัสบดีและผู้ทรงคุณวุฒิอื่นๆ ได้โดยไม่ต้องอาศัยอีพิไซเคิล การเคลื่อนที่แบบวงกลมธรรมดาของดาวเคราะห์ก็เพียงพอแล้วสำหรับเราจากโลกที่บางครั้งจะมองเห็นวงโคจรในการเคลื่อนที่ของดาวเคราะห์ แม้ว่าการคาดการณ์การเคลื่อนที่ของดาวเคราะห์ทั่วนภาจะไม่แม่นยำ แต่ระบบโคเปอร์นิคัสก็มีความซับซ้อนของอัลกอริทึมน้อยกว่าอย่างเห็นได้ชัด และในขณะเดียวกันก็สามารถ "สร้างเส้นที่ถูกต้องขึ้นมาใหม่ได้" ดังนั้น หากเราได้รับคำแนะนำจากหลักการของ Occam เราควรเลือกระบบโคเปอร์นิคัสมากกว่า

แต่มีดโกนของ Occam มีความคล้ายคลึงในคุณสมบัติของความเป็นจริงเช่นเดียวกับหลักการของสาเหตุที่ไม่เพียงพอหรือไม่? ผู้เขียนมั่นใจในคำตอบเชิงบวก ลองกำหนดมัน, เรียกมันว่ากัน หลักการของความซับซ้อนของโครงสร้างขั้นต่ำ: ระบบที่อาจจะมีโครงสร้างที่แตกต่างกันได้มีโครงสร้างที่มีความซับซ้อนน้อยที่สุดตาม Kolmogorov โดยคำนึงถึงข้อกำหนดภายนอกสำหรับคุณสมบัติของระบบนี้.

นี่คือจุดที่ความแตกต่างระหว่างสตริงสุ่มและสตริงปกติกลายเป็นเรื่องสำคัญ โดยการบันทึกตำแหน่งและความเร็วของโมเลกุลในภาชนะที่มีก๊าซ แต่ละครั้งเราจะได้รับชุดตัวเลขที่ใกล้เคียงกับการสุ่ม - “สตริงสุ่ม” แต่ถ้าเราได้ผลเหมือนเดิมทุกครั้ง แสดงว่าระบบอยู่ในสถานะที่มีโครงสร้างซับซ้อนอย่างยิ่ง

โปรดทราบว่ามีตัวอย่างที่สำคัญมากสำหรับเราเกี่ยวกับโครงสร้างที่มีความซับซ้อนของอัลกอริธึมต่ำ: แฟร็กทัลพัฒนาอันเป็นผลมาจากการทำซ้ำของการแปลงการสร้างเดียวกันที่ใช้กับระดับสเกลที่แตกต่างกัน ในทางอัลกอริทึม สิ่งเหล่านี้เป็นโครงสร้างที่เรียบง่าย บางทีหลักการของความซับซ้อนของโครงสร้างขั้นต่ำสามารถอธิบายความชุกของโครงสร้างแฟร็กทัลที่ครอบคลุมในปรากฏการณ์ต่างๆ ของโลกได้

อย่างไรก็ตาม นี่ยังเป็นเพียงแนวคิดที่คลุมเครือเท่านั้น

ต่อไป เราจะได้เห็นว่าหลักการของเอนโทรปีสูงสุดเกี่ยวข้องกับกฎข้อที่สองของอุณหพลศาสตร์อย่างไร แต่บางทีหลักการของความซับซ้อนของโครงสร้างขั้นต่ำอาจบอกเราอีกผลที่ตามมาของหลักการที่สอง สามารถกำหนดได้ดังนี้: หาก ณ จุดเริ่มแรกโครงสร้างของระบบไม่ซับซ้อนน้อยที่สุดก็จะพัฒนาไปในทิศทางของความซับซ้อนที่ลดลงจนถึงจุดต่ำสุดที่เป็นไปได้.

หากการตีความกฎข้อที่สองของอุณหพลศาสตร์ถูกต้อง ก็จะมีคำถามเกิดขึ้นตามการตีความตามปกติ: หากเอนโทรปีของโลกในฐานะระบบเพิ่มขึ้นเท่านั้น ทำไมเอกภพจึงยังไม่ถึงสถานะของเอนโทรปีสูงสุด (และโครงสร้างขั้นต่ำ ความซับซ้อน) ซึ่งเรียกว่า "การตายด้วยความร้อน"? วิทยาศาสตร์ไม่สามารถตอบคำถามนี้ได้ บางที - นักวัตถุนิยมชอบคำตอบนี้ - เธอยังไม่มีเวลา หรือบางทีจักรวาลของเราอาจไม่ใช่ระบบปิด แต่เป็นระบบเปิดและจากที่ไหนสักแห่งที่ได้รับทรัพยากรที่ช่วยให้สามารถรับมือกับกฎข้อที่สองของอุณหพลศาสตร์ได้ ความคิดเห็นนี้แบ่งปันโดยนักอุดมคติซึ่งผู้เขียนนับรวมตัวเองด้วย เรายังมีความรู้ไม่เพียงพอที่จะยุติภาวะที่กลืนไม่เข้าคายไม่ออกนี้

ให้เราสรุปบทนำนี้ด้วยการ "แบ่งปันผิวหนังของหมีที่ไร้ฝีมือ" และชื่นชมความจริงที่ว่ามีดโกนของ Occam ไม่เพียงแต่สามารถตัดสิ่งที่ไม่จำเป็นทั้งหมดออกจากโครงสร้างทางจิตของเราเท่านั้น แต่ยังตัดสิ่งที่ไม่จำเป็นทั้งหมดออกจากโครงสร้างของโลกด้วย เพื่อให้ปรากฏต่อหน้าเราในรูปลักษณ์ที่เรียบง่ายและสง่างามที่สุดเท่าที่จะเป็นไปได้ เราจะไม่นึกถึงไลบ์นิซที่เชื่อว่าเราอยู่ในโลกที่ดีที่สุดเท่าที่จะเป็นไปได้ได้อย่างไร

ด้วยการค้นหาค่าสูงสุดของเอนโทรปี เราได้กฎการกระจายตัวของโมเลกุลระหว่างระดับพลังงาน ซึ่งคล้ายคลึงกับกรณีคลาสสิกโดยสิ้นเชิง
และแสดงถึงค่าเอนโทรปีสูงสุด
หากมีค่าเอนโทรปีสูงสุด H (x, y) ระบบจะไม่มีการจัดระเบียบและค่าของ x และ y จะไม่เกี่ยวข้องกัน
เป็นไปไม่ได้ที่จะพิสูจน์ความจำเป็นในการใช้ค่าเอนโทรปีสูงสุดสำหรับสถานะสมดุลของระบบโดยยึดตามสมการทางอุณหพลศาสตร์ทั่วไป อย่างไรก็ตาม ความสมดุลเป็นไปไม่ได้ที่ค่าเอนโทรปีที่ไม่สูงสุด
สูตร (1.1) เป็นการแสดงออกถึงค่าสูงสุดของเอนโทรปี (1.8) เมื่อสถานะที่เป็นไปได้ทั้งหมดของระบบมีความน่าจะเป็นเท่ากัน มันจะมีความยุ่งเหยิงที่สุด และด้วยเหตุนี้ เอนโทรปีของระบบจึงควรมีค่ามากที่สุด
กล่าวอีกนัยหนึ่ง ค่าสูงสุดของเอนโทรปีของคู่การกัดกร่อนที่มีสถานะจำกัดจะเท่ากับลอการิทึมของตัวเลขนี้ และไปถึง Smax เมื่อสถานะทั้งหมดมีความน่าจะเป็นเท่ากัน หากทราบสถานะของคู่การกัดกร่อนล่วงหน้า เอนโทรปีของมันจะเป็นศูนย์
สถานะของระบบที่มีค่าเอนโทรปีสูงสุดคือสถานะของสมดุลที่เสถียร อันที่จริงในสถานะนี้ กระบวนการที่ไม่สามารถย้อนกลับได้ไม่สามารถเกิดขึ้นในระบบได้ เนื่องจากไม่เช่นนั้นเอนโทรปีของระบบจะต้องเพิ่มขึ้น ซึ่งไม่เป็นเช่นนั้น
เนื่องจากสถานะสมดุลสอดคล้องกับค่าเอนโทรปีสูงสุด และการไหลในสถานะนี้หายไป พารามิเตอร์ทั้งหมดในสถานะสมดุลจึงกลายเป็นศูนย์
สถานะสมดุลที่แพร่กระจายได้นั้นมีคุณลักษณะด้วยค่าเอนโทรปีสูงสุด (และพลังงานขั้นต่ำและศักย์ทางอุณหพลศาสตร์) แต่สถานะสมดุลอื่น ๆ นั้นเป็นไปได้สำหรับระบบซึ่งสำหรับค่าพลังงานปริมาตรและปริมาณของสารที่เท่ากัน เอนโทรปีมีค่ามากกว่านั้นอีก
หากสมดุลทางอุณหพลศาสตร์ซึ่งสอดคล้องกับค่าสูงสุดของเอนโทรปีเป็นเพียงลักษณะทางสถิติก็ควรคาดหวังการเบี่ยงเบนจากค่าที่น่าจะเป็นไปได้มากที่สุดเมื่อสังเกตในพื้นที่ขนาดเล็กมาก สิ่งที่เกี่ยวข้องกับความผันผวนของความหนาแน่นเหล่านี้คือการกระเจิงของแสงในชั้นบรรยากาศ โดยเฉพาะสีของท้องฟ้า ทฤษฎีของปรากฏการณ์นี้ทำให้สามารถคำนวณจำนวนอาโวกาโดรจากการกระจายสเปกตรัมของความเข้มของแสงที่กระจัดกระจายได้ หากมีอนุภาคขนาดเล็ก แต่ยังคงสังเกตเห็นได้ชัดเจนภายใต้กล้องจุลทรรศน์ (อนุภาคคอลลอยด์) ในของเหลวก็จะมองเห็นการสั่นที่ผิดปกติเนื่องจากผลกระทบของโมเลกุลของเหลวจากด้านต่างๆไม่สมดุลทุกขณะ: อันดับแรก ด้านหนึ่งจากนั้นอีกด้านหนึ่งอนุภาคจะถูกกระแทกโดยโมเลกุลจำนวนมากขึ้น และมันถูกแทนที่ในทิศทางที่สอดคล้องกัน สาระสำคัญของปรากฏการณ์นี้เรียกว่าขบวนการบราวเนียน (เพื่อเป็นเกียรติแก่นักพฤกษศาสตร์ชาวอังกฤษบราวน์) ยังไม่ชัดเจนมาเป็นเวลานาน แต่ภายใต้กล้องจุลทรรศน์ จะสังเกตได้ว่าความเร็วจะมีขนาดต่ำกว่ามากหากถูกกำหนดด้วยวิธีปกติให้เป็นอัตราส่วนของเส้นทางต่อเวลา ในความเป็นจริง ความเร็วของอนุภาคเปลี่ยนทิศทางบ่อยครั้งมากจนการเคลื่อนที่ที่สังเกตได้ของอนุภาคนั้นเป็นเพียงการประมาณคร่าว ๆ ของการเคลื่อนที่ซิกแซกที่แท้จริงเท่านั้น
หากระบบอยู่ในสภาวะสมดุลโดยมีค่าเอนโทรปีสูงสุด กระบวนการที่เป็นไปได้มากที่สุดจะเป็นกระบวนการที่เอนโทรปีของระบบไม่เปลี่ยนแปลง การเปรียบเทียบข้อสรุปเหล่านี้กับกฎข้อที่สองของอุณหพลศาสตร์แสดงให้เห็นถึงความเท่าเทียมกัน
ในตัวอย่างนี้ (โดยมีผลลัพธ์ที่เป็นไปได้สองรายการ) ค่าเอนโทรปีสูงสุดคือหนึ่งหน่วยไบนารี
ควรคำนึงว่าการแจกแจง Flory ให้ค่าเอนโทรปีสูงสุด
การเปลี่ยนแปลงเอนโทรปีของระบบแยกเดี่ยวที่มีมิติจำกัด
โดยพื้นฐานแล้วระบบจะอยู่ในสถานะสมดุลซึ่งสอดคล้องกับค่าสูงสุดของเอนโทรปีของระบบ เมื่อเบี่ยงเบนไปจากสถานะนี้ ระบบก็จะกลับคืนสู่สถานะนั้น เมื่อสังเกตระบบเป็นเวลานาน จะสังเกตได้ว่ากรณีของการเพิ่มขึ้นและลดลงของเอนโทรปีเกิดขึ้นบ่อยเท่าๆ กัน และเวลาที่เกิดซ้ำของการเบี่ยงเบนของระบบจากสถานะสมดุลจะนานขึ้น ความน่าจะเป็นของสิ่งที่ไม่กำหนดก็จะยิ่งน้อยลงเท่านั้น - สภาวะสมดุล เมื่อขนาดระบบเพิ่มขึ้น เวลาในการทำซ้ำจะเพิ่มขึ้นอย่างรวดเร็ว ดังนั้น กระบวนการที่ไม่สามารถกลับคืนสภาพเดิมได้จากมุมมองของอุณหพลศาสตร์ทั่วไป ดูเหมือนว่าในทางปฏิบัติแล้วจะไม่สามารถกลับคืนสภาพเดิมได้จากมุมมองทางสถิติ สถานการณ์นี้ทำให้ทั้งสองสูตรของกฎข้อที่สองของอุณหพลศาสตร์เข้ามาใกล้กันมากขึ้น และกำจัดความแตกต่างที่ระบุไว้ข้างต้นได้ในทางปฏิบัติ
ให้เราพิสูจน์ในกรณีที่ง่ายที่สุด (สำหรับระบบเฟสเดียว) ว่าค่าสูงสุดของเอนโทรปีหรือค่าต่ำสุดของพลังงานอิสระของระบบสอดคล้องกับการกระจายตัวของไอโซโทปที่สมดุล ให้เราสมมติต่อไปว่าสารประกอบ AX มีอะตอม p n ขององค์ประกอบ X ที่มีส่วนร่วมในการแลกเปลี่ยน
จะเห็นได้ว่าสำหรับการกระจายตัวของสถานะ o การกระจายตามกฎปกติจะให้ค่าเอนโทรปีสูงสุด
กระบวนการที่เกิดขึ้นเองในระบบที่แยกได้สามารถดำเนินการไปในทิศทางของการเพิ่มเอนโทรปีเท่านั้น และค่าสูงสุดของเอนโทรปีจะสอดคล้องกับความสมดุล
ด้วยการแนะนำอัตราและการพิจารณาสถานะที่ไม่สมดุลซึ่งเป็นตัวแทนของสิ่งมีชีวิต เราจึงขาดเกณฑ์ที่เชื่อถือได้ เช่น ค่าสูงสุดของเอนโทรปี และเราจะต้องพยายามค้นหาเหตุผลอื่นในการเลือกสถานะที่มีเสถียรภาพ
อุณหภูมิการเปลี่ยนสถานะคล้ายแก้วและการหลอมเหลวของโพลีเมอร์จำนวนหนึ่ง พื้นที่ใช้งาน เมื่อระบบดังกล่าวผิดรูป จำนวนความผิดปกติทางสถิติทั้งหมดจะลดลง ดังนั้นระบบจึงมีแนวโน้มที่จะกลับสู่สถานะที่สอดคล้องกับค่าเอนโทรปีสูงสุด
ความลึกของกระบวนการที่เกิดขึ้นเองนั้นถูกกำหนดโดยค่าเอนโทรปีของแต่ละส่วนซึ่งมีกระบวนการบางอย่างเกิดขึ้น ซึ่งจะหยุดเมื่อถึงค่าเอนโทรปีสูงสุด หลังจากนั้นระบบจะเข้าสู่สภาวะสมดุลทางความร้อน ซึ่งไม่สามารถออกได้เองตามธรรมชาติ .
การกระจายน้ำหนักโมเลกุลของโพลีเฮกซาเมทิลีน adipamide เมื่อได้สมการนี้ จะมีการตั้งสมมติฐานพื้นฐานเกี่ยวกับความเป็นอิสระของปฏิกิริยาของโมเลกุลจากน้ำหนักโมเลกุล เช่นเดียวกับสมมติฐานเกี่ยวกับค่าสูงสุดของเอนโทรปีสำหรับองค์ประกอบเศษส่วนสมดุลที่กำหนด เกี่ยวกับการเปลี่ยนแปลงองค์ประกอบเศษส่วนที่ a เมื่อให้น้ำหนักโมเลกุลเฉลี่ยเนื่องจากการเปลี่ยนแปลงเอนโทรปีเท่านั้น
ความสมดุลของระบบที่ต่างกันนั้นสอดคล้องกับความเท่าเทียมกันของศักย์ทางเคมีของแต่ละส่วนประกอบในทุกเฟส เช่นเดียวกับค่าต่ำสุดของศักย์ไอโซคอริกหรือไอโซบาริก หรือค่าสูงสุดของเอนโทรปีของทั้งระบบภายใต้เงื่อนไขบางประการ หากระบบมีอย่างน้อยหนึ่งเฟส องค์ประกอบที่จะเปลี่ยนแปลงเมื่อเข้าใกล้สมดุล สถานะสมดุลของเฟสและระบบทั้งหมดจะมีคุณลักษณะเป็นค่าคงที่สมดุล เช่น ในระบบที่ประกอบด้วยสารแต่ละชนิดในสถานะควบแน่น และก๊าซ ในระบบที่ประกอบด้วยสารแต่ละชนิดในสถานะควบแน่น ซึ่งองค์ประกอบของเฟสไม่เปลี่ยนแปลงในระหว่างกระบวนการ และกระบวนการจะดำเนินต่อไปจนกระทั่งสารตั้งต้นตัวใดตัวหนึ่งหายไปโดยสิ้นเชิง (ตัวอย่างเช่น การเปลี่ยนแปลงแบบโพลีมอร์ฟิกของสาร) แนวคิดเรื่องค่าคงที่สมดุลใช้ไม่ได้
ความสมดุลของระบบที่ต่างกันนั้นสอดคล้องกับความเท่าเทียมกันของศักย์ทางเคมีของแต่ละส่วนประกอบในทุกเฟส รวมถึงค่าต่ำสุดของศักย์ทางอุณหพลศาสตร์หรือค่าสูงสุดของเอนโทรปีของทั้งระบบภายใต้สภาวะที่เหมาะสม สภาวะที่พบบ่อยที่สุดในทางปฏิบัติคืออุณหภูมิคงที่และความดันคงที่ ดังนั้น เราจะประเมินสมดุลของระบบที่ต่างกันด้วยศักย์ไอโซบาริก
เมื่อคำนึงถึงลักษณะโมเลกุลของสารทำงานและความผันผวนของพารามิเตอร์ภายในนั้นสามารถสังเกตได้ว่าหากไม่มีการสร้างสมดุลในระบบจะไม่สามารถบรรลุค่าเอนโทรปีสูงสุดได้ ความผันผวนทำให้ระบบเข้าสู่สมดุล มันเป็นความผันผวนในระบบที่นำไปสู่ความต้องการเอนโทรปีสูงสุดที่สมดุลเมื่อใดก็ตามที่ไม่ตรงตามเงื่อนไขนี้ กล่าวคือ ระบบถูกนำออกจากสมดุล

ดังนั้นสาเหตุหลักของความยืดหยุ่นในระหว่างการเปลี่ยนรูปในสภาวะยืดหยุ่นสูงและการเกิดความเครียดในตัวอย่างคือการเปลี่ยนแปลงโครงสร้างและการเปลี่ยนจากรูปแบบสมดุลของขดลวดทางสถิติที่มีค่าเอนโทรปีสูงสุดไปเป็นค่าที่ไม่สมดุลโดยลดลง ในเอนโทรปีและการเปลี่ยนแปลงแบบย้อนกลับหลังจากการเสียรูปหยุดลง การมีส่วนร่วมขององค์ประกอบพลังงานในกระบวนการนี้มีน้อย และสำหรับกริดในอุดมคติจะเท่ากับศูนย์
THERMAL DEATH OF THE UNIVERSE - สถานะสุดท้ายของโลกซึ่งคาดว่าจะเกิดขึ้นอันเป็นผลมาจากการเปลี่ยนแปลงของการเคลื่อนไหวทุกรูปแบบอย่างถาวรไปสู่ความร้อนการกระจายความร้อนในอวกาศและการเปลี่ยนแปลงของโลกสู่สภาวะสมดุลด้วย ค่าสูงสุดของเอนโทรปี ข้อสรุปนี้จัดทำขึ้นบนพื้นฐานของการสมบูรณาญาสิทธิราชย์ของกฎข้อที่สองของอุณหพลศาสตร์และการขยายไปสู่จักรวาลทั้งหมด
THERMAL DEATH OF THE UNIVERSE - สถานะสุดท้ายของโลกซึ่งคาดว่าจะเกิดขึ้นอันเป็นผลมาจากการเปลี่ยนแปลงของการเคลื่อนไหวทุกรูปแบบอย่างถาวรไปสู่ความร้อนการกระจายความร้อนในอวกาศและการเปลี่ยนแปลงของโลกสู่สภาวะสมดุลด้วย ค่าสูงสุดของเอนโทรปี ข้อสรุปนี้จัดทำขึ้นบนพื้นฐานของการสมบูรณาญาสิทธิราชย์ของกฎข้อที่สองของอุณหพลศาสตร์และการขยายไปสู่จักรวาลทั้งหมด การก่อตัวของดาวฤกษ์และกาแล็กซีเป็นหนึ่งในปรากฏการณ์ของกระบวนการนี้ การเปลี่ยนแปลงของสสารในจักรวาลที่ไม่สามารถย้อนกลับได้ไม่ได้หมายความถึง k
กฎข้อที่สองของอุณหพลศาสตร์กำหนดว่ากระบวนการที่ไม่สามารถย้อนกลับได้ (และนี่คือกระบวนการทางความร้อนในทางปฏิบัติทั้งหมด และไม่ว่าในกรณีใด กระบวนการที่เกิดขึ้นตามธรรมชาติทั้งหมด) ดำเนินไปในลักษณะที่เอนโทรปีของระบบของวัตถุที่เข้าร่วมในกระบวนการเติบโตขึ้น โดยมีแนวโน้มที่จะ ค่าสูงสุด ค่าสูงสุดของเอนโทรปีจะเกิดขึ้นได้เมื่อระบบเข้าสู่สภาวะสมดุล
คุณสมบัติของเอนโทรปีเพื่อเพิ่มในกระบวนการที่ไม่สามารถย้อนกลับได้ และความไม่สามารถย้อนกลับได้ในตัวมันเอง นั้นขัดแย้งกับการย้อนกลับได้ของการเคลื่อนไหวทางกลทั้งหมด ดังนั้น ความหมายทางกายภาพของเอนโทรปีจึงไม่ชัดเจนเท่ากับ ตัวอย่างเช่น ความหมายทางกายภาพของพลังงานภายใน ค่าสูงสุดของเอนโทรปีของระบบปิดจะเกิดขึ้นได้เมื่อระบบเข้าสู่สภาวะสมดุลทางอุณหพลศาสตร์ การกำหนดเชิงปริมาณของกฎข้อที่สองของอุณหพลศาสตร์กำหนดโดยคลอเซียส และการตีความเชิงโมเลกุล-จลนศาสตร์โดยโบลต์ซมันน์ ซึ่งนำแนวคิดทางสถิติมาสู่ทฤษฎีความร้อนโดยอาศัยข้อเท็จจริงที่ว่ากระบวนการทางความร้อนที่กลับไม่ได้นั้นมีความน่าจะเป็นในธรรมชาติ
ความสัมพันธ์ (IX.2) เป็นการแสดงออกถึงความจริงที่ว่าสำหรับสถานะสมดุลของระบบแยกเดี่ยวนั้น จะมีเอนโทรปีสูงสุดแบบมีเงื่อนไข ค่าสูงสุดของเอนโทรปีของระบบแยกจะถูกกำหนดโดยค่าที่กำหนดของพลังงานและปริมาตรของระบบตลอดจนมวลและจำนวนโมลของส่วนประกอบ
การเติบโตของเอนโทรปีในกระบวนการใดๆ ไม่ได้ดำเนินต่อไปอย่างไม่มีกำหนด แต่จะขึ้นไปจนถึงคุณลักษณะมูลค่าสูงสุดของระบบที่กำหนดเท่านั้น ค่าเอนโทรปีสูงสุดนี้สอดคล้องกับสถานะของสมดุล และหลังจากถึงนั้น การเปลี่ยนแปลงใดๆ ในสถานะที่ไม่มีอิทธิพลจากภายนอกจะหยุดลง
การเติบโตของเอนโทรปีในกระบวนการใดๆ ไม่ได้ดำเนินต่อไปอย่างไม่มีกำหนด แต่จะขึ้นไปจนถึงคุณลักษณะมูลค่าสูงสุดของระบบที่กำหนดเท่านั้น ค่าเอนโทรปีสูงสุดนี้สอดคล้องกับสถานะของสมดุล และหลังจากถึงนั้น การเปลี่ยนแปลงใดๆ ในสถานะที่ไม่มีอิทธิพลจากภายนอกจะหยุดลง
ดังนั้น ในกรณีที่ความน่าจะเป็นที่เท่ากันของเหตุการณ์อินพุต เอนโทรปีจะสอดคล้องกับปริมาณข้อมูลสำหรับผลลัพธ์ที่เป็นไปได้ที่เท่าเทียมกัน Hartley สอดคล้องกับค่าเอนโทรปีสูงสุด ในทางกายภาพ สิ่งนี้จะกำหนดกรณีที่ความไม่แน่นอนมีมากจนยากต่อการคาดเดา
Nshks คือค่าสูงสุด 2ptropium ที่เป็นไปได้สำหรับองค์ประกอบทั้งหมดที่มีส่วนประกอบตามจำนวนที่กำหนด แน่นอนว่าองค์ประกอบที่ส่วนประกอบทั้งหมดมีความเข้มข้นเท่ากันจะมีค่าเอนโทรปีสูงสุด
ดังที่เราเห็น ความน่าจะเป็นทางอุณหพลศาสตร์สูงสุดจะเกิดขึ้นเมื่อโมเลกุลมีการกระจายเท่าๆ กันในพื้นที่ต่างๆ การกระจายแบบสม่ำเสมอนี้สอดคล้องกับค่าเอนโทรปีสูงสุด
การพัฒนาที่เข้มงวดมากขึ้นของปัญหานี้มีให้ในอุณหพลศาสตร์ทางสถิติ เราทราบเพียงว่าค่าเอนโทรปีสูงสุดที่สอดคล้องกับสถานะสมดุลนั้นถือว่าเป็นไปได้มากที่สุดเท่านั้น ในช่วงเวลาที่ยาวนานพอสมควรอาจเกิดการเบี่ยงเบนไปจากสิ่งนี้ได้ ในระบบมาโคร สิ่งนี้ต้องใช้เวลาตามลำดับทางดาราศาสตร์ ในปริมาตรที่มองด้วยกล้องจุลทรรศน์ ภายในร่างกายรอบตัวเรา การเปลี่ยนแปลงดังกล่าวเกิดขึ้นอย่างต่อเนื่อง
จากนี้เห็นได้ชัดว่ากระบวนการเหล่านี้จะดำเนินต่อไปจนกว่าเอนโทรปีของระบบจะถึงระดับสูงสุด สถานะของระบบแยกเดี่ยวที่มีค่าเอนโทรปีสูงสุดคือสถานะของสมดุลที่เสถียร
จากนี้เห็นได้ชัดว่ากระบวนการเหล่านี้จะดำเนินต่อไปจนกว่าเอนโทรปีของระบบจะถึงระดับสูงสุด สถานะของระบบแยกเดี่ยวที่มีค่าเอนโทรปีสูงสุดคือสถานะของสมดุลที่เสถียร

ลักษณะทางสถิติของกฎการเพิ่มเอนโทรปีตามมาจากคำจำกัดความของเอนโทรปี (III.70) ซึ่งเชื่อมโยงฟังก์ชันนี้กับความน่าจะเป็นของสถานะมหภาคที่กำหนดของระบบ อย่างไรก็ตาม สภาวะสมดุลซึ่งสอดคล้องกับค่าสูงสุดของเอนโทรปีของระบบแยกนั้นมีแนวโน้มมากที่สุด และสำหรับระบบที่มองเห็นด้วยตาเปล่า ค่าสูงสุดจะคมชัดมาก ปริมาตรของชั้นพลังงานเกือบทั้งหมดสอดคล้องกับสถานะสมดุลของระบบแยกขนาดมหภาค และจุดเป็นตัวแทนของระบบนั้นตั้งอยู่อย่างแม่นยำในภูมิภาคนี้โดยมีความน่าจะเป็นใกล้เคียงกับความสามัคคี หากระบบไม่อยู่ในสถานะที่สอดคล้องกับค่าสมดุลของพารามิเตอร์มหภาค X (ภายในช่วง DH) ระบบจะเข้าสู่สถานะนี้เกือบจะแน่นอน ถ้าระบบอยู่ในสถานะนี้แล้วก็จะไม่ค่อยออกจากระบบเลย
ลักษณะทางสถิติของกฎการเพิ่มเอนโทรปีตามมาจากคำจำกัดความของเอนโทรปี (II 1.63) ซึ่งเชื่อมโยงฟังก์ชันนี้กับความน่าจะเป็นของสถานะมหภาคที่กำหนดของระบบ อย่างไรก็ตาม สภาวะสมดุลซึ่งสอดคล้องกับค่าสูงสุดของเอนโทรปีของระบบแยกนั้นมีแนวโน้มมากที่สุด และสำหรับระบบที่มองเห็นด้วยตาเปล่า ค่าสูงสุดจะคมชัดมาก ปริมาตรของชั้นพลังงานเกือบทั้งหมดสอดคล้องกับสถานะสมดุลของระบบแยกขนาดมหภาค และจุดเป็นตัวแทนของระบบที่มีความแม่นยำใกล้เคียงกับเอกภาพนั้นอยู่ในภูมิภาคนี้อย่างแม่นยำ ค่าของพารามิเตอร์มหภาค X สอดคล้องกัน (ภายในช่วง AX) เธอเกือบจะมาถึงสถานะนี้อย่างแน่นอน ถ้าระบบอยู่ในสถานะนี้แล้วก็จะไม่ค่อยออกจากระบบเลย
สภาวะสมดุลโดยทั่วไปส่วนใหญ่เป็นไปตามกฎข้อที่สองของอุณหพลศาสตร์เกี่ยวกับการเติบโตของเอนโทรปีของระบบที่แยกแบบอะเดียแบติก เมื่อกระบวนการที่ไม่สามารถย้อนกลับได้เกิดขึ้นในระบบ หากสถานะหนึ่งของระบบดังกล่าวมีลักษณะเฉพาะด้วยค่าเอนโทรปีสูงสุด สถานะนี้จะไม่สามารถไม่มีความสมดุลได้ เนื่องจากไม่เช่นนั้น ในระหว่างการผ่อนคลาย เอนโทรปีของระบบจะเพิ่มขึ้นตามกฎข้อที่สอง ซึ่งไม่สอดคล้องกับสมมติฐานของ สูงสุด ดังนั้น สภาวะของเอนโทรปีสูงสุดของระบบแยกเดี่ยวจึงเป็นเงื่อนไขที่เพียงพอสำหรับความสมดุลของมัน