నాంది 113. గరిష్ట ఎంట్రోపీ సూత్రం యొక్క అర్థం

గరిష్ట ఎంట్రోపీ సూత్రం ఫలితంగా పవర్ డిస్ట్రిబ్యూషన్‌లు ఉత్పన్నమవుతాయి - మేము దీనిని ప్రోలాగ్ 111లో చూశాము మరియు ప్రోలాగ్ 112లో ఈ ప్రాతిపదికన నిర్మించిన గుణకార తాకిడి నమూనాను మేము వివరించాము, ఇది నిర్దిష్ట వస్తువుల సెట్‌పై శక్తి పంపిణీని అభివృద్ధి చేస్తుంది.

అయినప్పటికీ, వివిధ సహజ మరియు మానవ వ్యవస్థలలో గమనించిన శక్తి-చట్ట పంపిణీల మూలాన్ని వివరించడానికి ఈ నమూనాను తగినంతగా వర్తింపజేయడానికి, దాని రెండు పునాదులను నిశితంగా పరిశీలించడం అవసరం - గరిష్ట ఎంట్రోపీ సూత్రం మరియు గుణకారం పరస్పర చర్యలు. మేము వారి "తాత్విక" అర్థం గురించి ఆలోచించడానికి ప్రయత్నిస్తాము. గరిష్ట ఎంట్రోపీ సూత్రంతో క్రమంలో ప్రారంభిద్దాం.

గరిష్ట ఎంట్రోపీ సూత్రం యొక్క రెండు వివరణలు

ఈ వివరణలో, గరిష్ట ఎంట్రోపీ సూత్రం స్పష్టంగా థర్మోడైనమిక్స్ యొక్క రెండవ నియమాన్ని ప్రతిధ్వనిస్తుంది - భౌతికశాస్త్రం యొక్క ప్రాథమిక నియమం, దీని ప్రకారం క్లోజ్డ్ సిస్టమ్ యొక్క ఎంట్రోపీ పెరగవచ్చు లేదా మారదు, కానీ తగ్గదు. మనం ఏదైనా క్లోజ్డ్ సిస్టమ్‌ని తీసుకుంటే అలా మిగిలిపోయిందని దీని నుండి నేరుగా అనుసరిస్తుంది తగినంతచాలా కాలం వరకు, మేము దానిని గరిష్ట ఎంట్రోపీ ఉన్న స్థితిలో కనుగొంటాము.

అయితే, చారిత్రాత్మకంగా, గరిష్ట ఎంట్రోపీ సూత్రం దాని మూలాలను పూర్తిగా భిన్నమైన మూలానికి గుర్తించింది - థర్మోడైనమిక్స్ నుండి కాదు, సంభావ్యత సిద్ధాంతం నుండి. మరియు ఈ మూలం గరిష్ట ఎంట్రోపీ సూత్రం యొక్క రెండవ వివరణను ఇస్తుంది, బహుశా మరింత ప్రాథమికమైనది. దీనిని ఇలా రూపొందించవచ్చు: యాదృచ్ఛిక చరరాశి యొక్క పంపిణీ ఆకృతి గురించిన అన్ని పరికల్పనల నుండి, వ్యవస్థపై మనకున్న పరిజ్ఞానం ద్వారా విధించబడిన పరిమితులను పరిగణనలోకి తీసుకుని, పంపిణీ యొక్క ఎంట్రోపీ గరిష్టంగా ఉండేదాన్ని ఎంచుకోవాలి..

18వ శతాబ్దం ప్రారంభంలో, జాకబ్ బెర్నౌలీ, సంభావ్యత సిద్ధాంతం యొక్క పునాదులను ప్రతిబింబిస్తూ, గరిష్ట ఎంట్రోపీ సూత్రానికి ముందున్నదిగా పరిగణించబడే "ఇన్సఫిట్ కాజ్ యొక్క సూత్రం"ను రూపొందించారు. మనం రెండు ప్రత్యామ్నాయ మరియు పరస్పర విశిష్ట ఫలితాలను పరిశీలిద్దాం ఎమరియు బి. బెర్నౌలీ సూత్రం ప్రకారం, ఈ ఫలితాల సంభావ్యత గురించి మనకు సమాచారం లేకుంటే, అవి సమానంగా సంభావ్యమైనవిగా భావించాలి. అంటే, ఈ పరిస్థితులలో ఫలితాల్లో ఒకదానిని మరొకదాని కంటే ఎక్కువ సంభావ్యతను కేటాయించడానికి మాకు తగిన కారణాలు లేవు. బెర్నౌలీ దృక్కోణం నుండి, సంభావ్యత విషయం గురించి మన జ్ఞానాన్ని ప్రతిబింబిస్తుందని గమనించండి. మనకు దాని గురించి అవగాహన లేకుంటే (రెండు ఫలితాలు సాధ్యమే తప్ప), సంభావ్యతలను సమానంగా భావించాలి. ఏదైనా ఇతర సంభావ్యత పంపిణీకి తప్పనిసరిగా ఆధారం ఉండాలి, ఆ విషయాన్ని నియంత్రించే చట్టాల గురించి మనకున్న జ్ఞానం ఆధారంగా ఒక కారణం ఉండాలి.

కాబట్టి, వేరే ఎంపిక చేయడానికి కారణం లేకపోతే ప్రతి ఫలితం సమానంగా సంభావ్యంగా ఉంటుందని భావించాలి. వేర్వేరు ఫలితాలు కొంత పరిమాణంలో వేర్వేరు విలువలు అయితే, మనం తప్పనిసరిగా ఏకరీతి సంభావ్యత పంపిణీని ఊహించాలి. మనకు తెలిసినట్లుగా, ఇది గరిష్ట ఎంట్రోపీని కలిగి ఉన్న సజాతీయ పంపిణీ. కానీ బెర్నౌలీ ఎంట్రోపీ గురించి మాట్లాడలేదు - ఈ భావన కనిపించడానికి రెండు శతాబ్దాల ముందు అతను జీవించాడు మరియు పనిచేశాడు. తగినంత కారణం యొక్క సూత్రం నుండి గరిష్ట ఎంట్రోపీ సూత్రానికి రావడానికి, అనేక చర్యలు తీసుకోవలసిన అవసరం ఉంది - మరియు ఈ మార్గం 20 వ శతాబ్దం మధ్యలో మాత్రమే పూర్తయింది మరియు చివరి దశలు అమెరికన్ భౌతిక శాస్త్రవేత్త యొక్క పనితో ముడిపడి ఉన్నాయి. ఎడ్విన్ జేన్స్.

సరిపోని కారణం సూత్రం నుండి గరిష్ట ఎంట్రోపీ సూత్రం వరకు

అయినప్పటికీ, ఆధునిక భావనలతో ఆయుధాలు కలిగి ఉన్న మనం ఈ మార్గంలో చాలా వేగంగా, నేరుగా ప్రయాణించగలము. ఇది చాలా సరళంగా అనిపిస్తుంది - కానీ మన ప్రస్తుత జ్ఞానం యొక్క ఎత్తు నుండి మాత్రమే. ఇంకా, గరిష్ట ఎంట్రోపీ సూత్రం మరియు ఎంట్రోపీ/ఇన్ఫర్మేషన్ కాలిక్యులస్ రెండింటినీ కనిపెట్టిన వ్యక్తి బెర్నౌలీ. అతను సంఖ్యల వివరణాత్మక సామర్థ్యాన్ని కొంచెం ఎక్కువగా విశ్వసిస్తే - మరియు అతను ఖచ్చితంగా దానిని విశ్వసించగలడు, ఎందుకంటే అతను సంభావ్యత సిద్ధాంతం యొక్క వ్యవస్థాపకులలో ఒకడు అయ్యాడు.

కాబట్టి, మనకు A మరియు B అనే రెండు ప్రత్యామ్నాయ ఫలితాలు ఉన్నప్పుడు మరియు మరేమీ తెలియనప్పుడు, సరిపోని కారణం యొక్క సూత్రం ప్రకారం అవి సమానంగా ఉండవచ్చని భావించడం అవసరం: p A=పి బి=1/2. ఫలితాల సంభావ్యత గురించి మా ఊహలలో కనీస పక్షపాతాలను ఈ విధంగా ప్రవేశపెడతాము. ఈ సంభావ్యతలకు కొంత ఫంక్షన్ ఉందని అనుకుందాం H(p A ,p B), ఇది గరిష్టంగా ఉంటే p A=పి బి=1/2 (లేదా ఈ పరిస్థితుల్లో ఇది తక్కువ అని మేము అంగీకరించవచ్చు - ఇది ముఖ్యమైనది కాదు). ఈ కనిష్టాన్ని ఇలా సూచిస్తాం H(1/2,1/2). మేము సాధారణ పరిగణనల ఆధారంగా ఈ ఫంక్షన్ గురించి మరింత చెప్పగలమా?

చాలా, మరియు జాకబ్ బెర్నౌలీ అటువంటి విషయాలలో మాస్టర్. ముందుగా, మనకు ఒకే ఒక్క ఫలితం A ఉంటే, అది స్వయంచాలకంగా ఒక సంభావ్యతను కలిగి ఉంటుందని గమనించండి. ఫలితం యొక్క సంభావ్యతపై మన అంచనాను ప్రభావితం చేసే అదనపు జ్ఞానం మనం తీసుకురాగలదని దీని అర్థం. అంటే, ఫలితం గురించి మనకు పూర్తి జ్ఞానం ఉంది. ఈ సందర్భంలో, ఫలితాల అంచనాలో మేము తీసుకువచ్చిన జ్ఞానాన్ని ప్రతిబింబించే మా పనితీరు, సున్నా అని చెప్పడానికి కనీస విలువను తీసుకుంటుందని ఆశించడం సహేతుకమైనది: H(1) = 0.

ఇంకా, రెండు సమాన సంభావ్య ప్రత్యామ్నాయాల పరిస్థితి ఒక విధంగా లేదా మరొక విధంగా పరిష్కరించబడినప్పుడు, మనం ఒక సంభావ్య ఫలితంతో - యాదృచ్ఛికంగా ఎంచుకున్నది - ఒక పరిస్థితిలో మనల్ని మనం గుర్తించగలము. ఫంక్షన్‌తో ఈ క్షణంలో ఏమి జరుగుతుంది హెచ్? ఇది విలువ నుండి తగ్గుతుంది H(1/2,1/2)విలువకు H(1)= 0. ఈ వ్యత్యాసం: H(1/2,1/2)-H(1) = H(1/2,1/2)ప్రత్యామ్నాయం పరిష్కరించబడినప్పుడు సమాన సంభావ్య రెండు ఫలితాలకు సంబంధించి మనం సంపాదించిన జ్ఞానాన్ని లెక్కించడం సహేతుకమైనది. లేదా, లేకుంటే, తెలియని లేదా అనిశ్చితి మొత్తంరెండు సమాన సంభావ్య ఫలితాలతో ప్రారంభ పరిస్థితిలో. ఆధునిక భాషలో ఈ పరిమాణాన్ని ఎంట్రోపీ అంటారు.

A, B, C, D అనే నాలుగు ఫలితాలు ఉండవచ్చని మరియు మరేమీ ఉండవని ఇప్పుడు తెలుసుకుందాం. సరిపోని కారణం యొక్క సూత్రం మేము వారికి సమాన సంభావ్యతలను కూడా కేటాయించాలి p A=పి బి=పి సి=పి డి=1/4. కానీ ఫంక్షన్ విలువ ఏమిటి? H(p A,p B,p C,p D)ఈ సందర్భంలో? ఎలిమెంటరీ లాజిక్ దాని విలువ రెండు సంభావ్య సమాన సంభావ్య ఫలితాల విషయంలో కంటే రెండు రెట్లు పెద్దదిగా ఉండాలనే నిర్ధారణకు దారి తీస్తుంది: 2* H(1/2,1/2). నిజానికి, ఒకవైపు A, B మరియు మరోవైపు C, D ఫలితాలు చాలా సారూప్యంగా ఉండనివ్వండి. మనం చాలా శ్రద్ధగా లేకుంటే లేదా చాలా అప్రమత్తంగా లేకుంటే, మనం వాటిని ఒకదానికొకటి వేరు చేయలేము. అప్పుడు మేము రెండు ఫలితాలతో కేసుకు తిరిగి వస్తాము మరియు పరిస్థితి యొక్క అనిశ్చితి సమానంగా ఉంటుంది H(1/2,1/2). కానీ మేము నిశితంగా పరిశీలించాము మరియు వాస్తవానికి, మేము ఒక ఫలితాన్ని చూసిన చోట, వాస్తవానికి ఇద్దరు సన్నిహితులు ఉన్నారు. వాటి మధ్య అత్యంత "సరైన" సంభావ్యత పంపిణీని ఎంచుకునే పనిని మేము మళ్లీ ఎదుర్కొంటున్నాము మరియు అది మళ్లీ ఏకరీతి పంపిణీ అవుతుంది. మరియు అనిశ్చితికి జోడించబడింది H(1/2,1/2). కాబట్టి నాలుగు సమాన సంభావ్య ప్రత్యామ్నాయాలతో పరిస్థితి కోసం H(1/4,1/4,1/4,1/4) = 2*H(1/2,1/2). ప్రేరకంగా కొనసాగిస్తూ, ఎనిమిది ఫలితాలతో కూడిన పరిస్థితికి అనిశ్చితి మొత్తం 3* అని మేము నిర్ధారిస్తాము H(1/2,1/2), మొదలైనవి

ఫంక్షన్ లక్షణాల యొక్క మా ఉత్పన్నం అని రీడర్ అర్థం చేసుకున్నారని నేను నమ్ముతున్నాను హెచ్హార్ట్లీ యొక్క సమాచార పరిమాణం/ఎంట్రోపీ సమీకరణానికి దారితీసే తర్కంతో సమానంగా ఉంటుంది. మేము సమానంగా సంభావ్య ఫలితాల సంఖ్యను సూచిస్తే ఎన్, హార్ట్లీ ఎంట్రోపీ సమానం

మేము హార్ట్లీ ఫార్ములా నుండి షానన్ సూత్రానికి దారితీసే ఒక సాధారణ మార్గాన్ని పరిచయం చేసాము - జాకబ్ బెర్నౌలీ దానిని సులభంగా కనుగొని ఉండేవాడు. మరియు బెర్నౌలీకి ఈ సూత్రం ఉన్నట్లయితే, అతను ఒక నిర్దిష్ట సంభావ్యత పంపిణీ యొక్క అనిశ్చితి స్థాయిని లెక్కించవచ్చు మరియు దాని ప్రకారం మేము ఫలితాలకు సంభావ్యతలను కేటాయించే సూత్రాన్ని ఏర్పరచవచ్చు, తద్వారా పంపిణీ యొక్క ఎంట్రోపీ అనుమతించదగిన అన్నింటిలో గరిష్టంగా ఉంటుంది - ఇది గరిష్ట ఎంట్రోపీ సూత్రం.

ఏది ఏమైనప్పటికీ, చరిత్రకు సబ్‌జంక్టివ్ మూడ్‌లు తెలియవు మరియు విజ్ఞాన శాస్త్రానికి దాని స్వంత విరామ వేగం ఉంది.

ముగింపులో, కీ దశ మొదటిది అని గమనించాలి, దీనిలో మేము కొన్ని ఫంక్షన్ ఉనికిని ఊహిస్తాము. హెచ్, సమానంగా సంభావ్య ఫలితాల కోసం గరిష్ట స్థాయికి చేరుకుంటుంది. మిగతావన్నీ బంతిలా చుట్టుముడతాయి. ఇది ప్రయోజనాలకు మరింత ధృవీకరణ తీవ్రమైన సూత్రాలు, సిస్టమ్ యొక్క కొన్ని సాధారణ లేదా సరైన స్థితిని మేము పరిగణించినప్పుడు, దాని స్థితి యొక్క కొంత ఫంక్షన్ విపరీతమైన విలువను చేరుకుంటుంది.

గరిష్ట ఎంట్రోపీ సూత్రం యొక్క ప్రధాన కుట్ర ఏమిటంటే ఇది రెండు వివరణలను కలిగి ఉంది (రెండు వేర్వేరు మూలాల నుండి ఉద్భవించింది), ఇది మొదటి చూపులో కూడా అర్థంలో పూర్తిగా భిన్నంగా ఉంటుంది. వివరణలో, దాని చరిత్రను బెర్నౌలీ సూత్రానికి తిరిగి గుర్తించడం, మేము దాని గురించి మాట్లాడుతున్నాము ప్రపంచం యొక్క మా వివరణలను నిర్వహించడానికి నియమాలు. వివిధ సంఘటనలకు అన్యాయమైన సంభావ్యతలను కేటాయించడంలో వ్యక్తీకరించబడిన మన పక్షపాతాలను దానిపై విధించకుండా ఉండే విధంగా మనం ప్రపంచాన్ని వివరించాలి. ప్రతిసారీ మనకు ఖచ్చితంగా తెలిసినవి తప్ప మరేమీ లేని వివరణను ఎంచుకోవాలి. ఇది వాస్తవికత యొక్క వివరణలలో వక్రీకరణలను నివారించడానికి మిమ్మల్ని అనుమతించే హ్యూరిస్టిక్ నియమం.

భౌతిక వివరణ, దీని సహాయంతో మనం, ప్రత్యేకించి, ఆదర్శ వాయువు యొక్క అణువుల శక్తి పంపిణీని పొందగలము, భిన్నమైనదాన్ని చెబుతుంది. ఇది వాస్తవికత యొక్క మా వివరణను కాదు, వాస్తవికతను నియంత్రించే నియమాలను సెట్ చేస్తుంది.. భౌతిక వ్యవస్థ ఏదైనా చట్టం ద్వారా నిర్వహించబడితే మరియు మరేమీ లేకపోతే, దానిలోని పారామితుల పంపిణీ 1) ఈ చట్టానికి అనుగుణంగా ఉంటుంది మరియు 2) అనుమతించబడిన పంపిణీలలో గరిష్ట ఎంట్రోపీని కలిగి ఉంటుంది. ఈ ప్రకటన మనం ప్రపంచాన్ని ఎలా బాగా వివరించగలం అనే దాని గురించి కాదు, ప్రపంచం గురించి.

కాగ్నిటివ్ సైంటిస్ట్ మ్యానిఫెస్టో ప్రపంచ నిర్మాణం మన స్పృహ యొక్క నిర్మాణానికి అనుగుణంగా ఉందని చెప్పినప్పుడు, మేము ఖచ్చితంగా ఈ అద్భుతమైన “యాదృచ్చిక సంఘటనల” గురించి మాట్లాడుతున్నాము: ప్రపంచం గురించి మన వర్ణనలను నిర్మించడంలో ఉత్తమ ఎంపిక ప్రకృతి యొక్క ఉత్తమ ఎంపిక.

బెర్నౌలీ యొక్క సూత్రం వాస్తవికత యొక్క మరింత ఆమోదయోగ్యమైన వర్ణనలను పొందటానికి అనుమతిస్తుంది మరియు ఈ కారణంగా మాత్రమే ఇది నిజమని పరిగణించబడుతుంది. అయినప్పటికీ, బెర్నౌలీ దానిని వాస్తవికతతో పోల్చకుండా, అనుభవపూర్వకంగా పొందలేదు. అతను తర్కం యొక్క అవసరాల ఆధారంగా, కారణం యొక్క లక్షణాలు మరియు దాని నైరూప్య నిర్మాణాల ఆధారంగా దానిని ముందుకు తెచ్చాడు. (అంతేకాకుండా, అతను దాని అసలు రూపంలో తన సూత్రం యొక్క ఆచరణాత్మక విలువతో పెద్ద సమస్య గురించి తెలుసుకున్నాడు - సహజ దృగ్విషయాలలో చాలా అరుదైన పరిస్థితులలో మాత్రమే సమాన సంభావ్యతతో ఫలితాలను చూడగలడు.) కానీ ప్రపంచానికి లోబడి ఉందని తేలింది. అదే తర్కం, మరియు మన మనస్సులాగే అదే మనస్సును కలిగి ఉన్నట్లు అనిపిస్తుంది.

గరిష్ఠ ఎంట్రోపీ సూత్రం యొక్క ఈ ఆశ్చర్యకరమైన ద్వంద్వతను మనం ఒక సైద్ధాంతిక సంబంధిత సూత్రంతో విభేదించడం ద్వారా బాగా అభినందిస్తున్నాము, అది బాగా రూపొందించబడిన దురదృష్టం. మేము దీనిని పరిష్కరించడానికి ప్రయత్నిస్తాము.

Occam యొక్క రేజర్ మరియు కనీస సంక్లిష్టత యొక్క సూత్రం

తగినంత కారణం లేని సూత్రానికి దగ్గరి బంధువు ఓకామ్ యొక్క ప్రసిద్ధ రేజర్. ఇది ప్రపంచంలోని ప్రత్యామ్నాయ వర్ణనల మధ్య, కనీస సంఖ్యలో ఎంటిటీలు మరియు పారామితులను కలిగి ఉన్న సరళమైనదాన్ని ఎంచుకోవడానికి మమ్మల్ని ఆహ్వానించే నియమం. ఈ హ్యూరిస్టిక్‌ను పునర్నిర్మించడం, రెండు సూత్రాల సాపేక్షతను గుర్తించడం సులభం: అన్ని ప్రత్యామ్నాయ వివరణలలో, కనీసం నిర్మాణాత్మక లేదా అల్గారిథమిక్ సంక్లిష్టతను కలిగి ఉన్న దానిని ఎంచుకోవాలి. విషయం ఏమిటంటే మీరు సరళమైన అల్గోరిథం ఉన్న మోడల్ లేదా వివరణను ఎంచుకోవాలి. "అల్గారిథమిక్ కాంప్లెక్సిటీ" అనేది స్పీచ్ యొక్క ఫిగర్ కాదు, ఇది ఎంట్రోపీ/ఇన్ఫర్మేషన్‌కు ప్రత్యక్ష సంబంధాన్ని కలిగి ఉండే పరిమాణాత్మక పరిమాణం. దీనిని అల్గోరిథమిక్ ఎంట్రోపీ లేదా అని కూడా అంటారు కోల్మోగోరోవ్ సంక్లిష్టతరష్యన్ గణిత శాస్త్రజ్ఞుడు A. N. కోల్మోగోరోవ్ పేరు పెట్టారు, అతను ఈ పరిమాణాన్ని శాస్త్రీయ ఉపయోగంలోకి ప్రవేశపెట్టాడు. ఇచ్చిన అక్షరాల స్ట్రింగ్ యొక్క కోల్మోగోరోవ్ సంక్లిష్టత ఆ స్ట్రింగ్‌ను పునరుత్పత్తి చేయడానికి అవసరమైన ప్రోగ్రామ్ లేదా అల్గారిథమ్ యొక్క పొడవుగా కొలుస్తారు. పాత్రల శ్రేణిని ఎంత క్లిష్టంగా నిర్వహిస్తే, దాన్ని పునరుత్పత్తి చేయడానికి అవసరమైన ప్రోగ్రామ్ అంత ఎక్కువ. వాస్తవానికి, ప్రోగ్రామ్ యొక్క పొడవు ప్రోగ్రామింగ్ భాషపై ఆధారపడి ఉంటుంది, అయినప్పటికీ, మేము ప్రోగ్రామ్‌లను కొన్ని ఆదర్శవంతమైన, అత్యంత ఆర్థిక మరియు సంక్షిప్త భాషలో వ్రాస్తామని ఊహిస్తూ, ఈ కారకాన్ని నిర్లక్ష్యం చేయవచ్చు.

ఉదాహరణకు, ఈ ఆదర్శ భాషలోని క్రింది సంజ్ఞామానం అంటే "AB" స్ట్రింగ్‌ని తీసుకొని దానిని 10 సార్లు పునరావృతం చేయడం:

ఈ లైన్ యొక్క అల్గోరిథమిక్ సంక్లిష్టత 5 అక్షరాలకు సమానం అని మేము చెప్పగలం - ఇది ఖచ్చితంగా ఈ లైన్‌ను రూపొందించే అతి తక్కువ ప్రోగ్రామ్ యొక్క పొడవు.

మరొక ఉదాహరణ: ఇచ్చిన 20 అక్షరాల స్ట్రింగ్ 12 అక్షరాల అల్గోరిథమిక్ సంక్లిష్టతను కలిగి ఉంటుంది, ఎందుకంటే అది ప్రోగ్రామ్ యొక్క పొడవును ఉత్పత్తి చేస్తుంది:

మనం ఒక ముఖ్యమైన అంశానికి శ్రద్ధ చూపుదాం: ఇది క్రమరహితమైనఅల్గారిథమ్‌ను తగ్గించడానికి అనుమతించే వ్యవస్థను మనం చూడలేము అనే అర్థంలో అక్షరాల స్ట్రింగ్. కానీ అది అర్థం కాదు యాదృచ్ఛికంగాపాత్రల క్రమం. మేము ఖచ్చితంగా పునరుత్పత్తి అవసరం ఉంటే యాదృచ్ఛికంగాక్రమం, మేము మరొక ప్రోగ్రామ్‌ని ఉపయోగించాలి:

ఇది విరుద్ధమైనది: పూర్తిగా యాదృచ్ఛిక స్ట్రింగ్ పూర్తిగా ఆర్డర్ చేయబడిన దానితో సమానమైన సంక్లిష్టతను కలిగి ఉన్నట్లు కనిపిస్తుంది. కానీ వాస్తవానికి, ఇది ఒక సజాతీయ స్ట్రింగ్ లేదా అత్యధిక సంక్లిష్టతను కలిగి ఉన్న యాదృచ్ఛిక స్ట్రింగ్ కాదు, కానీ ఒక క్రమరహిత స్ట్రింగ్, ఇది యాదృచ్ఛికంగా ఉండదు, కానీ, దీనికి విరుద్ధంగా, చాలా సాధారణమైనది. ఇది అర్థం చేసుకోవడం సులభం: మనం యాదృచ్ఛికంగా తెరిచిన పుస్తకంలోకి వేలు పెట్టినట్లు ఊహించుకోండి ఎల్లప్పుడూమేము అదే పదాన్ని ముగించాము. మేము అనుకోకుండా వేర్వేరు పదాలతో ముగించినప్పుడు ఈ పరిస్థితి ప్రాథమికంగా భిన్నంగా ఉంటుందని స్పష్టమవుతుంది. మేము ఈ స్వల్పభేదాన్ని కొంచెం ముందుకు చూస్తాము.

కోల్మోగోరోవ్ ప్రకారం సంక్లిష్టత మరియు షానన్ మరియు హార్ట్లీ ప్రకారం ఎంట్రోపీ మధ్య పూర్తిగా దూరమైన సంబంధం ఉన్నప్పటికీ, వాస్తవానికి వారి లోతైన పరస్పర సంబంధాన్ని చూపించడం సాధ్యమవుతుందని గమనించండి - కాని మేము ఇక్కడ ఈ అంశంలోకి వెళ్లము.

కాబట్టి, అవసరమైన లక్షణాల సమితిని (అవసరమైన "స్ట్రింగ్") పునరుత్పత్తి చేసే అల్గోరిథం వలె మనం కొన్ని మోడల్ లేదా వివరణను చూడవచ్చు. అప్పుడు Occam యొక్క రేజర్‌కు కనిష్ట అల్గారిథమిక్ ఎంట్రోపీ ఉన్న వివరణను ఎంచుకోవాలి.

టోలెమీ మరియు కోపర్నికస్ వ్యవస్థల మధ్య ఘర్షణ ఈ సూత్రం ఉపయోగపడే పరిస్థితికి ఉదాహరణగా ఉపయోగపడే ఒక చారిత్రక కథ. టోలెమిక్ వ్యవస్థ అనేది విశ్వం యొక్క నమూనా, ఇది భూమి విశ్వం మధ్యలో ఉండాలనే అమాయక మత విశ్వాసం ఆధారంగా ఉంది:

సూర్యునితో సహా హెవెన్లీ బాడీలు భూమి చుట్టూ కక్ష్యలో తిరుగుతాయి. అయితే, ఈ డిజైన్ యొక్క సైద్ధాంతిక ఖచ్చితత్వం ఉన్నప్పటికీ, దీనికి కొంత లోపం ఉంది: దాని ఫ్రేమ్‌వర్క్‌లో స్వర్గం యొక్క ఖజానాలో గ్రహాల కదలిక దిశను మార్చే దృగ్విషయాన్ని వివరించడం అసాధ్యం. బృహస్పతి అనేక వారాల వ్యవధిలో నక్షత్రాలకు సంబంధించి క్రమంగా కదులుతుందని చెప్పండి. కానీ అది ఒక లూప్ చేస్తుంది మరియు కొంత సమయం వరకు వ్యతిరేక దిశలో కదులుతుంది. అప్పుడు "సరైన" కదలికకు తిరిగి వస్తుంది. ఈ దృగ్విషయాన్ని వివరించడానికి, టోలెమీ తన వ్యవస్థలో ఎపిసైకిల్‌లు అని పిలవబడే వాటిని ప్రవేశపెట్టాడు - అతను భూమి చుట్టూ తిరగడంతో పాటు, ప్రతి ప్రకాశం అదనంగా ఒక నిర్దిష్ట కేంద్రం చుట్టూ ఒక చిన్న కక్ష్యలో తిరుగుతుందని భావించాడు, ఇది భూమి చుట్టూ వృత్తాకార కక్ష్యలో తిరుగుతుంది. . బృహస్పతి తన ఎపిసైకిల్ వెంట వెనుకకు కదులుతున్నప్పుడు ఆ క్షణాలు, ఆకాశంలో దాని కదలిక దిశలో మార్పును చూస్తాము.

కోపర్నికస్ మరొక వ్యవస్థను ప్రతిపాదించాడు: దానిలో సూర్యుడు మధ్యలో ఉన్నాడు (రీడర్ బహుశా చాలా విన్నారు). కోపర్నికన్ వ్యవస్థ ఎపిసైకిల్‌లను పరిచయం చేయకుండా బృహస్పతి మరియు ఇతర ప్రకాశాలను వివరించగలిగింది; ఆకాశం అంతటా గ్రహాల కదలికల అంచనాల ఖచ్చితత్వానికి వెళ్లకుండానే, కోపర్నికన్ వ్యవస్థ స్పష్టంగా తక్కువ అల్గోరిథమిక్ సంక్లిష్టతను కలిగి ఉంటుంది మరియు అదే సమయంలో "సరైన రేఖను పునరుత్పత్తి చేయగలదు." కాబట్టి, మనం ఓకామ్ సూత్రం ద్వారా మార్గనిర్దేశం చేయబడితే, మనం కోపర్నికన్ వ్యవస్థకు ప్రాధాన్యత ఇవ్వాలి.

కానీ ఒకాం యొక్క రేజర్ వాస్తవికత యొక్క లక్షణాలలో దాని సారూప్యతను కలిగి ఉందా, సరిపోని కారణం యొక్క సూత్రం వలె? రచయిత సానుకూల సమాధానాన్ని విశ్వసిస్తున్నారు. దానిని సూత్రీకరించడానికి ప్రయత్నిద్దాం, దానిని పిలుద్దాం కనీస నిర్మాణ సంక్లిష్టత సూత్రం: ఈ వ్యవస్థ యొక్క లక్షణాల కోసం బాహ్య అవసరాలను పరిగణనలోకి తీసుకుని, కోల్మోగోరోవ్ ప్రకారం కనిష్ట సంక్లిష్టతను కలిగి ఉన్న ఒక వ్యవస్థ విభిన్న నిర్మాణాన్ని కలిగి ఉండగల సామర్థ్యాన్ని కలిగి ఉంటుంది..

ఇక్కడే యాదృచ్ఛిక తీగలు మరియు చాలా సాధారణమైన వాటి మధ్య వ్యత్యాసం ముఖ్యమైనదిగా మారుతుంది. వాయువుతో ఉన్న పాత్రలో అణువుల స్థానం మరియు వేగాన్ని డాక్యుమెంట్ చేయడం ద్వారా, ప్రతిసారీ మేము యాదృచ్ఛికానికి దగ్గరగా ఉండే సంఖ్యల సమితిని అందుకుంటాము - "యాదృచ్ఛిక స్ట్రింగ్". కానీ మనకు ప్రతిసారీ అదే ఫలితం వస్తే, సిస్టమ్ చాలా నిర్మాణాత్మకంగా సంక్లిష్ట స్థితిలో ఉందని ఇది సూచిస్తుంది.

తక్కువ అల్గోరిథమిక్ సంక్లిష్టతతో కూడిన నిర్మాణాలకు మనకు చాలా ముఖ్యమైన ఉదాహరణ ఉందని గమనించండి: వివిధ స్థాయి స్థాయిలకు వర్తించే అదే ఉత్పాదక పరివర్తనల పునరావృత ఫలితంగా ఫ్రాక్టల్స్ అభివృద్ధి చెందుతాయి. అల్గోరిథమిక్‌గా, ఇవి సాధారణ నిర్మాణాలు. బహుశా కనిష్ట నిర్మాణ సంక్లిష్టత సూత్రం ప్రపంచంలోని వివిధ దృగ్విషయాలలో ఫ్రాక్టల్ నిర్మాణాల యొక్క అటువంటి సమగ్ర ప్రాబల్యాన్ని వివరించగలదు.

అయితే, ఇది ఇప్పటికీ అస్పష్టమైన ఆలోచన మాత్రమే.

తరువాత, గరిష్ట ఎంట్రోపీ సూత్రం థర్మోడైనమిక్స్ యొక్క రెండవ నియమానికి ఎలా సంబంధం కలిగి ఉందో మనం చూశాము. కానీ బహుశా కనీస నిర్మాణ సంక్లిష్టత యొక్క సూత్రం రెండవ సూత్రం యొక్క మరొక పరిణామాన్ని మాకు తెలియజేస్తుంది. దీనిని ఇలా రూపొందించవచ్చు: ప్రారంభ సమయంలో వ్యవస్థ యొక్క నిర్మాణం కనీసం సంక్లిష్టంగా లేకుంటే, అది సంక్లిష్టతను తగ్గించే దిశలో పరిణామం చెందుతుంది, సాధ్యమయ్యే కనిష్టానికి చేరుకుంటుంది.

థర్మోడైనమిక్స్ యొక్క రెండవ నియమం యొక్క ఈ వివరణ సరైనదైతే, దాని సాధారణ వివరణను ఉద్దేశించి ఒక ప్రశ్న తలెత్తుతుంది: ఒక వ్యవస్థగా ప్రపంచం యొక్క ఎంట్రోపీ పెరుగుతూ ఉంటే, విశ్వం ఇంకా ఎందుకు గరిష్ట ఎంట్రోపీ (మరియు కనిష్ట నిర్మాణాత్మక స్థితికి చేరుకోలేదు) సంక్లిష్టత), దీనిని "థర్మల్ డెత్" అని పిలుస్తారు? సైన్స్ ఈ ప్రశ్నకు సమాధానం ఇవ్వదు. బహుశా - భౌతికవాదులు ఈ సమాధానానికి మొగ్గు చూపుతారు - ఆమెకు ఇంకా సమయం లేదు. లేదా బహుశా మన విశ్వం ఒక క్లోజ్డ్ కాదు, కానీ ఒక ఓపెన్ సిస్టమ్ మరియు ఎక్కడో నుండి అది థర్మోడైనమిక్స్ యొక్క రెండవ నియమాన్ని ఎదుర్కోవటానికి అనుమతించే ఒక వనరును అందుకుంటుంది. ఈ అభిప్రాయాన్ని ఆదర్శవాదులు పంచుకుంటారు, వీరిలో రచయిత తనను తాను లెక్కించుకుంటాడు. ఈ సందిగ్ధతకు ముగింపు పలికేంత జ్ఞానం మనకు ఇంకా లేదు.

"చంపబడని ఎలుగుబంటి చర్మాన్ని పంచుకోవడం" ద్వారా ఈ నాందిని ముగిద్దాం మరియు ఒకామ్ యొక్క రేజర్ మన మానసిక నిర్మాణాల నుండి అనవసరమైనవాటిని కత్తిరించగల సామర్థ్యాన్ని కలిగి ఉండటమే కాకుండా, ప్రపంచ నిర్మాణం నుండి అనవసరమైనవాటిని నరికివేస్తుంది అనే వాస్తవాన్ని మెచ్చుకుందాం. ఇది సాధ్యమయ్యే అన్నింటికంటే సరళమైన, అత్యంత సొగసైన రూపంలో మన ముందు కనిపిస్తుంది. మనం ఉత్తమమైన ప్రపంచాలలో జీవిస్తున్నామని నమ్మిన లీబ్నిజ్‌ను ఎలా గుర్తు చేసుకోలేరు?

ఈ పోస్ట్ Quora వెబ్‌సైట్‌లో అడిగిన ఎంట్రోపీని అర్థం చేసుకోవడానికి ఒక సహజమైన మార్గం ఏమిటి అనే ప్రశ్నకు మార్క్ ఐచెన్‌లాబ్ ఇచ్చిన సమాధానానికి ఉచిత అనువాదం

ఎంట్రోపీ. భౌతిక శాస్త్ర కోర్సులో కనీసం క్లాసికల్ ఫిజిక్స్ విషయానికి వస్తే మీరు ఎదుర్కోగలరని అర్థం చేసుకోవడానికి ఇది చాలా కష్టమైన భావనలలో ఒకటి. కొంతమంది ఫిజిక్స్ గ్రాడ్యుయేట్లు అది ఏమిటో వివరించగలరు. ఎంట్రోపీని అర్థం చేసుకోవడంలో చాలా సమస్యలు, ఒక విషయాన్ని అర్థం చేసుకోవడం ద్వారా పరిష్కరించబడతాయి. ఎంట్రోపీ అనేది ఇతర థర్మోడైనమిక్ పరిమాణాల నుండి గుణాత్మకంగా భిన్నంగా ఉంటుంది: పీడనం, వాల్యూమ్ లేదా అంతర్గత శక్తి వంటివి, ఎందుకంటే ఇది వ్యవస్థ యొక్క ఆస్తి కాదు, కానీ మనం ఈ వ్యవస్థను ఎలా పరిగణిస్తాము. దురదృష్టవశాత్తు, థర్మోడైనమిక్స్ కోర్సులలో ఇది సాధారణంగా ఇతర థర్మోడైనమిక్ ఫంక్షన్లతో సమానంగా పరిగణించబడుతుంది, ఇది అపార్థాన్ని మరింత పెంచుతుంది.

కాబట్టి ఎంట్రోపీ అంటే ఏమిటి?

క్లుప్తంగా, అప్పుడు

ఎంట్రోపీ అంటే సిస్టమ్ గురించి మీకు ఎంత సమాచారం తెలియదు

ఉదాహరణకు, నేను ఎక్కడ నివసిస్తున్నాను అని మీరు నన్ను అడిగితే, నేను సమాధానం ఇస్తాను: రష్యాలో, అప్పుడు మీ కోసం నా ఎంట్రోపీ ఎక్కువగా ఉంటుంది, అన్ని తరువాత, రష్యా ఒక పెద్ద దేశం. నేను మీకు నా జిప్ కోడ్: 603081 చెబితే, మీరు మరింత సమాచారం అందుకుంటారు కాబట్టి మీ కోసం నా ఎంట్రోపీ తగ్గుతుంది.


పోస్టల్ కోడ్‌లో ఆరు అంకెలు ఉన్నాయి, అంటే నేను మీకు ఆరు అక్షరాల సమాచారాన్ని అందించాను. నా గురించి మీ జ్ఞానం యొక్క ఎంట్రోపీ సుమారు 6 అక్షరాలు తగ్గింది. (వాస్తవానికి, నిజంగా కాదు, ఎందుకంటే కొన్ని సూచికలు ఎక్కువ చిరునామాలకు మరియు కొన్ని తక్కువకు అనుగుణంగా ఉంటాయి, కానీ మేము దానిని విస్మరిస్తాము).


లేదా మరొక ఉదాహరణను పరిగణించండి. నాకు పది పాచికలు (ఆరు వైపులా) ఉండనివ్వండి మరియు వాటిని విసిరివేయడం ద్వారా, వాటి మొత్తం 30 అని నేను మీకు చెప్తాను. ఇది మాత్రమే తెలుసుకుంటే, ప్రతి పాచికపై నిర్దిష్ట సంఖ్యలు ఏమిటో మీరు చెప్పలేరు - మీకు సమాచారం లేదు. గణాంక భౌతిక శాస్త్రంలో, డైస్‌పై ఉన్న ఈ నిర్దిష్ట సంఖ్యలను మైక్రోస్టేట్‌లు అంటారు మరియు మొత్తం మొత్తాన్ని (మా విషయంలో 30) మాక్రోస్టేట్ అంటారు. 30 మొత్తానికి అనుగుణంగా 2,930,455 మైక్రోస్టేట్‌లు ఉన్నాయి. కాబట్టి ఈ మాక్రోస్టేట్ యొక్క ఎంట్రోపీ సుమారుగా 6.5 అక్షరాలు (ఏడవ అంకెలో మైక్రోస్టేట్‌లను క్రమబద్ధీకరించేటప్పుడు, అన్ని సంఖ్యలు మీకు అందుబాటులో లేనందున సగం కనిపిస్తుంది, కానీ 0, 1 మరియు 2 మాత్రమే).

మొత్తం 59 అని నేను మీకు చెబితే? ఈ మాక్రోస్టేట్‌కు కేవలం 10 మైక్రోస్టేట్‌లు మాత్రమే ఉన్నాయి, కాబట్టి దాని ఎంట్రోపీ ఒక చిహ్నం మాత్రమే. మీరు గమనిస్తే, వేర్వేరు మాక్రోస్టేట్‌లు వేర్వేరు ఎంట్రోపీలను కలిగి ఉంటాయి.

మొదటి ఐదు పాచికల మొత్తం 13 అని నేను ఇప్పుడు మీకు చెప్తాను మరియు మిగిలిన ఐదు మొత్తం 17, కాబట్టి మొత్తం మళ్లీ 30. అయితే, ఈ సందర్భంలో మీకు మరింత సమాచారం ఉంది, కాబట్టి సిస్టమ్ యొక్క ఎంట్రోపీ ఉండాలి మీ కోసం పడతారు. మరియు, నిజానికి, ఐదు పాచికలపై 13 420 వివిధ మార్గాల్లో పొందవచ్చు, మరియు 780లో 17, అంటే, మైక్రోస్టేట్‌ల మొత్తం సంఖ్య 420x780 = 327,600 మాత్రమే ఉంటుంది మొదటి ఉదాహరణ.

మైక్రోస్టేట్‌ల సంఖ్యను వ్రాయడానికి అవసరమైన చిహ్నాల సంఖ్యగా మేము ఎంట్రోపీని కొలుస్తాము. గణితశాస్త్రపరంగా, ఈ పరిమాణం సంవర్గమానంగా నిర్వచించబడింది, కాబట్టి S గుర్తుతో ఎంట్రోపీని సూచిస్తుంది మరియు Ω గుర్తుతో మైక్రోస్టేట్‌ల సంఖ్యను సూచిస్తుంది, మనం ఇలా వ్రాయవచ్చు:

ఇది ఎంట్రోపీ కోసం బోల్ట్జ్‌మాన్ ఫార్ములా (ఒక ఫ్యాక్టర్ k వరకు, ఇది ఎంచుకున్న కొలత యూనిట్లపై ఆధారపడి ఉంటుంది) తప్ప మరేమీ కాదు. ఒక మాక్రోస్టేట్ ఒక మైక్రోస్టేట్‌కు అనుగుణంగా ఉంటే, ఈ సూత్రం ప్రకారం దాని ఎంట్రోపీ సున్నాకి సమానం. మీరు రెండు సిస్టమ్‌లను కలిగి ఉన్నట్లయితే, మొత్తం ఎంట్రోపీ ఆ సిస్టమ్‌లలోని ప్రతి ఎంట్రోపీల మొత్తానికి సమానంగా ఉంటుంది, ఎందుకంటే లాగ్(AB) = లాగ్ A + లాగ్ B.

పై వివరణ నుండి ఎంట్రోపీని వ్యవస్థ యొక్క అంతర్గత లక్షణంగా ఎందుకు భావించకూడదో స్పష్టమవుతుంది. సిస్టమ్‌కి నిర్దిష్ట అంతర్గత శక్తి, మొమెంటం, ఛార్జ్ ఉన్నాయి, కానీ దీనికి నిర్దిష్ట ఎంట్రోపీ లేదు: పది పాచికల ఎంట్రోపీ మీకు వాటి మొత్తం మొత్తం మాత్రమే తెలుసా లేదా ఐదు పాచికల పాక్షిక మొత్తాలపై ఆధారపడి ఉంటుంది.

మరో మాటలో చెప్పాలంటే, ఎంట్రోపీ అంటే మనం వ్యవస్థను ఎలా వివరిస్తాము. మరియు ఇది భౌతిక శాస్త్రంలో పని చేయడానికి ఆచారంగా ఉన్న ఇతర పరిమాణాల నుండి చాలా భిన్నంగా ఉంటుంది.

భౌతిక ఉదాహరణ: పిస్టన్ కింద వాయువు

భౌతిక శాస్త్రంలో పరిగణించబడే శాస్త్రీయ వ్యవస్థ పిస్టన్ కింద ఒక పాత్రలో ఉన్న వాయువు. వాయువు యొక్క మైక్రోస్టేట్ దాని ప్రతి అణువు యొక్క స్థానం మరియు మొమెంటం (వేగం). ఇది ఇంతకు ముందు చర్చించిన ఉదాహరణలో ప్రతి డై యొక్క విలువను తెలుసుకోవటానికి సమానం. వాయువు యొక్క మాక్రోస్టేట్ ఒత్తిడి, సాంద్రత, వాల్యూమ్ మరియు రసాయన కూర్పు వంటి పరిమాణాల ద్వారా వివరించబడింది. ఇది పాచికలపై చుట్టబడిన సంఖ్యల మొత్తం లాంటిది.

మాక్రోస్టేట్‌ను వివరించే పరిమాణాలు "రాష్ట్ర సమీకరణం" అని పిలవబడే ద్వారా ఒకదానికొకటి సంబంధం కలిగి ఉంటాయి. మైక్రోస్టేట్‌లను తెలియకుండానే, మేము దానిని వేడి చేయడం లేదా పిస్టన్‌ను కదిలించడం ప్రారంభించినట్లయితే మన సిస్టమ్‌కు ఏమి జరుగుతుందో అంచనా వేయడానికి ఈ కనెక్షన్ ఉనికిని అనుమతిస్తుంది. ఆదర్శ వాయువు కోసం, రాష్ట్ర సమీకరణం సాధారణ రూపాన్ని కలిగి ఉంటుంది:

మీరు బహుశా Clapeyron-Mendeleev సమీకరణం pV = νRT గురించి బాగా తెలిసినప్పటికీ - ఇది అదే సమీకరణం, మిమ్మల్ని గందరగోళానికి గురిచేయడానికి జోడించిన కొన్ని స్థిరాంకాలతో. ఇచ్చిన మాక్రోస్టేట్‌కు అనుగుణంగా ఉండే మైక్రోస్టేట్‌లు, అంటే, మన సిస్టమ్‌లో భాగమైన ఎక్కువ కణాలు, స్థితి యొక్క సమీకరణం దానిని వివరిస్తుంది. వాయువు కోసం, కణాల సంఖ్య యొక్క లక్షణ విలువలు అవోగాడ్రో సంఖ్యకు సమానంగా ఉంటాయి, అనగా అవి సుమారు 10 23.

పీడనం, ఉష్ణోగ్రత మరియు సాంద్రత వంటి విలువలను సగటు అని పిలుస్తారు, ఎందుకంటే అవి ఇచ్చిన మాక్రోస్టేట్‌కు (లేదా, దానికి దగ్గరగా ఉన్న మాక్రోస్టేట్‌లు) నిరంతరం మారుతున్న మైక్రోస్టేట్‌ల యొక్క సగటు అభివ్యక్తి. సిస్టమ్ ఏ మైక్రోస్టేట్‌లో ఉందో తెలుసుకోవడానికి, మనకు చాలా సమాచారం అవసరం - ప్రతి కణం యొక్క స్థానం మరియు వేగాన్ని మనం తెలుసుకోవాలి. ఈ సమాచారం మొత్తాన్ని ఎంట్రోపీ అంటారు.

మాక్రోస్టేట్‌లో మార్పుతో ఎంట్రోపీ ఎలా మారుతుంది? అర్థం చేసుకోవడం సులభం. ఉదాహరణకు, మనం వాయువును కొద్దిగా వేడి చేస్తే, దాని కణాల వేగం పెరుగుతుంది, కాబట్టి, ఈ వేగం గురించి మన అజ్ఞానం యొక్క డిగ్రీ పెరుగుతుంది, అంటే, ఎంట్రోపీ పెరుగుతుంది. లేదా, పిస్టన్‌ను ఉపసంహరించుకోవడం ద్వారా గ్యాస్ పరిమాణాన్ని పెంచినట్లయితే, కణాల స్థానం గురించి మన అజ్ఞానం పెరుగుతుంది మరియు ఎంట్రోపీ కూడా పెరుగుతుంది.

ఘనపదార్థాలు మరియు సంభావ్య శక్తి

మేము ఒక వాయువుకు బదులుగా, కొన్ని ఘన శరీరాన్ని, ప్రత్యేకంగా ఒక ఆర్డర్ నిర్మాణంతో, స్ఫటికాలలో వలె, ఉదాహరణకు, మెటల్ ముక్కను పరిగణనలోకి తీసుకుంటే, దాని ఎంట్రోపీ చిన్నదిగా ఉంటుంది. ఎందుకు? ఎందుకంటే అటువంటి నిర్మాణంలో ఒక పరమాణువు యొక్క స్థానం తెలుసుకోవడం వలన, మిగతా వాటి స్థానం మీకు తెలుసు (అవి సరైన స్ఫటికాకార నిర్మాణంలో ఉంటాయి), కానీ అణువుల వేగం తక్కువగా ఉంటుంది, ఎందుకంటే అవి వాటి స్థానం నుండి చాలా దూరం ఎగరలేవు మరియు సమతౌల్య స్థానం చుట్టూ కొద్దిగా మాత్రమే డోలనం.

లోహపు ముక్క గురుత్వాకర్షణ క్షేత్రంలో ఉన్నట్లయితే (ఉదాహరణకు, భూమి యొక్క ఉపరితలం పైకి లేపబడి ఉంటుంది), అప్పుడు లోహంలోని ప్రతి అణువు యొక్క సంభావ్య శక్తి ఇతర పరమాణువుల సంభావ్య శక్తికి దాదాపు సమానంగా ఉంటుంది మరియు ఎంట్రోపీతో సంబంధం కలిగి ఉంటుంది ఈ శక్తి తక్కువ. ఇది గతి శక్తి నుండి సంభావ్య శక్తిని వేరు చేస్తుంది, ఇది ఉష్ణ చలనానికి పరమాణువు నుండి పరమాణువుకు చాలా తేడా ఉంటుంది.

ఒక నిర్దిష్ట ఎత్తుకు పెరిగిన లోహపు ముక్క విడుదల చేయబడితే, దాని సంభావ్య శక్తి గతి శక్తిగా రూపాంతరం చెందుతుంది, అయితే ఎంట్రోపీ ఆచరణాత్మకంగా పెరగదు, ఎందుకంటే అన్ని అణువులు దాదాపు ఒకే విధంగా కదులుతాయి. కానీ ముక్క భూమిని తాకినప్పుడు, లోహపు పరమాణువులు ప్రభావం సమయంలో యాదృచ్ఛిక చలన దిశను అందిస్తాయి మరియు ఎంట్రోపీ నాటకీయంగా పెరుగుతుంది. దర్శకత్వం వహించిన చలనం యొక్క గతి శక్తి ఉష్ణ చలనం యొక్క గతి శక్తిగా మారుతుంది. ప్రభావానికి ముందు, ప్రతి అణువు ఎలా కదులుతుందో మాకు తెలుసు, కానీ ఇప్పుడు మేము ఈ సమాచారాన్ని కోల్పోయాము.

థర్మోడైనమిక్స్ యొక్క రెండవ నియమాన్ని అర్థం చేసుకోవడం

థర్మోడైనమిక్స్ యొక్క రెండవ నియమం ఎంట్రోపీ (క్లోజ్డ్ సిస్టమ్ యొక్క) ఎప్పటికీ తగ్గదని పేర్కొంది. మనం ఇప్పుడు ఎందుకు అర్థం చేసుకోగలము: ఎందుకంటే మైక్రోస్టేట్‌ల గురించి అకస్మాత్తుగా మరింత సమాచారాన్ని పొందడం అసాధ్యం. ఒకసారి మీరు మైక్రోస్టేట్ సమాచారాన్ని కోల్పోయినట్లయితే (ఒక మెటల్ ముక్క భూమిని తాకినట్లు), మీరు దానిని తిరిగి పొందలేరు.


పాచికలకు తిరిగి వెళ్దాం. 59 మొత్తంతో ఉన్న మాక్రోస్టేట్ చాలా తక్కువ ఎంట్రోపీని కలిగి ఉందని గుర్తుంచుకోండి, కానీ దానిని పొందడం అంత సులభం కాదు. మీరు పాచికలను పదే పదే విసిరితే, ఎక్కువ సంఖ్యలో మైక్రోస్టేట్‌లకు అనుగుణంగా ఉండే మొత్తాలు (మాక్రోస్టేట్‌లు) కనిపిస్తాయి, అంటే అధిక ఎంట్రోపీ ఉన్న మాక్రోస్టేట్‌లు గ్రహించబడతాయి. మొత్తం 35 అత్యధిక ఎంట్రోపీని కలిగి ఉంది మరియు ఈ మొత్తం ఇతరుల కంటే ఎక్కువగా కనిపిస్తుంది. థర్మోడైనమిక్స్ యొక్క రెండవ నియమం సరిగ్గా ఇదే చెబుతుంది. ఏదైనా యాదృచ్ఛిక (నియంత్రిత) పరస్పర చర్య ఎంట్రోపీలో పెరుగుదలకు దారితీస్తుంది, కనీసం అది గరిష్ట స్థాయికి చేరుకునే వరకు.

వాయువుల మిక్సింగ్

మరియు చెప్పబడిన దాన్ని బలపరచడానికి మరొక ఉదాహరణ. కంటైనర్ మధ్యలో ఉన్న విభజన ద్వారా వేరు చేయబడిన రెండు వాయువులను కలిగి ఉన్న కంటైనర్‌ను కలిగి ఉన్నాము. ఒక వాయువు యొక్క అణువులను నీలం మరియు మరొకటి ఎరుపు అని పిలుద్దాం.

విభజన తెరిచినట్లయితే, వాయువులు కలపడం ప్రారంభమవుతుంది, ఎందుకంటే వాయువులు కలిపిన మైక్రోస్టేట్‌ల సంఖ్య అవి వేరు చేయబడిన మైక్రోస్టేట్‌ల కంటే చాలా ఎక్కువగా ఉంటుంది మరియు అన్ని మైక్రోస్టేట్‌లు సహజంగా సమానంగా సంభావ్యంగా ఉంటాయి. మేము విభజనను తెరిచినప్పుడు, ప్రతి అణువు కోసం అది ఇప్పుడు ఏ వైపున ఉంది అనే దాని గురించి సమాచారాన్ని కోల్పోతాము. N అణువులు ఉన్నట్లయితే, అప్పుడు N బిట్‌ల సమాచారం పోతుంది (బిట్‌లు మరియు చిహ్నాలు, ఈ సందర్భంలో, అదే విషయం, మరియు నిర్దిష్ట స్థిరమైన కారకం ద్వారా మాత్రమే విభిన్నంగా ఉంటాయి).

మాక్స్‌వెల్ దెయ్యంతో వ్యవహరించడం

చివరగా, మాక్స్‌వెల్ యొక్క భూతం యొక్క ప్రసిద్ధ పారడాక్స్‌కు మన నమూనా యొక్క చట్రంలో పరిష్కారాన్ని పరిశీలిద్దాం. ఇది క్రింది విధంగా ఉందని నేను మీకు గుర్తు చేస్తాను. నీలం మరియు ఎరుపు అణువుల మిశ్రమ వాయువులను కలిగి ఉన్నాము. విభజనను తిరిగి ఉంచుదాం, దానిలో ఒక చిన్న రంధ్రం చేస్తాము, దానిలో మనం ఒక ఊహాత్మక దెయ్యాన్ని ఉంచుతాము. ఎడమ నుండి కుడికి ఎరుపు రంగులను మాత్రమే మరియు కుడి నుండి ఎడమకు నీలం రంగులను మాత్రమే పాస్ చేయడం అతని పని. సహజంగానే, కొంత సమయం తర్వాత వాయువులు మళ్లీ వేరు చేయబడతాయి: అన్ని నీలం అణువులు విభజన యొక్క ఎడమ వైపున ఉంటాయి మరియు అన్ని ఎరుపు అణువులు కుడి వైపున ఉంటాయి.


మన భూతం వ్యవస్థ యొక్క ఎంట్రోపీని తగ్గించిందని తేలింది. దెయ్యానికి ఏమీ జరగలేదు, అంటే దాని ఎంట్రోపీ మారలేదు మరియు మన వ్యవస్థ మూసివేయబడింది. థర్మోడైనమిక్స్ యొక్క రెండవ నియమం సంతృప్తి చెందని ఉదాహరణను మేము కనుగొన్నాము! ఇది ఎలా సాధ్యమైంది?

అయితే, ఈ వైరుధ్యానికి పరిష్కారం చాలా సులభం. అన్నింటికంటే, ఎంట్రోపీ అనేది వ్యవస్థ యొక్క ఆస్తి కాదు, ఈ వ్యవస్థ గురించి మనకున్న జ్ఞానం. సిస్టమ్ గురించి మీకు మరియు నాకు చాలా తక్కువ తెలుసు, అందుకే దాని ఎంట్రోపీ తగ్గుతున్నట్లు మాకు అనిపిస్తుంది. కానీ మన దెయ్యానికి వ్యవస్థ గురించి చాలా తెలుసు - అణువులను వేరు చేయాలంటే, వాటిలో ప్రతి దాని స్థానం మరియు వేగం (కనీసం అతనిని సమీపిస్తున్నప్పుడు) అతను తెలుసుకోవాలి. అతనికి అణువుల గురించి ప్రతిదీ తెలిస్తే, అతని దృక్కోణం నుండి సిస్టమ్ యొక్క ఎంట్రోపీ వాస్తవానికి సున్నాకి సమానం - దాని గురించి అతనికి తప్పిపోయిన సమాచారం లేదు. ఈ సందర్భంలో, వ్యవస్థ యొక్క ఎంట్రోపీ సున్నాకి సమానంగా ఉంటుంది మరియు సున్నాకి సమానంగా ఉంటుంది మరియు థర్మోడైనమిక్స్ యొక్క రెండవ నియమం ఎక్కడా ఉల్లంఘించబడలేదు.

సిస్టమ్ యొక్క మైక్రోస్టేట్ గురించి మొత్తం సమాచారం దెయ్యానికి తెలియకపోయినా, దానిని అనుమతించాలా వద్దా అని అర్థం చేసుకోవడానికి కనీసం తన వద్దకు వచ్చే అణువు యొక్క రంగును తెలుసుకోవాలి. మరియు మొత్తం అణువుల సంఖ్య N అయితే, దెయ్యం తప్పనిసరిగా సిస్టమ్ గురించి N బిట్‌ల సమాచారాన్ని కలిగి ఉండాలి - కానీ మనం విభజనను తెరిచినప్పుడు మనం కోల్పోయిన సమాచారం అంతే. అంటే, కోల్పోయిన సమాచారం మొత్తం సిస్టమ్ దాని అసలు స్థితికి తిరిగి రావడానికి దాని గురించి పొందవలసిన సమాచార మొత్తానికి ఖచ్చితంగా సమానంగా ఉంటుంది - మరియు ఇది చాలా తార్కికంగా అనిపిస్తుంది మరియు మళ్ళీ థర్మోడైనమిక్స్ యొక్క రెండవ నియమానికి విరుద్ధంగా లేదు. .

డిపెండెంట్ మెసేజ్‌లతో కూడిన మూలం కోసం, ఎంట్రోపీ అనేది ఈ మెసేజ్‌లలోని ఒక్కో మూలకం యొక్క మొత్తం సమాచారం యొక్క గణిత అంచనాగా కూడా లెక్కించబడుతుంది. సమాచారం మరియు ఎంట్రోపీ మొత్తం లాగరిథమిక్ కొలతలు మరియు అదే యూనిట్లలో కొలుస్తారు.

6. కంబైన్డ్ గణాంకపరంగా స్వతంత్ర సమాచార వనరుల ఎంట్రోపీ వాటి ఎంట్రోపీల మొత్తానికి సమానం. 7. ఎంట్రోపీ అనేది సమిష్టి నుండి ఒక స్థితిని ఎంచుకునే సగటు అనిశ్చితిని వర్ణిస్తుంది, సమిష్టి యొక్క ముఖ్యమైన భాగాన్ని పూర్తిగా విస్మరిస్తుంది. ఎకోసిస్టమ్ ఎంట్రోపీ అనేది పర్యావరణ వ్యవస్థ యొక్క రుగ్మత లేదా వినియోగానికి అందుబాటులో లేని శక్తి యొక్క కొలత. ఎంట్రోపీ ఇండెక్స్ ఎక్కువగా ఉంటే, పర్యావరణ వ్యవస్థ సమయం మరియు ప్రదేశంలో తక్కువ స్థిరంగా ఉంటుంది.

4.1.2 వివిక్త సందేశ మూలం యొక్క ఎంట్రోపీ మరియు పనితీరు

ఈ సందేశాలలో ఏదైనా కొన్ని భౌతిక వ్యవస్థ యొక్క స్థితిని వివరిస్తుంది. భౌతిక వ్యవస్థ యొక్క అనిశ్చితి స్థాయి దాని సాధ్యమైన స్థితుల సంఖ్య ద్వారా మాత్రమే కాకుండా, రాష్ట్రాల సంభావ్యత ద్వారా కూడా నిర్ణయించబడుతుందని మేము చూస్తాము. సిస్టమ్ (లేదా నిరంతర రాండమ్ వేరియబుల్) యొక్క ప్రియోరి అనిశ్చితి యొక్క కొలతగా, సమాచార సిద్ధాంతం ఎంట్రోపీ అనే ప్రత్యేక లక్షణాన్ని ఉపయోగిస్తుంది.

ఎంట్రోపీ, మనం తరువాత చూడబోతున్నట్లుగా, అనిశ్చితి స్థాయి యొక్క లక్షణంగా దాని ఎంపికను సమర్థించే అనేక లక్షణాలను కలిగి ఉంది. చివరగా, మరియు ఇది చాలా ముఖ్యమైన విషయం, ఇది సంకలిత ఆస్తిని కలిగి ఉంటుంది, అనగా, అనేక స్వతంత్ర వ్యవస్థలు ఒకదానితో ఒకటి కలిపినప్పుడు, వాటి ఎంట్రోపీలు జోడించబడతాయి. 10 సంఖ్యను బేస్‌గా ఎంచుకున్నట్లయితే, మేము ఎంట్రోపీ యొక్క “దశాంశ యూనిట్లు” గురించి మాట్లాడుతాము, 2 అయితే “బైనరీ యూనిట్లు” గురించి.

అన్ని రాష్ట్రాలు సమానంగా సంభావ్యంగా ఉన్నప్పుడు పరిమిత రాష్ట్రాలతో కూడిన వ్యవస్థ యొక్క ఎంట్రోపీ గరిష్ట స్థాయికి చేరుకుంటుందని నిరూపిద్దాం. ఉదాహరణ 3. మూడు మూలకాలతో కూడిన సిస్టమ్ యొక్క గరిష్ట సాధ్యమైన ఎంట్రోపీని నిర్ణయించండి, వీటిలో ప్రతి ఒక్కటి నాలుగు సాధ్యమైన స్థితులలో ఉండవచ్చు.

ఈ సందర్భంలో పొందిన ఎంట్రోపీ విలువ స్వతంత్ర సందేశాల మూలం కంటే తక్కువగా ఉంటుందని గమనించాలి. సందేశ ఆధారపడటం సమక్షంలో, ఎంపిక యొక్క అనిశ్చితి తగ్గుతుంది మరియు తదనుగుణంగా, ఎంట్రోపీ తగ్గుతుంది అనే వాస్తవం నుండి ఇది అనుసరిస్తుంది. బైనరీ మూలం యొక్క ఎంట్రోపీని నిర్ధారిద్దాం. ఆధారపడటం యొక్క గ్రాఫ్ (4.4) అంజీర్లో ప్రదర్శించబడింది. 4.1 గ్రాఫ్ నుండి క్రింది విధంగా, బైనరీ మూలం యొక్క ఎంట్రోపీ సున్నా నుండి ఒకటి వరకు మారుతుంది.

ఎంట్రోపీ యొక్క ప్రాథమిక లక్షణాలు

పరీక్ష ఫలితంలో అనిశ్చితి స్థాయి, అంటే నిర్దిష్ట సందేశం ఎంపికలో అనిశ్చితి పరంగా ఇచ్చిన సంభావ్యత పంపిణీని ఎంట్రోపీ వర్గీకరిస్తుంది. నిజానికి, సంభావ్యతలలో ఒకటి ఒకదానికి సమానంగా ఉంటే మరియు మిగతావన్నీ సున్నాకి సమానం అయితే మాత్రమే ఎంట్రోపీ సున్నా అని ధృవీకరించడం సులభం; దీని అర్థం ఎంపిక యొక్క పూర్తి నిశ్చయత.

మూలాధారం ద్వారా సృష్టించబడిన సందేశాల "వైవిధ్యం" యొక్క కొలతగా ఎంట్రోపీ భావన యొక్క మరొక దృశ్య వివరణ సాధ్యమవుతుంది. ఎంట్రోపీ యొక్క పై లక్షణాలు వైవిధ్యం యొక్క కొలత యొక్క సహజమైన ఆలోచనతో చాలా స్థిరంగా ఉన్నాయని చూడటం సులభం. ఈ ఎలిమెంట్‌ను ఎంచుకునే అవకాశాలు ఎంత వైవిధ్యంగా ఉంటాయో, మెసేజ్ ఎలిమెంట్‌లో ఉన్న సమాచారం అంత ఎక్కువగా ఉంటుందని ఊహించడం కూడా సహజం.

వ స్థితిలో ఉన్న మూలం కోసం ఎంచుకున్న మూలకంలోని సమాచారం యొక్క మొత్తం గణిత అంచనాను సూచించే వ్యక్తీకరణను ఈ స్థితి యొక్క ఎంట్రోపీ అని పిలుస్తారు. పైన నిర్వచించబడిన ప్రతి సందేశ మూలకం యొక్క మూలం ఎంట్రోపీ సందేశాలు మూలకాలుగా ఎలా విభజించబడిందనే దానిపై ఆధారపడి ఉంటుంది, అనగా వర్ణమాల ఎంపికపై ఆధారపడి ఉంటుంది. అయితే, ఎంట్రోపీకి సంకలితం యొక్క ముఖ్యమైన లక్షణం ఉంది.

ఎంట్రోపీ యొక్క కొన్ని లక్షణాలను మనం గమనించండి. ఎంట్రోపీ. భౌతిక శాస్త్ర కోర్సులో కనీసం క్లాసికల్ ఫిజిక్స్ విషయానికి వస్తే మీరు ఎదుర్కోగలరని అర్థం చేసుకోవడానికి ఇది చాలా కష్టమైన భావనలలో ఒకటి.

ఉదాహరణకు, నేను ఎక్కడ నివసిస్తున్నాను అని మీరు నన్ను అడిగితే, నేను సమాధానం ఇస్తాను: రష్యాలో, అప్పుడు మీ కోసం నా ఎంట్రోపీ ఎక్కువగా ఉంటుంది, అన్ని తరువాత, రష్యా ఒక పెద్ద దేశం. నేను మీకు నా జిప్ కోడ్: 603081 చెబితే, మీరు మరింత సమాచారం అందుకుంటారు కాబట్టి మీ కోసం నా ఎంట్రోపీ తగ్గుతుంది.

నా గురించి మీ జ్ఞానం యొక్క ఎంట్రోపీ సుమారు 6 అక్షరాలు తగ్గింది. మొత్తం 59 అని నేను మీకు చెబితే? ఈ మాక్రోస్టేట్‌కు కేవలం 10 మైక్రోస్టేట్‌లు మాత్రమే ఉన్నాయి, కాబట్టి దాని ఎంట్రోపీ ఒక చిహ్నం మాత్రమే. మీరు గమనిస్తే, వేర్వేరు మాక్రోస్టేట్‌లు వేర్వేరు ఎంట్రోపీలను కలిగి ఉంటాయి. మైక్రోస్టేట్‌ల సంఖ్యను వ్రాయడానికి అవసరమైన చిహ్నాల సంఖ్యగా మేము ఎంట్రోపీని కొలుస్తాము.

మరో మాటలో చెప్పాలంటే, ఎంట్రోపీ అంటే మనం వ్యవస్థను ఎలా వివరిస్తాము. ఉదాహరణకు, మనం వాయువును కొద్దిగా వేడి చేస్తే, దాని కణాల వేగం పెరుగుతుంది, కాబట్టి, ఈ వేగం గురించి మన అజ్ఞానం యొక్క డిగ్రీ పెరుగుతుంది, అంటే, ఎంట్రోపీ పెరుగుతుంది. లేదా, పిస్టన్‌ను ఉపసంహరించుకోవడం ద్వారా గ్యాస్ పరిమాణాన్ని పెంచినట్లయితే, కణాల స్థానం గురించి మన అజ్ఞానం పెరుగుతుంది మరియు ఎంట్రోపీ కూడా పెరుగుతుంది.

ఒక వైపు, ఇది అనేక రకాల దృగ్విషయాల విశ్లేషణలో ఎంట్రోపీని ఉపయోగించే అవకాశాలను విస్తరిస్తుంది, కానీ, మరోవైపు, దీనికి ఉద్భవిస్తున్న పరిస్థితుల యొక్క నిర్దిష్ట అదనపు అంచనా అవసరం. ఇది మొదటిది, విశ్వం అనేది సరిహద్దులతో కూడిన సాధారణ పరిమిత వస్తువు కాదు, ఇది సమయం మరియు ప్రదేశంలో అనంతం.

గరిష్ట పని - థర్మోడైనమిక్స్‌లో 1) థర్మల్లీ ఇన్సులేటెడ్ మెటీరియల్ ద్వారా చేసే పని. సమాచార సిద్ధాంతంలో మనం వ్యవహరించే ఏదైనా సందేశం కొంత భౌతిక వ్యవస్థ గురించిన సమాచార సేకరణ. సహజంగానే, భౌతిక వ్యవస్థ యొక్క స్థితిని ముందుగానే తెలుసుకుంటే, సందేశాన్ని ప్రసారం చేయడంలో ఎటువంటి ప్రయోజనం ఉండదు.

సహజంగానే, సిస్టమ్ గురించి పొందిన సమాచారం, సాధారణంగా చెప్పాలంటే, మరింత విలువైనది మరియు అర్థవంతంగా ఉంటుంది, ఈ సమాచారాన్ని స్వీకరించే ముందు సిస్టమ్ యొక్క అనిశ్చితి ఎక్కువగా ఉంటుంది ("ప్రియోరి"). ఈ ప్రశ్నకు సమాధానమివ్వడానికి, రెండు వ్యవస్థలను పోల్చి చూద్దాం, వీటిలో ప్రతి ఒక్కటి కొంత అనిశ్చితి కలిగి ఉంటుంది.

అయితే, సాధారణంగా ఇది అలా కాదు. ఉదాహరణకు, రెండు రాష్ట్రాల్లో ఉండే సాంకేతిక పరికరాన్ని పరిగణించండి: 1) కార్యాచరణ మరియు 2) తప్పు. సిస్టమ్ యొక్క అనిశ్చితి స్థాయిని వివరించడానికి, పట్టిక యొక్క ఎగువ వరుసలో ఏ విలువలు వ్రాయబడిందనేది పూర్తిగా ముఖ్యమైనది కాదని మేము నొక్కిచెప్పాము; ఈ విలువల సంఖ్య మరియు వాటి సంభావ్యత మాత్రమే ముఖ్యమైనవి. సమాచార సిద్ధాంతంలో ఎంట్రోపీ భావన ప్రాథమికమైనది.

ఈ సమాచారం మొత్తాన్ని ఎంట్రోపీ అంటారు. కొన్ని సందేశంలో వర్ణమాల, మూలకాలు మొదలైన అంశాలు ఉన్నాయని అనుకుందాం. పరిమాణాన్ని సందేశ మూలం యొక్క ఎంట్రోపీ అంటారు. 3. సందేశ మూలకాల యొక్క అన్ని రాష్ట్రాలు సమానంగా సంభావ్యంగా ఉంటే ఎంట్రోపీ గరిష్టంగా ఉంటుంది. సమాచార సిద్ధాంతంలో, ఇది ఎల్లప్పుడూ, అంటే, సంభావ్య కనెక్షన్ల ఉనికి సందేశ మూలం యొక్క ఎంట్రోపీని తగ్గిస్తుందని నిరూపించబడింది.

సమాచార సిద్ధాంతం

సమాచార సిద్ధాంతం యొక్క మూలం క్లాడ్ షానన్, అతను 1947-48లో కమ్యూనికేషన్ సిస్టమ్స్ యొక్క సమర్థత సమస్యపై పనిచేశాడు. ఫలితంగా, ఈ సిద్ధాంతం యొక్క లక్ష్యం రూపొందించబడింది - కమ్యూనికేషన్ ఛానెల్ యొక్క సామర్థ్యాన్ని పెంచడం. సమర్థవంతమైన వ్యవస్థ అంటే, ఇతర పరిస్థితులు మరియు ఖర్చులు సమానంగా ఉండటం వలన, మరింత సమాచారాన్ని ప్రసారం చేస్తుంది. సాధారణంగా, విశ్లేషణ వస్తువును పరిగణిస్తుంది: సమాచార మూలం మరియు సమాచారాన్ని ప్రసారం చేయడానికి ఛానెల్.

కాబట్టి, కొన్ని సంఘటనలు ఉన్నాయి. వాటి గురించిన సమాచారం సంకేత రూపంలో, సిగ్నల్ రూపంలో కమ్యూనికేషన్ ఛానెల్ ద్వారా ప్రసారం చేయబడుతుంది. ఒక ఛానెల్ రెండు షరతులు పాటిస్తే బాగుంటుందని వాదించవచ్చు. మొదట, సమాచారం దాని ద్వారా అధిక వేగంతో ప్రసారం చేయబడుతుంది మరియు రెండవది, ప్రసారాన్ని ప్రభావితం చేసే జోక్యం సమాచార నాణ్యతను కొద్దిగా తగ్గిస్తుంది. అటువంటి బదిలీ కోసం షరతులను కనుగొనడానికి, కొన్ని సమాచార లక్షణాలను నమోదు చేయడం అవసరం.

సమాచార సిద్ధాంతం యొక్క ప్రాథమిక సూత్రాలు వివిక్త మూలం మరియు అదే ఛానెల్‌తో చాలా స్పష్టంగా వ్యక్తీకరించబడతాయి. అందువలన, మేము ఈ ఊహతో అంశంతో మా పరిచయాన్ని ప్రారంభిస్తాము.

1.1 సమాచారం యొక్క పరిమాణాత్మక కొలత.

మొదట, ఛానెల్ ద్వారా ప్రసారం చేయడంలో అర్ధమేమిటో తెలుసుకుందాం.

ఏ సమాచారం ప్రసారం చేయబడుతుందో గ్రహీతకు తెలిస్తే, దానిని ప్రసారం చేయవలసిన అవసరం లేదు. ఊహించనిది మాత్రమే తెలియజేయడం సమంజసం. ఆశ్చర్యం ఎంత ఎక్కువగా ఉంటే, ఈ ఈవెంట్‌లో మరింత సమాచారం ఉండాలి. ఉదాహరణకు, మీరు కంప్యూటర్‌లో పని చేస్తారు. నేటి పనిని 45 నిమిషాల్లో పూర్తి చేయాలని సందేశం. షెడ్యూల్ ప్రకారం మీకు కొత్తగా ఉండే అవకాశం లేదు. పని ముగింపు ప్రకటనకు ముందే ఇది ఖచ్చితంగా స్పష్టంగా ఉంది. అందువల్ల, అటువంటి సందేశం సున్నా సమాచారాన్ని కలిగి ఉంటుంది; దానిని పాస్ చేయడంలో అర్థం లేదు. మరియు ఇప్పుడు మరొక ఉదాహరణ. సందేశం క్రింది విధంగా ఉంది: ఒక గంటలో, మీ యజమాని మీకు మాస్కోకు మరియు తిరిగి వెళ్లడానికి విమాన టిక్కెట్‌ను ఇస్తాడు మరియు వినోదం కోసం కొంత మొత్తాన్ని కూడా కేటాయిస్తారు. ఈ రకమైన సమాచారం మీకు ఊహించనిది మరియు అందువల్ల, పెద్ద సంఖ్యలో కొలత యూనిట్లను కలిగి ఉంటుంది. ఛానెల్ ద్వారా తెలియజేయడానికి అర్ధమయ్యే సందేశాల రకాలు ఇవి. ముగింపు చాలా సులభం: సందేశంలో ఎంత ఆశ్చర్యం ఉంటే, అది మరింత సమాచారాన్ని కలిగి ఉంటుంది.

ఆశ్చర్యం సంభావ్యత ద్వారా వర్గీకరించబడుతుంది, ఇది సమాచార కొలతలో చేర్చబడుతుంది.

మరికొన్ని ఉదాహరణలు. మా వద్ద రెండు పెట్టెలు ఉన్నాయి, ఒకటి తెల్ల బంతులతో మరియు మరొకటి నల్ల బంతులతో. తెల్ల బంతులు ఎక్కడ ఉన్నాయో సందేశంలో ఎంత సమాచారం ఉంది? ఏదైనా పెట్టెలో తెల్లని బంతులు ఉండే సంభావ్యత 0.5. ఈ సంభావ్యతను అనుభవం వరకు పిలుద్దాం లేదా ఒక ప్రయోరి .

ఇప్పుడు మేము ఒక బంతిని తీసుకుంటాము. మనం ఏ బంతిని తీసినా, అటువంటి ప్రయోగం తర్వాత తెల్లని బంతులు ఏ పెట్టెలో ఉన్నాయో ఖచ్చితంగా తెలుస్తుంది. అందువల్ల, సమాచారం యొక్క సంభావ్యత 1కి సమానంగా ఉంటుంది. ఈ సంభావ్యతను ప్రయోగాత్మక లేదా తర్వాత అంటారు ఒక పృష్ఠ .

సమాచారం యొక్క మొత్తం దృక్కోణం నుండి ఈ ఉదాహరణను చూద్దాం - బంతులతో కూడిన పెట్టెలు. ప్రారంభంలో, బంతుల గురించి అనిశ్చితి 0.5 సంభావ్యతతో వర్గీకరించబడింది. అప్పుడు మూలం "మాట్లాడింది" మరియు సమాచారం ఇచ్చింది; మేము బంతిని బయటకు తీసాము. అప్పుడు ప్రతిదీ సంభావ్యతతో నిర్ణయించబడింది 1. అనుభవం ఫలితంగా ఒక సంఘటన గురించి అనిశ్చితిలో తగ్గింపు స్థాయిని సమాచారం యొక్క పరిమాణాత్మక కొలతగా తీసుకోవడం తార్కికం. మా ఉదాహరణలో ఇది 1/0.5 అవుతుంది.

ఇప్పుడు ఉదాహరణ మరింత క్లిష్టంగా ఉంది. పార్ట్ సైజు 120,121,122, . . .,180 మిమీ., అంటే, ఇది 61 విలువలలో ఒకటి. పార్ట్ సైజు i mm యొక్క ముందస్తు సంభావ్యత 1/61.

మాకు చాలా అసంపూర్ణమైన కొలిచే పరికరం ఉంది, ఇది +5.-5 మిమీ ఖచ్చితత్వంతో ఒక భాగాన్ని కొలవడానికి అనుమతిస్తుంది. కొలతల ఫలితంగా, పరిమాణం 130 మిమీ. కానీ నిజానికి అది 125,126, కావచ్చు. . .,135 మిమీ; 11 విలువలు మాత్రమే. ప్రయోగం ఫలితంగా, అనిశ్చితి మిగిలి ఉంది, ఇది 1/11 యొక్క పృష్ఠ సంభావ్యత ద్వారా వర్గీకరించబడుతుంది. అనిశ్చితి తగ్గింపు స్థాయి (1/11):(1/61). పైన పేర్కొన్న విధంగా, ఈ నిష్పత్తి సమాచారం మొత్తం.

సమాచారం మొత్తాన్ని ప్రతిబింబించడానికి లాగరిథమిక్ ఫంక్షన్ చాలా సౌకర్యవంతంగా ఉంటుంది. సంవర్గమానం యొక్క ఆధారం రెండుగా తీసుకోబడుతుంది. మేము సమాచారం మొత్తాన్ని సూచిస్తాము
- ఒక ముందస్తు సంభావ్యత,
- పృష్ఠ సంభావ్యత. అప్పుడు,

. (1)

మొదటి ఉదాహరణలో
1 బిట్ సమాచారం; రెండవది
2.46 బిట్స్ సమాచారం. బిట్ - సమాచారం యొక్క ఒక బైనరీ యూనిట్ .

ఇప్పుడు సమాచారం యొక్క నిజమైన మూలం వైపుకు వెళ్దాం, ఇది విభిన్నమైన ప్రయోరి సంభావ్యతలతో కూడిన స్వతంత్ర సంఘటనల (సందేశాలు) సమితి
. ఈ సెట్ వస్తువు యొక్క పారామితుల గురించి డేటాను సూచిస్తుంది మరియు దాని గురించి సమాచారం ఉంది. సాధారణంగా, మూలం సందేశాన్ని జారీ చేసిన తర్వాత, ఏ పరామితి జారీ చేయబడిందో విశ్వసనీయంగా తెలుస్తుంది. వెనుక సంభావ్యత 1. ప్రతి ఈవెంట్‌లో ఉన్న సమాచారం మొత్తం సమానంగా ఉంటుంది

. (2)

ఈ విలువ ఎల్లప్పుడూ సున్నా కంటే ఎక్కువగా ఉంటుంది. చాలా సంఘటనలు, చాలా సమాచారం. మూలాన్ని వర్గీకరించడానికి ఇది పూర్తిగా అనుకూలమైనది కాదు. కాబట్టి, ఎంట్రోపీ అనే భావన పరిచయం చేయబడింది. ఎంట్రోపీ అనేది మూలం యొక్క ఈవెంట్‌కు (సందేశం) సగటు సమాచారం . ఇది గణిత నిరీక్షణను నిర్ణయించే నియమాల ప్రకారం కనుగొనబడింది:

. (3)

లేదా లాగరిథమిక్ ఫంక్షన్ యొక్క లక్షణాలు ఇవ్వబడ్డాయి

. (4)

ఎంట్రోపీ డైమెన్షన్ బిట్స్/మెసేజ్. ఎంట్రోపీ యొక్క లక్షణాలపై నివసిద్దాం. ఒక ఉదాహరణతో ప్రారంభిద్దాం. సంఘటనల యొక్క ముందస్తు సంభావ్యతతో బైనరీ సమాచారం యొక్క మూలం ఉందని చెప్పండి మరియు పూర్తి సమూహాన్ని రూపొందించడం. దీని నుండి వారి మధ్య కనెక్షన్ క్రింది విధంగా ఉంది:
. మూలం యొక్క ఎంట్రోపీని కనుగొనండి:

సంభావ్యతలలో ఒకటి సున్నాకి సమానం అయితే, రెండవది 1కి సమానం, మరియు ఎంట్రోపీకి వ్యక్తీకరణ సున్నాని ఇస్తుందని చూడటం కష్టం కాదు.

ఎంట్రోపీపై ఆధారపడటాన్ని ప్లాట్ చేద్దాం
(Fig. 1).

0.5కి సమానమైన సంభావ్యత వద్ద ఎంట్రోపీ గరిష్టంగా ఉంటుంది మరియు ఎల్లప్పుడూ సానుకూలంగా ఉంటుంది అనే వాస్తవాన్ని మనం దృష్టిలో ఉంచుకుందాం.

ఎంట్రోపీ యొక్క మొదటి ఆస్తి . సోర్స్‌లో సమానంగా సంభావ్య ఈవెంట్‌లకు ఎంట్రోపీ గరిష్టంగా ఉంటుంది. మా బైనరీ సోర్స్ ఉదాహరణలో, ఈ విలువ 1. మూలం బైనరీ కానట్లయితే మరియు కలిగి ఉంటుంది ఎన్ పదాలు, ఆపై గరిష్ట ఎంట్రోపీ.

ఎంట్రోపీ యొక్క రెండవ లక్షణం. ఒక మూల సందేశం యొక్క సంభావ్యత 1 అయితే, మిగిలినవి సున్నా అయితే, పూర్తి ఈవెంట్‌ల సమూహాన్ని ఏర్పరుస్తుంది, అప్పుడు ఎంట్రోపీ సున్నా. అటువంటి మూలం సమాచారాన్ని ఉత్పత్తి చేయదు.

ఎంట్రోపీ యొక్క మూడవ లక్షణం ఎంట్రోపీ సంకలన సిద్ధాంతం . ఈ ప్రశ్నను మరింత వివరంగా పరిశీలిద్దాం. సందేశాల సెట్ల ద్వారా సూచించబడిన సమాచారం యొక్క రెండు మూలాలు ఉన్నాయని చెప్పండి మరియు .

ప్రతి మూలానికి ఎంట్రోపీలు ఉంటాయి
మరియు
. తరువాత, ఈ మూలాలు మిళితం చేయబడతాయి మరియు మిశ్రమ సమిష్టి యొక్క ఎంట్రోపీని కనుగొనడం అవసరం
. ప్రతి జత సందేశాలు మరియు సంభావ్యతకు అనుగుణంగా ఉంటుంది
. అటువంటి జతలో సమాచారం మొత్తం ఉంటుంది

బాగా తెలిసిన పద్ధతిలో కొనసాగుతూ, సమిష్టి సందేశాల జతకు సగటు సమాచారాన్ని మేము కనుగొంటాము. ఇది ఎంట్రోపీ అవుతుంది. నిజమే, ఇక్కడ రెండు కేసులు ఉండవచ్చు. మిశ్రమ బృందాలు గణాంకపరంగా స్వతంత్రంగా మరియు ఆధారపడి ఉంటాయి.

స్వతంత్ర బృందాల యొక్క మొదటి కేసు, సందేశం యొక్క రూపాన్ని పరిగణించండి అనేది ఏ విధంగానూ నిర్వచించబడలేదు . ఎంట్రోపీ కోసం వ్యక్తీకరణను వ్రాస్దాం:

, (7)

ఇక్కడ
- బృందాలలోని సందేశాల సంఖ్య.

స్వాతంత్ర్యంతో రెండు డైమెన్షనల్ సంభావ్యత , a, సాధారణ మునుపటి సూత్రం నుండి మనం పొందుతాము

ఎక్కడ
మరియు
తెలిసిన సూత్రాల ద్వారా నిర్ణయించబడతాయి.

తదుపరి మేము మరింత క్లిష్టమైన కేసును పరిశీలిస్తాము. మెసేజ్ ఎంసెట్‌లు గణాంక సంబంధంలో ఉన్నాయని అనుకుందాం కొంత సంభావ్యతతో రూపాన్ని సూచిస్తుంది . ఈ వాస్తవం షరతులతో కూడిన సంభావ్యత ద్వారా వర్గీకరించబడుతుంది
; సంజ్ఞామానంలోని స్లాష్ పరిస్థితిని వర్ణిస్తుంది. షరతులతో కూడిన సంభావ్యతలను పరిచయం చేస్తున్నప్పుడు, ఒక డైమెన్షనల్ వాటి ఉత్పత్తి ద్వారా ద్విమితీయ సంభావ్యతను నిర్వచించవచ్చు:

దీన్ని పరిగణనలోకి తీసుకుని, ఎంట్రోపీకి వ్యక్తీకరణను కనుగొనండి. మార్పిడి ఇలా జరుగుతుంది:

అన్ని ఈవెంట్ సంభావ్యతల మొత్తం 1కి సమానం అయినందున, చివరి వ్యక్తీకరణలో మొదటి డబుల్ మొత్తం మూలం X, H(x) యొక్క ఎంట్రోపీని ఇస్తుంది.

రెండవ ద్వంద్వ మొత్తాన్ని షరతులతో కూడిన ఎంట్రోపీ అంటారు మరియు దీనిని సూచిస్తారు
. అందువలన,

అదే విధంగా దీనిని నిరూపించవచ్చు.

చివరి వ్యక్తీకరణలలో మేము షరతులతో కూడిన ఎంట్రోపీని ఎదుర్కొన్నాము, ఇది సందేశాల మిశ్రమ బృందాల మధ్య కనెక్షన్ ద్వారా నిర్ణయించబడుతుంది. సంకీర్తనలు గణాంకపరంగా స్వతంత్రంగా ఉంటే
, మరియు షరతులతో కూడిన ఎంట్రోపీ
. ఫలితంగా, మేము బాగా తెలిసిన సూత్రాన్ని పొందుతాము.

సందేశాలు పూర్తిగా ఆధారపడి ఉంటే, అవి ఫంక్షనల్ కనెక్షన్‌లో ఉంటాయి,
రెండు విలువలలో ఒకదాన్ని తీసుకుంటుంది: 1, ఎప్పుడు
, లేదా 0 ఎప్పుడు
. షరతులతో కూడిన ఎంట్రోపీ 0కి సమానంగా ఉంటుంది, ఎందుకంటే సందేశాల యొక్క రెండవ సమిష్టి ఆశ్చర్యం కలిగించదు మరియు అందువల్ల సమాచారాన్ని కలిగి ఉండదు.

ఎంట్రోపీ మరియు దాని లక్షణాలను పరిచయం చేసిన తర్వాత, సమాచారం యొక్క ఏకైక మూలానికి తిరిగి వెళ్దాం. ఏదైనా సమాచార వనరు ప్రస్తుత సమయంలో పని చేస్తుందని మీరు తెలుసుకోవాలి. దాని చిహ్నాలు (చిహ్నాలు) క్రమంలో ఒక నిర్దిష్ట స్థానాన్ని ఆక్రమిస్తాయి. చిహ్నం యొక్క సంభావ్యత క్రమంలో దాని స్థానంపై ఆధారపడి ఉండకపోతే సమాచార మూలాన్ని స్థిరంగా పిలుస్తారు.మరియు మరొక నిర్వచనం. మూల చిహ్నాలు ఒకదానితో ఒకటి గణాంక (సంభావ్యత) సంబంధాన్ని కలిగి ఉంటాయి. సమాచారం యొక్క ఎర్గోడిక్ మూలం అంటే సంకేతాల మధ్య గణాంక సంబంధం పరిమిత సంఖ్యలో మునుపటి చిహ్నాల వరకు విస్తరించి ఉంటుంది.ఈ కనెక్షన్ రెండు పొరుగు సంకేతాలను మాత్రమే కవర్ చేస్తే, అటువంటి మూలాన్ని కేవలం కనెక్ట్ చేయబడిన మార్కోవ్ గొలుసు అని పిలుస్తారు. ఈ మూలాన్ని మనం ఇప్పుడు పరిశీలిస్తాము. మూలం ద్వారా చిహ్న ఉత్పత్తి పథకం అంజీర్‌లో చూపబడింది. 2.

చిహ్నం స్వరూపం ఏ పాత్రపై ఆధారపడి ఉంటుంది మునుపటి క్షణంలో మూలం ద్వారా అందించబడింది. ఈ ఆధారపడటం సంభావ్యత ద్వారా నిర్ణయించబడుతుంది
. అటువంటి మూలం యొక్క ఎంట్రోపీని కనుగొనండి. మేము ఎంట్రోపీ యొక్క సాధారణ అవగాహన నుండి సమాచారం మొత్తం యొక్క గణిత నిరీక్షణగా కొనసాగుతాము. అంజీర్‌లో చూపిన విధంగా రెండు అక్షరాలు ప్రదర్శించబడతాయని అనుకుందాం. 2. అటువంటి పరిస్థితిలో సమాచారం మొత్తం మూలం ద్వారా ఇవ్వబడుతుంది

సాధ్యమయ్యే అన్ని తదుపరి చిహ్నాల కంటే ఈ మొత్తాన్ని సరాసరి చేయడం ద్వారా, మునుపటి గుర్తు ఎల్లప్పుడూ అందించబడితే, మేము పాక్షిక ఎంట్రోపీని పొందుతాము :

. (13)

మరోసారి, మునుపటి అన్ని చిహ్నాల కంటే ఈ పాక్షిక ఎంట్రోపీని సగటున, మేము తుది ఫలితాన్ని పొందుతాము:

ఎంట్రోపీ హోదాలో సూచిక 2 గణాంక సంబంధం రెండు ప్రక్కనే ఉన్న చిహ్నాలకు మాత్రమే విస్తరించిందని సూచిస్తుంది.

ఎర్గోడిక్ మూలం యొక్క ఎంట్రోపీ యొక్క లక్షణాలపై మనం నివసిద్దాం.

మూలంలోని చిహ్నాలు స్వతంత్రంగా ఉన్నప్పుడు
, ఫార్ములా (14) సరళీకృతం చేయబడింది మరియు సాధారణ రూపానికి తగ్గించబడింది (4).

మూల చిహ్నాల మధ్య గణాంక (సంభావ్యత) కనెక్షన్‌ల ఉనికి ఎల్లప్పుడూ ఎంట్రోపీలో తగ్గుదలకు దారితీస్తుంది,
.

కాబట్టి, సమాచారం యొక్క మూలం రెండు షరతులు నెరవేరినట్లయితే గరిష్ట ఎంట్రోపీని కలిగి ఉంటుంది: మూలం యొక్క అన్ని చిహ్నాలు సమానంగా సంభావ్యంగా ఉంటాయి (ఎంట్రోపీ ప్రాపర్టీ) మరియు మూలం యొక్క చిహ్నాల మధ్య గణాంక కనెక్షన్లు లేవు.

మూల చిహ్నాలు ఎంత బాగా ఉపయోగించబడుతున్నాయో చూపించడానికి, రిడెండెన్సీ పరామితి ప్రవేశపెట్టబడింది :

. (15)

పరిమాణం 0 నుండి 1 వరకు ఉంటుంది.

ఈ పరామితి పట్ల వైఖరి రెండు రెట్లు. ఒక వైపు, తక్కువ రిడెండెన్సీ, మూలం మరింత సమర్థవంతంగా పనిచేస్తుంది. మరోవైపు, ఎక్కువ రిడెండెన్సీ, తక్కువ జోక్యం మరియు శబ్దం వినియోగదారుకు అటువంటి మూలం నుండి సమాచారం పంపిణీని ప్రభావితం చేస్తుంది. ఉదాహరణకు, చిహ్నాల మధ్య గణాంక సంబంధాల ఉనికి రిడెండెన్సీని పెంచుతుంది, కానీ అదే సమయంలో ప్రసార విశ్వసనీయతను పెంచుతుంది. వ్యక్తిగత తప్పిపోయిన అక్షరాలను అంచనా వేయవచ్చు మరియు పునరుద్ధరించవచ్చు.

ఒక ఉదాహరణ చూద్దాం. మూలం రష్యన్ వర్ణమాల యొక్క అక్షరాలు, వాటిలో మొత్తం 32 ఉన్నాయి గరిష్ట ఎంట్రోపీని నిర్ధారిద్దాం:
బిట్/సందేశం.

అక్షరాల మధ్య గణాంక సంబంధం ఉన్నందున మరియు టెక్స్ట్‌లో వాటి ప్రదర్శన యొక్క సంభావ్యతలు ఒకేలా ఉండవు కాబట్టి, నిజమైన ఎంట్రోపీ 3 బిట్‌లు/సందేశానికి సమానం. అందుకే రిడెండెన్సీ
.

మూలం యొక్క తదుపరి లక్షణం పనితీరు; ఇది మూలం ద్వారా సమాచార ఉత్పత్తి వేగాన్ని వర్ణిస్తుంది. మూలం యొక్క ప్రతి అక్షరం నిర్దిష్ట వ్యవధిలో జారీ చేయబడిందని అనుకుందాం . ఈ సమయాలను సగటు చేయడం ద్వారా, మేము ఒక సందేశాన్ని జారీ చేయడానికి సగటు సమయాన్ని కనుగొంటాము . యూనిట్ సమయానికి మూలం ద్వారా ఉత్పత్తి చేయబడిన సమాచారం యొక్క సగటు మొత్తం - మూల ఉత్పాదకత
:

. (16)

కాబట్టి, సంగ్రహిద్దాం. సమాచారం యొక్క ఎర్గోడిక్ మూలం యొక్క లక్షణాలు క్రింది విధంగా ఉన్నాయి:

ప్రతి గుర్తులోని సమాచారం మొత్తం,

ఎంట్రోపీ,

రిడెండెన్సీ,

పనితీరు.

సమాచారం యొక్క మొత్తం యొక్క పరిచయం కొలత యొక్క బలం మరియు, వాస్తవానికి, అన్ని లక్షణాలు దాని సార్వత్రికత అని గమనించాలి. పైన ప్రవేశపెట్టిన అన్ని భావనలు ఏ రకమైన సమాచారానికైనా వర్తిస్తాయి: సామాజిక, సాంకేతిక, మొదలైనవి. కొలత యొక్క బలహీనమైన వైపు అది సమాచారం యొక్క ప్రాముఖ్యతను, దాని విలువను ప్రతిబింబించదు. లాటరీలో పెన్ మరియు కారు గెలుపొందడం గురించి సమాచారం సమానంగా ముఖ్యమైనది.

1.2 ఛానెల్ యొక్క సమాచార లక్షణాలు

కమ్యూనికేషన్ ఛానెల్ ద్వారా సమాచారం ప్రసారం చేయబడుతుందని గుర్తుంచుకోండి. మేము ఇంతకుముందు సమాచార మూలం యొక్క సమాచార లక్షణాలను పరిచయం చేసాము మరియు ఇప్పుడు మేము ఛానెల్ యొక్క సమాచార లక్షణాలను పరిచయం చేస్తాము. అంజీర్లో చూపిన విధంగా పరిస్థితిని ఊహించుకుందాం. 1.

అన్నం. 1

ఛానెల్ ఇన్‌పుట్ వద్ద అనేక అక్షరాలతో కూడిన ఇన్‌పుట్ ఆల్ఫాబెట్ ఉంది , మరియు అవుట్‌పుట్ వద్ద - .

పి
గణిత నమూనాతో కమ్యూనికేషన్ ఛానెల్‌ని సూచిస్తాం. వివిక్త ఛానెల్ యొక్క అత్యంత ప్రసిద్ధ ప్రాతినిధ్యం గ్రాఫ్ రూపంలో ఉంటుంది. దీని ద్వారా పొందిన గ్రాఫ్ నోడ్‌లు ( ) మరియు ప్రసారం చేయబడిన ( ) వర్ణమాల యొక్క అక్షరాలు; అంచులు ఈ అక్షరాల మధ్య సాధ్యమైన కనెక్షన్‌లను ప్రతిబింబిస్తాయి (Fig. 2).

వర్ణమాల యొక్క అక్షరాల మధ్య సంబంధాలు సాధారణంగా షరతులతో కూడిన సంభావ్యత ద్వారా అంచనా వేయబడతాయి, ఉదాహరణకు,
ఆమోదం యొక్క సంభావ్యత అది బదిలీ చేయబడిందని అందించబడింది . ఇది సరైన రిసెప్షన్ యొక్క సంభావ్యత. అదే విధంగా, తప్పు పద్ధతుల యొక్క షరతులతో కూడిన సంభావ్యతలను పరిచయం చేయవచ్చు, ఉదాహరణకు,
. ఈ నాన్-జీరో సంభావ్యత కనిపించడానికి కారణాలు జోక్యం, దీని నుండి నిజమైన ఛానెల్‌లు ఏవీ ఉచితం కాదు. దయచేసి n మరియు m, ప్రసారం చేయబడిన మరియు స్వీకరించబడిన శ్రేణిలోని అక్షరాల సంఖ్య (అక్షరాలు) తప్పనిసరిగా సమానంగా ఉండదని గమనించండి. ఈ నమూనా ఆధారంగా, మరిన్ని నిర్వచనాలు ప్రవేశపెట్టబడ్డాయి.

సుష్ట ఛానల్ - ఇది అన్ని చిహ్నాల కోసం సరైన రిసెప్షన్ యొక్క అన్ని సంభావ్యతలు సమానంగా ఉండే ఛానెల్, అలాగే తప్పుడు రిసెప్షన్‌ల సంభావ్యత సమానంగా ఉంటుంది. అటువంటి ఛానెల్ కోసం, షరతులతో కూడిన సంభావ్యతను ఈ క్రింది విధంగా వ్రాయవచ్చు:

ఇక్కడ - తప్పు రిసెప్షన్ యొక్క సంభావ్యత. ఈ సంభావ్యత ఇచ్చిన గుర్తుకు ముందు ఏ అక్షరాలు ప్రసారం చేయబడిందో దానిపై ఆధారపడి ఉండకపోతే, అటువంటి ఛానెల్ అంటారు " మెమరీ లేని ఛానెల్ "ఉదాహరణగా, దిగువన ఉన్న అంజీర్ 3 మెమరీ లేని సిమెట్రిక్ బైనరీ ఛానల్ యొక్క గ్రాఫ్‌ను చూపుతుంది.

ఆర్
ఉంది. 3

ఛానెల్ యొక్క అవుట్‌పుట్‌లోని వర్ణమాల అదనపు చిహ్నాన్ని కలిగి ఉందని, రిసీవర్ డీకోడర్ ప్రసారం చేయబడిన చిహ్నాన్ని గుర్తించలేనప్పుడు ఇది కనిపిస్తుంది. ఈ సందర్భంలో, అతను నిర్ణయం తీసుకోవడానికి తిరస్కరణను అభివృద్ధి చేస్తాడు. ఈ స్థితిని ఎరేజర్ అంటారు. ఈ ఛానెల్ అంటారు ఎరేసింగ్‌తో మెమరీ లేకుండా ఛానెల్ మరియు దాని గ్రాఫ్ అంజీర్లో చూపబడింది. 4. "ఎరేసింగ్" స్థానం ఇక్కడ ప్రశ్న గుర్తు ద్వారా సూచించబడుతుంది.

ఆర్
ఉంది. 4.

మెమరీతో సరళమైన ఛానెల్ మార్కోవ్ ఛానల్ . అందులో, లోపాల సంభావ్యత మునుపటి గుర్తు సరిగ్గా లేదా తప్పుగా స్వీకరించబడిందా అనే దానిపై ఆధారపడి ఉంటుంది.

కమ్యూనికేషన్ ఛానెల్ కోసం గ్రాఫ్‌తో పాటు, మరొక వివరణ ఉంది - ఛానెల్ మాతృక . ఇది షరతులతో కూడిన సంభావ్యతల సమితి
లేదా
. ముందస్తు సంభావ్యతతో కలిపి,
మరియు
ఇది ధ్వనించే ఛానెల్ యొక్క గణాంకాల పూర్తి చిత్రాన్ని ఇస్తుంది. ఉదాహరణకు, ఛానెల్ మ్యాట్రిక్స్ చూద్దాం

.