工商银行3月21日发售三期国开行金融债——新华网——湖南

Не плутати з Науковою ?нформатикою.

百度 五欲本身之危害性，又如紧波迦果，表面看来端正可观，如果凡夫一旦抓住这种毒果，稍稍碰触一下就会丧命！五欲又如同屠羊柱，羊一旦悬挂在上面，必然难逃死亡结局；五欲还如同热金冠，无论是谁戴在头上，都会被活生生烧死。

Тео?р?я ?нформ?ац?? (англ. Information theory) — це математичне досл?дження к?льк?сного вираження, збер?гання та передавання ?нформац??. Заснував цю галузь ? забезпечив ?й над?йну основу Клод Шеннон у 1940-х роках, хоча ранн?й внесок до цьому напряму зробили в 1920-х роках прац? Гарр? Найкв?ста та Ральфа Гартл?. Вона перебува? на перетин? електронно? ?нженер??, математики, статистики, ?нформатики, нейроб?олог??, ф?зики та електротехн?ки.

Ключовою м?рою в теор?? ?нформац?? ? ентроп?я. Ентроп?я вим?рю? р?вень невизначеност? щодо значення випадково? величини або результату випадкового процесу. Наприклад, визначення результату п?дкидання симетрично? монети (що ма? два р?вноймов?рн? результати) да? менше ?нформац?? (меншу ентроп?ю, меншу невизначен?сть), ан?ж визначення результату кидання грально? к?сточки (що ма? ш?сть р?вноймов?рних результат?в). До ?нших важливих м?р у теор?? ?нформац?? належать вза?мна ?нформац?я, пропускна спроможн?сть каналу, показники помилок та в?дносна ентроп?я. До важливих п?дрозд?л?в теор?? ?нформац?? належать кодування джерела, алгоритм?чна теор?я складност?, алгоритм?чна теор?я ?нформац?? та ?нформац?йно-теоретична безпека.

До застосувань основних предмет?в теор?? ?нформац?? належать кодування джерела/стиснення даних (наприклад, для файл?в zip) та канальне кодування/виявляння та виправляння помилок (наприклад, для DSL). ?? вплив був вир?шальним для усп?ху м?с?й ?Вояджер? до глибокого космосу, винайдення компакт-диска, можливост? моб?льних телефон?в ? розвитку ?нтернету й штучного ?нтелекту. Ця теор?я також знайшла застосування й в ?нших сферах, як-от ?ндуктивн?й статистиц?, криптограф??, нейроб?олог??, сприйнятт?, обробц? сигнал?в, мовознавств?, еволюц?? та функц?юванн? молекулярних код?в (б?о?нформатиц?), теплоф?зиц?, молекулярн?й динам?ц?, чорних д?рах, квантових обчисленнях, ?нформац?йному пошуку, збиранн? ?нформац??, виявлянн? плаг?ату, розп?знаванн? образ?в, виявлянн? аномал?й, музичн?й анал?тиц?, створенн? живопису, про?ктуванн? систем зображування, вивченн? косм?чного простору, вим?рност? простору, ? нав?ть еп?стемолог??.

Огляд

Теор?я ?нформац?? вивча? передавання, обробку, вид?ляння та використання ?нформац??. Абстрактно ?нформац?ю можливо розглядати як розв'язання невизначеност?. У випадку передавання ?нформац?? зашумленим каналом це абстрактне поняття формал?зував 1948 року Клод Шеннон у статт? п?д назвою ?Математична теор?я зв'язку?, в як?й ?нформац?ю розглянуто як наб?р можливих пов?домлень, а метою ? передавання цих пов?домлень зашумленим каналом, щоби приймач м?г в?дтворити пов?домлення з низькою ймов?рн?стю помилки, незважаючи на шум каналу. Головний результат Шеннона, теорема про кодування для зашумленого каналу, показав, що за велико? к?лькост? використань каналу швидк?сть передач? ?нформац??, яка асимптотично досяжна, дор?вню? пропускн?й спроможност? каналу, величин?, яка залежить лише в?д статистичних характеристик каналу, яким передають пов?домлення.

Теор?я кодування займа?ться пошуком конкретних метод?в, званих кодами (англ. codes), для п?двищення ефективност? та зниження р?вня помилок при передаванн? даних зашумленими каналами, з наближенням до пропускно? спроможност? каналу. Ц? коди можливо умовно под?лити на методи стискання даних (кодування джерела) та виправляння помилок (кодування каналу). У випадку останнього знадобилося багато рок?в, щоби знайти методи, можлив?сть яких дов?в Шеннон.^{[джерело?]}

Трет?й клас код?в у теор?? ?нформац?? — алгоритми шифрування (як коди, так ? шифри). Поняття, методи й результати з теор?? кодування та теор?? ?нформац?? широко використовують у криптограф?? та криптоанал?з?, наприклад, одиничний бан.^{[джерело?]}

?сторичне п?д?рунтя

Знаковою под??ю, що заклала основу дисципл?ни теор?? ?нформац?? та привернула до не? негайну св?тову увагу, стала публ?кац?я класично? статт? Клода Е. Шеннона ?Математична теор?я зв'язку? в Bell System Technical Journal у липн? та жовтн? 1948 року. ?сторик Джеймс ?л?к оц?нив цю статтю як найважлив?ше досягнення 1948 року, вище за транзистор, зазначивши, що ця праця була ?нав?ть глибшою й фундаментальн?шою? за транзистор. Шеннон став в?домим як ?батько теор?? ?нформац???. В?н викладав деяк? з? сво?х початкових ?дей щодо теор?? ?нформац?? ще 1939 року в лист? до Венн?вера Буша.

До ц??? статт? обмежен? ?нформац?йно-теоретичн? ?де? розробили в Bell Labs, при цьому вс? вони неявно виходили з однаково? ймов?рност? под?й. У сво?й статт? 1924 року ?Деяк? чинники, як? впливають на швидк?сть телеграфу? (англ. Certain Factors Affecting Telegraph Speed) Гарр? Найкв?ст пом?стив теоретичний розд?л, де к?льк?сно визначив ?в?домост?? (англ. "intelligence") та ?швидк?сть л?н??? (англ. "line speed"), з якою ?х можливо передавати комун?кац?йною системою, встановивши сп?вв?дношення W = K log m (що нагаду? сталу Больцмана), де W — швидк?сть передач? в?домостей, m — к?льк?сть р?зних р?вн?в напруги, з яких можна обирати на кожному часовому кроц?, а K — стала. Стаття Ральфа Гартл? 1928 року ?Передавання ?нформац??? (англ. Transmission of Information) використову? терм?н ?нформац?я (англ. information) як вим?рювану величину, що в?добража? здатн?сть приймача розр?зняти одну посл?довн?сть символ?в з будь-якими ?ншими, тим самим к?льк?сно визначаючи ?нформац?ю як H = log Sⁿ = n log S, де S — к?льк?сть можливих символ?в, а n — к?льк?сть символ?в у передаванн?. Отже, одиницею ?нформац?? була десяткова цифра, яку згодом ?нод? називали гартл? на його честь як одиницю, шкалу або м?ру ?нформац??. 1940 року Алан Тюр?нг використав под?бн? ?де? як частину статистичного анал?зу для розшифровки н?мецьких шифр?в ?Ен?гми? п?д час Друго? св?тово? в?йни.^{[джерело?]}

Б?льш?сть математичного апарату теор?? ?нформац?? для р?зноймов?рн?сних под?й розробили для галуз? термодинам?ки Людв?г Больцман та Джозая В?ллард ??ббз. Зв'язки м?ж ?нформац?йною ентроп??ю та термодинам?чною ентроп??ю, включно з важливими внесками Рольфа Ландауера 1960-х рок?в, розглянуто в статт? ?Ентроп?я в термодинам?ц? та теор?? ?нформац???.^{[джерело?]}

У революц?йн?й ? новаторськ?й статт? Шеннона, роботу над якою було значною м?рою завершено в Bell Labs до к?нця 1944 року, Шеннон уперше представив як?сну та к?льк?сну модель зв'язку як статистичний процес, що лежить в основ? теор?? ?нформац??, розпочавши з твердження:

Основна задача зв'язку поляга? в тому, щоби в?дтворити в одн?й точц?, точно або приблизно, пов?домлення, вибране в ?нш?й точц?. Ориг?нальний текст (англ.) The fundamental problem of communication is that of reproducing at one point, either exactly or approximately, a message selected at another point.

З нею прийшли ?де?:

• ?нформац?йно? ентроп?? та надм?рност? джерела, та ?хньо? значущост? через теорему про кодування джерела;
• вза?мно? ?нформац?? та пропускно? спроможност? зашумленого каналу, включно з об?цянкою бездоганно? передач? без втрат, яку да? теорема про кодування для зашумленого каналу;
• практичного результату закону Шеннона — Гартл? для пропускно? спроможност? гауссового каналу; а також
• б?та — нового способу бачення найфундаментальн?шо? одиниц? ?нформац??.^{[джерело?]}

К?лькост? ?нформац??

Теор?я ?нформац?? ?рунту?ться на теор?? ймов?рностей та статистиц?, де к?льк?сно виражену ?нформац?ю зазвичай описують у б?тах. Теор?я ?нформац?? часто займа?ться вим?рюванням ?нформац?? в розпод?лах, пов'язаних ?з випадковими величинами. Одн??ю з найважлив?ших м?р ? ентроп?я, що ? основою для багатьох ?нших м?р. Ентроп?я дозволя? к?льк?сно виразити м?ру ?нформац?? в окрем?й випадков?й величин?. ?ншим корисним поняттям ? вза?мна ?нформац?я, визначена для двох випадкових величин, яка опису? м?ру ?нформац??, сп?льно? м?ж цими величинами, що можливо використовувати для опису ?хньо? кореляц??. Перша величина ? властив?стю розпод?лу ймов?рност? випадково? величини й визнача? границю швидкост?, з якою дан?, породжен? незалежними зразками ?з заданим розпод?лом, можливо над?йно стиснути. Друга ? властив?стю сп?льного розпод?лу двох випадкових величин ? ? максимальною швидк?стю над?йного передавання зашумленим каналом в границ? довжин блок?в, коли статистика каналу визнача?ться цим сп?льним розпод?лом.

Виб?р основи логарифму в наступних формулах визнача? вживану одиницю ?нформац?йно? ентроп??. Загальновживаною одиницею ?нформац?? ? б?т або шеннон, що ?рунту?ться на дв?йковому логарифм?. До ?нших одиниць належать нат, що ?рунту?ться на натуральному логарифм?, та десяткова цифра, що ?рунту?ться на десятковому логарифм?.

Дал? вираз вигляду p log p, коли p = 0, вважають за згодою нульовим. Це виправдано тим, що $\lim _{p\rightarrow 0+}p\log p=0$ для будь-яко? основи логарифму.

Ентроп?я ?нформац?йного джерела

Виходячи з функц?? маси ймов?рност? кожного символу джерела, що переда?ться, ентроп?ю Шеннона H у б?тах (на символ) задають як

$H=-\sum _{i}p_{i}\log _{2}(p_{i})$

де p_i — ймов?рн?сть трапляння i-того можливого значення символу джерела. Це р?вняння да? ентроп?ю в одиницях ?б?т? (на символ), оск?льки воно використову? логарифм з основою 2, ? таку м?ру ентроп?? на основ? логарифму за основою 2 ?нод? називають шенноном на його честь. Ентроп?ю також часто обчислюють, використовуючи натуральний логарифм (з основою e, де e — число Ейлера), що да? вим?рювання ентроп?? в натах на символ й ?нод? спрощу? анал?з, усуваючи потребу в додаткових сталих у формулах. Можлив? й ?нш? основи, хоча ?х використовують р?дше. Наприклад, логарифм з основою 2⁸ = 256 да? вим?рювання в байтах на символ, а логарифм з основою 10 — у десяткових цифрах (або гартл?) на символ.

?нту?тивно, ентроп?я H_X дискретно? випадково? величини X ? м?рою невизначеност? (англ. uncertainty), пов'язано? з? значенням X, коли в?домий лише ?? розпод?л.

Ентроп?я джерела, яке вида? посл?довн?сть з N символ?в, як? незалежн? й однаково розпод?лен? (н. о. р.), дор?вню? N ? H б?т (на пов?домлення з N символ?в). Якщо символи даних джерела однаково розпод?лен?, але не незалежн?, ентроп?я пов?домлення довжиною N буде меншою за N ? H.

Ентроп?я проби Бернулл? як функц?я ймов?рност? усп?ху, часто звана функц??ю б?нарно? ентроп??, H_b(p). Ця ентроп?я досяга? максимуму в 1 б?т на пробу, коли два можлив? результати р?вноймов?рн?, як у випадку п?дкидання симетрично? монети.

Якщо передати 1000 б?т?в (нул?в та одиниць), але значення кожного з цих б?т?в в?доме приймачу (ма? певне значення з упевнен?стю) ще до передач?, то очевидно, що жодно? ?нформац?? не передано. Якщо ж кожен б?т незалежно й однаково правдопод?бно може бути 0 або 1, то передано 1000 шеннон?в ?нформац?? (част?ше званих б?тами). М?ж цими двома крайнощами ?нформац?ю можливо к?льк?сно виразити наступним чином. Якщо $\mathbb {X}$ — множина вс?х пов?домлень {x₁, ..., x_n}, якими може бути X, а p(x) — ?мов?рн?сть деякого $x\in \mathbb {X}$, то ентроп?ю H величини X визначають як

$H(X)=\mathbb {E} _{X}[I(x)]=-\sum _{x\in \mathbb {X} }p(x)\log p(x).$

(Тут I(x) — власна ?нформац?я, що ? внеском ентроп?? окремого пов?домлення, а $\mathbb {E} _{X}$ — математичне спод?вання.) Одн??ю з властивостей ентроп?? ? те, що вона максим?зу?ться, коли вс? пов?домлення у простор? пов?домлень р?вноймов?рн?, тобто p(x) = 1/n, тобто найнепередбачуван?ш?, й у такому випадку H(X) = log n.

Особливий випадок ?нформац?йно? ентроп?? для випадково? величини з двома можливими результатами — функц?я б?нарно? ентроп??, зазвичай з логарифмом за основою 2, що в?дтак ма? одиницею шеннон (Sh):

$H_{\mathrm {b} }(p)=-p\log _{2}p-(1-p)\log _{2}(1-p).$

Сп?льна ентроп?я

Сп?льна ентроп?я (англ. joint entropy) двох дискретних випадкових величин X та Y — це просто ентроп?я ?хньо? дв?йки: (X, Y). Це означа?, що якщо X та Y незалежн?, то ?хня сп?льна ентроп?я дор?вню? сум? ?хн?х окремих ентроп?й.

Наприклад, якщо (X, Y) пода? положення шахово? ф?гури — X це рядок, а Y це стовпець, то сп?льна ентроп?я рядка та стовпця ф?гури буде ентроп??ю ?? положення.

$H(X,Y)=\mathbb {E} _{X,Y}[-\log p(x,y)]=-\sum _{x,y}p(x,y)\log p(x,y)\,$

Попри схож?сть позначень, сп?льну ентроп?ю не сл?д плутати з перехресною ентроп??ю (англ. cross-entropy).

Умовна ентроп?я (неоднозначн?сть)

Умовна ентроп?я (англ. conditional entropy) або умовна невизначен?сть (англ. conditional uncertainty) величини X за задано? випадково? величини Y (також звана неоднозначн?стю X щодо Y, англ. equivocation) — це усереднена умовна ентроп?я за Y:

$H(X|Y)=\mathbb {E} _{Y}[H(X|y)]=-\sum _{y\in Y}p(y)\sum _{x\in X}p(x|y)\log p(x|y)=-\sum _{x,y}p(x,y)\log p(x|y).$

Оск?льки ентроп?я може бути обумовлена випадковою величиною (загальна умовна ентроп?я) або конкретним значенням ц??? випадково? величини (часткова умовна ентроп?я), сл?д бути уважними, щоби не плутати ц? два визначення умовно? ентроп??, перше з яких ? поширен?шим. Основною властив?стю ц??? форми умовно? ентроп?? ? те, що

$H(X|Y)=H(X,Y)-H(Y).\,$

Вза?мна ?нформац?я (транс?нформац?я)

Вза?мна ?нформац?я (англ. mutual information) вим?рю? к?льк?сть ?нформац?? про одну випадкову величину, яку можливо отримати, спостер?гаючи ?ншу. Вона важлива в комун?кац?ях, де ?? можливо використовувати для максим?зування к?лькост? сп?льно? ?нформац?? м?ж передаваним та отримуваним сигналами. Вза?мну ?нформац?ю X в?дносно Y визначають як

$I(X;Y)=\mathbb {E} _{X,Y}[SI(x,y)]=\sum _{x,y}p(x,y)\log {\frac {p(x,y)}{p(x)\,p(y)}}$

де SI (англ. Specific mutual Information, конкретна вза?мна ?нформац?я) — це поточкова вза?мна ?нформац?я.

Основна властив?сть вза?мно? ?нформац?? поляга? в тому, що

$I(X;Y)=H(X)-H(X|Y).\,$

Тобто, знаючи Y, можливо заощадити в середньому I(X; Y) б?т?в при кодуванн? X пор?вняно з ситуац??ю, коли Y нев?дома.

Вза?мна ?нформац?я симетрична:

$I(X;Y)=I(Y;X)=H(X)+H(Y)-H(X,Y).\,$

Вза?мну ?нформац?ю можливо виразити як усереднення розходження Кульбака — Лейблера (приросту ?нформац??) апостер?орного розпод?лу ймов?рност? X за заданого значення Y з апр?орним розпод?лом X:

$I(X;Y)=\mathbb {E} _{p(y)}[D_{\mathrm {KL} }(p(X|Y=y)\|p(X))].$

?ншими словами, це м?ра того, наск?льки в середньому зм?ниться розпод?л ?мов?рност? X, якщо задано значення Y. ?? часто переобчислюють як розходження добутку в?дособлених розпод?л?в з? справжн?м сп?льним розпод?лом:

$I(X;Y)=D_{\mathrm {KL} }(p(X,Y)\|p(X)p(Y)).$

Вза?мна ?нформац?я т?сно пов'язана з критер??м логарифм?чного сп?вв?дношення правдопод?бностей у контекст? таблиць спряженост? та пол?ном?ального розпод?лу, а також ?з критер??м χ² П?рсона: вза?мну ?нформац?ю можливо вважати статистикою для оц?нювання незалежност? пари зм?нних, ? вона ма? добре визначений асимптотичний розпод?л.

Розходження Кульбака — Лейблера (прир?ст ?нформац??)

Розходження Кульбака — Лейблера (англ. Kullback–Leibler divergence, або розходження ?нформац??, англ. information divergence, прир?ст ?нформац??, англ. information gain, чи в?дносна ентроп?я, англ. relative entropy) — це спос?б пор?вняння двох розпод?л?в: ??стинного? розпод?лу ймов?рност? $p(X)$ та дов?льного розпод?лу $q(X)$. Якщо ми стиска?мо дан?, вважаючи, що ?хн?й розпод?л це $q(X)$, тод? як насправд? правильний розпод?л це $p(X)$, розходження Кульбака–Лейблера визнача? середню к?льк?сть додаткових б?т?в на дан?, необх?дних для стискання. Його в?дтак визначають як

$D_{\mathrm {KL} }(p(X)\|q(X))=\sum _{x\in X}-p(x)\log {q(x)}\,-\,\sum _{x\in X}-p(x)\log {p(x)}=\sum _{x\in X}p(x)\log {\frac {p(x)}{q(x)}}.$

Хоча ?нод? його й використовують як ?метрику в?дстан??, КЛ-розходження не ? справжньою метрикою, оск?льки воно не симетричне й не задовольня? нер?вн?сть трикутника (що робить його нап?в-квазиметрикою).

?ншим тлумаченням КЛ-розходження ? ?зайва неспод?ван?сть? (англ. "unnecessary surprise"), створювана апр?орним розпод?лом у пор?внянн? з ?стинним: припуст?мо, що число X буде випадковим чином обрано з дискретно? множини з розпод?лом ймов?рност? $p(x)$. Якщо Ал?са зна? ?стинний розпод?л $p(x)$, а Боб вважа? (ма? апр?орне переконання), що цим розпод?лом ? $q(x)$, то для Боба побачене значення X у середньому буде б?льш неспод?ваним, ан?ж для Ал?си. КЛ-розходження ? (об'?ктивним) оч?куваним значенням (суб'?ктивно?) неспод?ваност? для Боба, м?нус неспод?ван?сть для Ал?си, вим?ряним у б?тах, якщо логарифм взято за основою 2. Таким чином, м?ру того, наск?льки ?помилковим? ? апр?орне переконання Боба, можливо к?льк?сно виразити у вигляд? оч?кувано? ?зайво? неспод?ваност?? для нього.

Спрямована ?нформац?я

Спрямована ?нформац?я (англ. directed Information) $I(X^{n}\to Y^{n})$ — це м?ра в теор?? ?нформац??, що к?льк?сно визнача? ?нформац?йний пот?к в?д випадкового процесу $X^{n}=\{X_{1},X_{2},\dots ,X_{n}\}$ до випадкового процесу $Y^{n}=\{Y_{1},Y_{2},\dots ,Y_{n}\}$. Терм?н спрямована ?нформац?я запровадив Джеймс Месс?, ?? визначено як

$I(X^{n}\to Y^{n})\triangleq \sum _{i=1}^{n}I(X^{i};Y_{i}|Y^{i-1})$,

де $I(X^{i};Y_{i}|Y^{i-1})$ — умовна вза?мна ?нформац?я $I(X_{1},X_{2},...,X_{i};Y_{i}|Y_{1},Y_{2},...,Y_{i-1})$.

На в?дм?ну в?д вза?мно? ?нформац??, спрямована ?нформац?я не симетрична. $I(X^{n}\to Y^{n})$ вим?рю? к?льк?сть ?нформац??, що переда?ться причинно^{[прояснити: ком.]} в?д $X^{n}$ до $Y^{n}$. Спрямована ?нформац?я знаходить широке застосування в задачах, де важливу роль в?д?гра? причинн?сть, як-от пропускна спроможн?сть каналу з? зворотним зв'язком, пропускна спроможн?сть дискретних мереж без пам'ят? з? зворотним зв'язком, ставки з причинною додатковою ?нформац??ю, стиснення з причинною додатковою ?нформац??ю, постановки комун?кац?? керування в реальному час?, та у статистичн?й ф?зиц?.

?нш? к?лькост?

До ?нших важливих ?нформац?йно-теоретичних к?лькостей належать ентроп?я Рень? та ентроп?я Цалл?са (узагальнення поняття ентроп??), диференц?альна ентроп?я (узагальнення к?лькостей ?нформац?? для неперервних розпод?л?в) та умовна вза?мна ?нформац?я. Також було запропоновано прагматичну ?нформац?ю як м?ру к?лькост? ?нформац??, використано? для ухвалення р?шення.

Теор?я кодування

Зображення подряпин на зчитуван?й поверхн? CD-R. Музичн? й ?нформац?йн? CD кодують з використанням код?в з виправлянням помилок, тому ?х можливо прочитати нав?ть за наявност? незначних подряпин, використовуючи виявляння й виправляння помилок.

Теор?я кодування — одне з найважлив?ших ? найбезпосередн?ших застосувань теор?? ?нформац??. ?? можливо под?лити на теор?ю кодування джерела та теор?ю кодування каналу. Використовуючи статистичний опис даних, теор?я ?нформац?? визнача? к?льк?сть б?т?в, необх?дних для опису даних, що ? ?нформац?йною ентроп??ю джерела.

• Стиснення даних (кодування джерела): для задач? стиснення ?снують дв? постановки:
  • стиснення без втрат: дан? мусять в?дновлюватися точно;
  • стиснення з утратами: вид?ля? ст?льки б?т?в, ск?льки необх?дно для в?дновлення даних ?з заданим р?внем точност?, що вим?рю?ться функц??ю спотворення. Цей п?дрозд?л теор?? ?нформац?? називають теор??ю швидкост? — спотворення (англ. rate–distortion theory).
• Коди з виправлянням помилок (кодування каналу): тод? як стиснення даних усува? якомога б?льше надм?рност?, код з виправлянням помилок дода? саме ту надм?рн?сть (тобто виправляння помилок), яка необх?дна для ефективного й над?йного передавання даних зашумленим каналом.

Цей под?л теор?? кодування на стиснення й передавання об?рунтовано теоремами про передавання ?нформац??, або теоремами про розд?лення джерела й каналу, як? п?дтверджують використання б?т?в як ун?версально? валюти для ?нформац?? в багатьох контекстах. Проте ц? теореми справедлив? лише в ситуац?ях, коли один передавач прагне сп?лкуватися з одним приймачем. У випадках, коли ? понад одного передавача (канал ?з множинним доступом), понад одного приймача (канал мовлення) або пром?жн? ?пом?чники? (ретрансляц?йний канал, англ. relay channel), чи для загальн?ших мереж, стиснення з подальшим передавання може вже не бути оптимальним.

Теор?я джерела

Будь-який процес, що породжу? посл?довн? пов?домлення, можливо розглядати як джерело (англ. source) ?нформац??. Джерело без пам'ят? (англ. memoryless) — це таке джерело, в якому кожне пов?домлення — незалежна й однаково розпод?лена випадкова величина, тод? як властивост? ергодичност? та стац?онарност? накладають менш жорстк? обмеження. Ус? так? джерела стохастичн?. Ц? терм?ни добре вивчен? й поза межами теор?? ?нформац??.

Швидк?сть

?нформац?йна швидк?сть (англ. rate) — це усереднена ентроп?я на символ. Для джерел без пам'ят? це просто ентроп?я кожного символу, тод? як у випадку стац?онарного стохастичного процесу це

$r=\lim _{n\to \infty }H(X_{n}|X_{n-1},X_{n-2},X_{n-3},\ldots );$

тобто умовна ентроп?я символу за заданих вс?х попередньо породжених символ?в. Для загальн?шого випадку не обов'язково стац?онарного процесу середня швидк?сть (англ. average rate) це

$r=\lim _{n\to \infty }{\frac {1}{n}}H(X_{1},X_{2},\dots X_{n});$

тобто границя сп?льно? ентроп?? на символ. Для стац?онарних джерел ц? два вирази дають однаковий результат.

?нформац?йну швидк?сть (англ. information rate) визначають як

$r=\lim _{n\to \infty }{\frac {1}{n}}I(X_{1},X_{2},\dots X_{n};Y_{1},Y_{2},\dots Y_{n});$

У теор?? ?нформац?? часто говорять про ?швидк?сть? або ?ентроп?ю? мови. Це доречно, наприклад, коли джерело ?нформац?? — англомовна проза. Швидк?сть джерела ?нформац?? пов'язана з його надм?рн?стю та можлив?стю стиснення, що ? предметом кодування джерела.

Пропускна спроможн?сть каналу

Передавання ?нформац?? каналом — основний мотив теор?? ?нформац??. Проте канали часто не забезпечують точного в?дтворення сигналу; його як?сть часто можуть знижувати шум, пер?оди тиш? та ?нш? форми спотворення сигналу.

Розгляньмо процес передавання дискретним каналом. Просту модель процесу подано нижче:

${\xrightarrow[{\text{Пов?домлення}}]{W}}{\begin{array}{|c| }\hline {\text{Кодувальник}}\\f_{n}\\\hline \end{array}}{\xrightarrow[{\mathrm {{\text{Закодована}} \atop {\text{посл?довн?сть}}} }]{X^{n}}}{\begin{array}{|c| }\hline {\text{Канал}}\\p(y|x)\\\hline \end{array}}{\xrightarrow[{\mathrm {{\text{Отримана}} \atop {\text{посл?довн?сть}}} }]{Y^{n}}}{\begin{array}{|c| }\hline {\text{Декодувальник}}\\g_{n}\\\hline \end{array}}{\xrightarrow[{\mathrm {{\text{Гадане}} \atop {\text{пов?домлення}}} }]{\hat {W}}}$

Тут X пода? прост?р передаваних пов?домлень, а Y — прост?р отримуваних пов?домлень за одиницю часу нашим каналом. Нехай p(y|x) — умовна ймов?рн?сть Y за заданого X. Розгляньмо p(y|x) як притаманну незм?нну властив?сть нашого каналу (що в?добража? природу його шуму). Тод? сп?льний розпод?л X та Y повн?стю визнача?ться нашим каналом ? вибором f(x), в?дособленого розпод?лу пов?домлень, як? ми обира?мо для передавання каналом. За цих обмежень ми би хот?ли максим?зувати швидк?сть ?нформац??, або сигнал, який можливо передавати цим каналом. В?дпов?дною м?рою для цього ? вза?мна ?нформац?я, ? цю максимальну вза?мну ?нформац?ю називають пропускною спроможн?стю каналу (англ. channel capacity), та задають як

$C=\max _{f}I(X;Y).\!$

Ця пропускна спроможн?сть ма? наступну властив?сть, пов'язану з передаванням на ?нформац?йн?й швидкост? R (де R зазвичай вим?рюють у б?тах на символ). Для будь-яко? ?нформац?йно? швидкост? R < C та похибки кодування ε > 0, за достатньо великого N, ?сну? кодування довжини N, швидк?сть ≥ R та алгоритм декодування, так?, що максимальна ймов?рн?сть помилки в блоц? ≤ ε; тобто завжди можливо передавати з дов?льно малою блоковою похибкою. Кр?м того, для будь-яко? швидкост? R > C передавати з дов?льно малою блоковою похибкою неможливо.

Канальне кодування (англ. channel coding) займа?ться пошуком таких майже оптимальних кодувань, як? можливо використовувати для передавання даних зашумленим каналом з невеликою кодувальною похибкою на швидкост?, наближен?й до пропускно? спроможност? каналу.

Пропускна спроможн?сть окремих моделей канал?в

• Канал аналогового передавання безперервного часу, п?дданий гауссовому шуму, — див. теорему Шеннона — Гартл?.
• Дв?йковий симетричний канал (ДСК) з ?мов?рн?стю спотворення p — це канал ?з б?нарним входом ? б?нарним виходом, який зм?ню? вх?дний б?т на протилежний з ?мов?рн?стю p. ДСК ма? пропускну спроможн?сть 1 - H_b(p) б?т?в на одне використання каналу, де H_b — функц?я б?нарно? ентроп?? для логарифму за основою 2:

• Дв?йковий канал з? стиранням (ДКС) з ?мов?рн?стю стирання p — це канал ?з б?нарним входом та тернарним виходом. Можлив? виходи каналу — 0, 1 та трет?й символ 'e', званий стиранням (англ. erasure). Стирання пода? повну втрату ?нформац?? про вх?дний б?т. Пропускна спроможн?сть ДКС становить 1 - p б?т?в на одне використання каналу.

Канали з пам'яттю та спрямована ?нформац?я

На практиц? багато канал?в мають пам'ять. Тобто, у момент часу $i$ канал визнача?ться умовною ймов?рн?стю $P(y_{i}|x_{i},x_{i-1},x_{i-2},...,x_{1},y_{i-1},y_{i-2},...,y_{1})$. Часто зручн?ше використовувати запис $x^{i}=(x_{i},x_{i-1},x_{i-2},...,x_{1})$, тод? канал ста? $P(y_{i}|x^{i},y^{i-1})$. У такому випадку пропускна спроможн?сть визнача?ться швидк?стю вза?мно? ?нформац??, коли зворотний зв'язок недоступний, та швидк?стю спрямовано? ?нформац??, якщо зворотний зв'язок наявний чи в?дсутн?й (якщо зворотний зв'язок в?дсутн?й, спрямована ?нформац?я дор?вню? вза?мн?й ?нформац??).

Зам?нна ?нформац?я

Зам?нна ?нформац?я (англ. fungible information) — це ?нформац?я, для яко? засоби кодування не мають значення. Класичн? теоретики ?нформац?? та спец?ал?сти з комп'ютерних наук здеб?льшого ц?кавляться ?нформац??ю саме цього типу. ?нод? ?? називають вимовною (англ. speakable) ?нформац??ю.

Застосування в ?нших галузях

Використання в розв?дц? та прикладна секретн?сть

Поняття теор?? ?нформац?? застосовн? до криптограф?? та криптоанал?зу. Одиницю ?нформац??, введену Тюр?нгом — бан, використовували у проект? ?Ультра? для зламування коду н?мецько? машини ?Ен?гма?, що прискорило завершення Друго? св?тово? в?йни в ?вроп?. Сам Шеннон визначив важливе поняття, в?доме тепер як в?дстань ?диност?. Виходячи з надм?рност? в?дкритого тексту, це поняття намага?ться оц?нити м?н?мальну к?льк?сть шифротексту, необх?дну для забезпечення ун?кально? розшифровуваност?.

Теор?я ?нформац?? п?дказу? нам, що збер?гати секрети набагато складн?ше, н?ж може здатися на перший погляд. Атака повним перебором може зламувати системи на основ? асиметричних ключ?в, або б?льшост? широко використовуваних метод?в шифрування з симетричними ключами (?нод? званих алгоритмами з секретним ключем), як-от блокового шифру. Безпека вс?х таких метод?в ?рунту?ться на припущенн?, що не ?сну? в?домих атак, здатних зламати ?х за практично прийнятний час.

?нформац?йно-теоретична безпека охоплю? так? методи як одноразовий блокнот, що не вразлив? до под?бних атак повним перебором. У таких випадках додатна умовна вза?мна ?нформац?я м?ж в?дкритим ? шифрованим текстом (обумовлена ключем) може забезпечувати належну передачу, тод? як безумовна вза?мна ?нформац?я м?ж в?дкритим ? шифрованим текстом залиша?ться нульовою, що забезпечу? абсолютно захищений зв'язок. ?ншими словами, перехоплювач не зможе покращити сво? припущення щодо в?дкритого тексту, здобувши ?нформац?ю про шифротекст без ключа. Проте, як ? в будь-як?й ?нш?й криптограф?чн?й систем?, для правильного застосування нав?ть ?нформац?йно-теоретично захищених метод?в потр?бно бути уважними; про?кт ?Венона? виявився здатним зламати одноразов? блокноти Радянського Союзу через ?хн? неналежне повторне використання ключового матер?алу.

Генерування псевдовипадкових чисел

Генератори псевдовипадкових чисел широко доступн? в б?бл?отеках мов програмування та прикладних програмах. Проте майже повсюдно вони непридатн? для криптограф?чного застосування, оск?льки не обходять детерм?новану природу сучасного комп'ютерного обладнання та програмного забезпечення. Один з клас?в удосконалених генератор?в випадкових чисел називають криптограф?чно ст?йкими генераторами псевдовипадкових чисел, але нав?ть вони потребують для належно? роботи випадкових початкових значень ззовн? програмного забезпечення. ?х можливо отримувати за допомогою екстрактор?в, якщо робити це належним чином. М?рою достатньо? випадковост? в екстракторах ? м?н-ентроп?я, величина, пов'язана з ентроп??ю Шеннона через ентроп?ю Рень?; ентроп?ю Рень? також використовують для оц?нювання випадковост? в криптограф?чних системах. Хоч ц? м?ри й пов'язан?, в?дм?нност? м?ж ними означають, що випадкова величина з високою ентроп??ю Шеннона не обов'язково задов?льна для використання в екстрактор? та, в?дпов?дно, в криптограф??.

Сейсм?чна розв?дка

Одним ?з ранн?х комерц?йних застосувань теор?? ?нформац?? була галузь сейсм?чного розв?дування нафти. Робота в ц?й галуз? уможливила в?докремлювання небажаного шуму в?д потр?бного сейсм?чного сигналу. Теор?я ?нформац?? та цифрова обробка сигнал?в пропонують значне п?двищення розд?льност? та ч?ткост? зображень пор?вняно з попередн?ми аналоговими методами.

Сем?отика

Сем?отики Дуде Наута та В?нфр?д Ньот у сво?х працях ?з сем?отики розглядали Чарлза Сандерса П?рса як творця теор?? ?нформац??.^:171:137 Наута визначав сем?отичну теор?ю ?нформац?? як досл?дження ?внутр?шн?х процес?в кодування, ф?льтрування та обробки ?нформац??.?^:91

Поняття з теор?? ?нформац??, як-от керування надм?рн?стю та кодом, використовували так? сем?отики як Умберто Еко та Ферруччо Росс?-Ланд? для пояснення ?деолог?? як форми передавання пов?домлення, за яко? дом?нантний соц?альний клас переда? сво? пов?домлення, використовуючи знаки з високим р?внем надм?рност?, так що з множини конкурентних пов?домлень декоду?ться лише одне.

Орган?зац?я ?нтегровано? обробки нейронно? ?нформац??

К?льк?сн? методи теор?? ?нформац?? застосували у когн?тив?стиц? для анал?зу орган?зац?? ?нтегровано? обробки нейронно? ?нформац?? в контекст? проблеми зв'язування в когн?тивн?й нейронауц?. У цьому контекст? визначають або ?нформац?йно-теоретичну м?ру, таку як функц?йн? кластери (англ. functional clusters, модель функц?йного кластерування та г?потеза динам?чного ядра (ГДЯ, англ. dynamic core hypothesis, DCH) Джеральда Едельмана та Джул?о Тонон?) або ефективна ?нформац?я (англ. effective information, теор?я ?нтегровано? ?нформац?? (Т??, англ. integrated information theory, IIT) св?домост? Тонон?), що ?рунту?ться на повторновикористовн?й орган?зац?? обробки, тобто синхрон?зац?? нейроф?з?олог?чно? активност? м?ж групами нейронних сукупностей, або м?ру м?н?м?зац?? в?льно? енерг?? на основ? статистичних метод?в (принцип в?льно? енерг?? Карла Фр?стана, ?нформац?йно-теоретична м?ра, яка стверджу?, що кожна адаптивна зм?на в самоорган?зовн?й систем? веде до м?н?м?зац?? в?льно? енерг??, та г?потеза ба?сового мозку).

?нш? застосування

Теор?я ?нформац?? також знаходить застосування у пошуку позаземного розуму, досл?дженн? чорних д?р, б?о?нформатиц?^{[джерело?]}, та ста?вках.

Див. також

• Алгоритм?чна ймов?рн?сть
• Ба?сове висновування
• ?ндуктивна ймов?рн?сть
• ?нфо-метрика
• М?н?мальна довжина опису
• М?н?мальна довжина пов?домлення
• Теор?я конструктор?в — узагальнення теор?? ?нформац??, яке охоплю? квантову ?нформац?ю
• Теор?я масового сп?лкування
• Ф?лософ?я ?нформац??
• Формальн? науки

Застосування

• Азартн? ?гри
• Активн? мереж?
• Ентроп?я в термодинам?ц? та теор?? ?нформац??
• К?бернетика
• Криптоанал?з
• Криптограф?я
• Розв?дка (збирання ?нформац??)
• Сейсм?чна розв?дка

?стор?я

• Гартл?, Р. В. Л.
• ?стор?я теор?? ?нформац??
• Йок?, Г. П.
• Хронолог?я розвитку теор?? ?нформац??
• Шеннон, К. Е.
• Андр?й Колмогоров

Теор?я

• Алгебра ?нформац??
• Асиметрична ?нформац?я
• ?нформац?йна геометр?я
• ?нформац?йна теор?я поля
• ?нформац?я за Ф?шером
• Квантова ?нформатика
• Кодування джерела
• Колмогоровська складн?сть
• Лог?ка ?нформац??
• Мережне кодування
• Перел?к нерозв'язаних проблем теор?? ?нформац??
• Теор?я виявляння
• Теор?я ?нформац?? та теор?я м?ри
• Теор?я кодування
• Теор?я оц?нювання
• Ф?лософ?я ?нформац??

Поняття

• Бан (одиниця вим?ру)
• Вза?мна ?нформац?я
• В?дстань Гемм?нга
• В?дстань ?диност?
• Власна ?нформац?я
• Декодувальник
• Джерело ?нформац??
• Диференц?альна ентроп?я
• Ентроп?я Рень?
• Зам?нна ?нформац?я
• ?нформац?йна ентроп?я
• ?нформац?йно-флуктуац?йна складн?сть
• Канал зв'язку
• Надм?рн?сть
• Перплексивн?сть
• Поточкова вза?мна ?нформац?я (ПВ?)
• Приймач (теор?я ?нформац??)
• Прихований канал
• Пропускна спроможн?сть каналу
• Р?зноман?тн?сть
• Розходження Кульбака — Лейблера
• Сп?льна ентроп?я
• Стиснення даних
• Умовна ентроп?я

Л?тература

Класичн? прац?

• Shannon, C.E. (1948), "A Mathematical Theory of Communication", Bell System Technical Journal (англ.), 27, pp. 379–423 & 623–656, July & October, 1948. PDF.
  Прим?тки та ?нш? формати.
• R.V.L. Hartley, "Transmission of Information", Bell System Technical Journal (англ.), July 1928
• Andrey Kolmogorov (1968), "Three approaches to the quantitative definition of information" in International Journal of Computer Mathematics (англ.), 2, pp. 157–168. (Колмогоров, А. Н. (1965). Три подхода к определению понятия ?количество информации?. Пробл. передачи информ. (рос.). 1 (1): 3—11. Арх?в ориг?налу за 26 червня 2017.)

?нш? журнальн? статт?

• J. L. Kelly Jr., Princeton, "A New Interpretation of Information Rate" Bell System Technical Journal (англ.), Vol. 35, July 1956, pp. 917–26.
• R. Landauer, IEEE.org, "Information is Physical" Proc. Workshop on Physics and Computation PhysComp'92 (англ.) (IEEE Comp. Sci.Press, Los Alamitos, 1993) pp. 1–4.
• Landauer, R. (1961). Irreversibility and Heat Generation in the Computing Process (PDF). IBM J. Res. Dev. (англ.). 5 (3): 183—191. doi:10.1147/rd.53.0183.
• Timme, Nicholas; Alford, Wesley; Flecker, Benjamin; Beggs, John M. (2012). Multivariate information measures: an experimentalist's perspective (англ.). arXiv:1111.6857 [cs.IT].

П?дручники з теор?? ?нформац??

• Alajaji, F. and Chen, P.N. An Introduction to Single-User Information Theory. (англ.) Singapore: Springer, 2018. ISBN 978-981-10-8000-5
• Arndt, C. Information Measures, Information and its Description in Science and Engineering (англ.) (Springer Series: Signals and Communication Technology), 2004, ISBN 978-3-540-40855-0
• Ash, Robert B. (1990) [1965]. Information Theory (англ.). New York: Dover Publications, Inc. ISBN 0-486-66521-6.
• Gallager, R. Information Theory and Reliable Communication. (англ.) New York: John Wiley and Sons, 1968. ISBN 0-471-29048-3
• Goldman, S. Information Theory. (англ.) New York: Prentice Hall, 1953. New York: Dover 1968 ISBN 0-486-62209-6, 2005 ISBN 0-486-44271-3
• Cover, Thomas; Thomas, Joy A. (2006). Elements of information theory (англ.) (вид. 2nd). New York: Wiley-Interscience. ISBN 0-471-24195-4.
• Csiszar, I, Korner, J. Information Theory: Coding Theorems for Discrete Memoryless Systems (англ.) Akademiai Kiado: 2nd edition, 1997. ISBN 963-05-7440-3
• MacKay, David J. C. Information Theory, Inference, and Learning Algorithms (англ.) Cambridge: Cambridge University Press, 2003. ISBN 0-521-64298-1
• Mansuripur, M. Introduction to Information Theory. (англ.) New York: Prentice Hall, 1987. ISBN 0-13-484668-0
• McEliece, R. The Theory of Information and Coding. (англ.) Cambridge, 2002. ISBN 978-0521831857
• Pierce, JR. "An introduction to information theory: symbols, signals and noise". (англ.) Dover (2nd Edition). 1961 (перевидано Dover 1980).
• Reza, Fazlollah M. (1994) [1961]. An Introduction to Information Theory (англ.). New York: Dover Publications, Inc. ISBN 0-486-68210-2.
• Shannon, Claude; Weaver, Warren (1949). The Mathematical Theory of Communication (PDF) (англ.). Urbana, Illinois: University of Illinois Press. ISBN 0-252-72548-4. LCCN 49-11922.
• Stone, JV. Chapter 1 of book "Information Theory: A Tutorial Introduction" (англ.), University of Sheffield, England, 2014. ISBN 978-0956372857.
• Yeung, RW. A First Course in Information Theory (англ.) Kluwer Academic/Plenum Publishers, 2002. ISBN 0-306-46791-7.
• Yeung, RW. Information Theory and Network Coding (англ.) Springer 2008, 2002. ISBN 978-0-387-79233-0

Укра?нською

• Жураковський, Ю.П.; Полторак, В.П. (2001). Теор?я ?нформац?? та кодування (PDF) (укр.). Ки?в: Вища школа.
• Жураковський, Ю. П.; Гн?л?цький, В. В. (2002). Теор?я ?нформац?? та кодування в задачах: Навчальний пос?бник (укр.). Житомир: Ж?Т?. Арх?в ориг?налу за 23 липня 2024.
• Кожевников, В.Л.; Кожевников, А.В. (2012). Теор?я ?нформац?? та кодування (PDF) (укр.). Дн?про: НГУ. Арх?в ориг?налу (PDF) за 25 березня 2022.
• Коваленко, А.?. (2020). Теор?я ?нформац?? ? кодування: курс лекц?й (PDF) (укр.). Ки?в: КП?. Арх?в (PDF) ориг?налу за 26 липня 2023.
• Гус?в, О.Ю.; Конахович, Г.Ф.; Корн??нко, В.?.; Кузнецов, Г.В.; Пузиренко, О.Ю. (2010). Теор?я електричного зв'язку. Навчальний пос?бник (PDF) (укр.). Льв?в: Магнол?я 2006. ISBN 978-966-2025-97-2. Арх?в (PDF) ориг?налу за 18 травня 2024.
• Б?линський, Й.Й.; Огородник, К.В.; Юкиш, М.Й. (2011). Електронн? системи. Навчальний пос?бник (PDF) (укр.). В?нниця: ВНТУ. Арх?в (PDF) ориг?налу за 29 червня 2024.
• Партико, З.В. (2001). Образна концепц?я теор?? ?нформац?? (укр.) (англ.). Льв?в: ЛНУ. ISBN 966-613-046-7.

?нш? книги

• Leon Brillouin, Science and Information Theory (англ.), Mineola, N.Y.: Dover, [1956, 1962] 2004. ISBN 0-486-43918-6
• Gleick, James (2011). [[?нформац?я: ?стор?я, теор?я, пот?к|The Information: A History, a Theory, a Flood]][[Категор?я:В?к?пед?я:Запити на переклад]] (англ.) (вид. 1st). New York: Vintage Books. ISBN 978-1-4000-9623-7. {{cite book}}: Назва URL м?стить вбудоване в?к?посилання (дов?дка)
• A. I. Khinchin, Mathematical Foundations of Information Theory (англ.), New York: Dover, 1957. ISBN 0-486-60434-9
• H. S. Leff and A. F. Rex, Editors, Maxwell's Demon: Entropy, Information, Computing (англ.), Princeton University Press, Princeton, New Jersey (1990). ISBN 0-691-08727-X
• Robert K. Logan. What is Information? - Propagating Organization in the Biosphere, the Symbolosphere, the Technosphere and the Econosphere (англ.), Toronto: DEMO Publishing.
• Tom Siegfried, The Bit and the Pendulum (англ.), Wiley, 2000. ISBN 0-471-32174-5
• Charles Seife, Decoding the Universe (англ.), Viking, 2006. ISBN 0-670-03441-X
• Jeremy Campbell, Grammatical Man (англ.), Touchstone/Simon & Schuster, 1982, ISBN 0-671-44062-4
• Henri Theil, Economics and Information Theory (англ.), Rand McNally & Company - Chicago, 1967.
• Escolano, Suau, Bonev, Information Theory in Computer Vision and Pattern Recognition (англ.), Springer, 2009. ISBN 978-1-84882-296-2
• Vlatko Vedral, Decoding Reality: The Universe as Quantum Information (англ.), Oxford University Press 2010. ISBN 0-19-923769-7

Посилання

• Hazewinkel, Michiel, ред. (2001), Information, Математична енциклопед?я, Springer, ISBN 978-1-55608-010-4
• Lambert F. L. (1999), "Shuffled Cards, Messy Desks, and Disorderly Dorm Rooms - Examples of Entropy Increase? Nonsense!", Journal of Chemical Education (англ.)
• IEEE Information Theory Society та Монограф??, огляди та реценз?? ITSOC [Арх?вовано 2025-08-07 у Wayback Machine.] (англ.)