Claude Shannon informačná teória v skratke. Claude Shannon a čím sa preslávil? krátko. Claude Shannon – stvorenie inžinierskeho génia

Kniha sleduje históriu a vývoj počítačového sveta, ktorý možno rozdeliť do niekoľkých období: obdobie predchádzajúce počítačovej ére; obdobie vzniku prvých počítačov a objavenia sa prvých programovacích jazykov; obdobie formovania a rozvoja počítačového priemyslu, vznik počítačových systémov a sietí; obdobie vytvárania objektovo orientovaných programovacích jazykov a nových počítačových technológií. Každá z kapitol knihy je venovaná samostatnému obdobiu, vynálezcom, dizajnérom a programátorom – architektom počítačového sveta.

Pre široké spektrum čitateľov

kniha:

V súčasnosti hrajú Shannonove myšlienky dôležitú úlohu takmer vo všetkých systémoch, ktoré uchovávajú, spracúvajú alebo prenášajú informácie v digitálnej forme, od laserových diskov po počítače, od áut po automatické vesmírne stanice...

J. Horgan

Claude Shannon

Koncom tridsiatych rokov minulého storočia bol Shannon prvý, kto dal do súvisu Booleovu algebru so spínacími obvodmi, ktoré sú súčasťou moderných počítačov. Vďaka tomuto objavu mohla byť booleovská algebra použitá ako spôsob organizácie vnútorných operácií počítača, spôsob organizácie logickej štruktúry počítača. Počítačový priemysel teda tomuto mužovi vďačí za veľa, aj keď jeho záujmy boli niekedy ďaleko od počítačov.

Jeho otec bol právnik a istý čas aj sudca. Jeho matka učila cudzie jazyky a stala sa riaditeľkou strednej školy Eylord. Mladý Claude veľmi rád navrhoval automatické zariadenia. Zostavil modely lietadiel a rádiové obvody a tiež vytvoril rádiom riadený čln a telegrafný systém medzi svojim domom a domom priateľa. Opravil rozhlasové stanice pre miestny obchodný dom. Thomas Edison bol jeho detským hrdinom aj vzdialeným bratrancom, hoci sa nikdy nestretli. Shannon neskôr do svojho zoznamu hrdinov pridal Isaaca Newtona, Charlesa Darwina, Alberta Einsteina a Johna von Neumanna. V roku 1932 bol Shannon zapísaný na University of Michigan. Claude Shannon vyštudoval elektrotechniku. Matematika mu však učarovala a snažil sa absolvovať čo najviac kurzov. Jeden z týchto kurzov matematiky v symbolickej logike zohral v jeho kariére veľkú úlohu. Získal bakalársky titul v odbore elektrotechnika a matematika. "Toto je príbeh môjho života," hovorí Shannon. "Interakcia medzi matematikou a elektrotechnikou."

V roku 1936 sa Claude Shannon stal postgraduálnym študentom na Massachusetts Institute of Technology (MIT). Jeho vedúci Vannevar Bush, tvorca diferenciálneho analyzátora (analógového počítača), navrhol popísať logickú organizáciu analyzátora ako tému svojej dizertačnej práce.

Počas práce na svojej dizertačnej práci Shannon dospel k záveru, že Booleovu algebru možno úspešne použiť na analýzu a syntézu spínačov a relé v elektrických obvodoch. Shannon napísal: "Pomocou reléových obvodov možno vykonávať zložité matematické operácie. Čísla môžu byť reprezentované pozíciami relé a krokovými spínačmi. Pripojením súprav relé určitým spôsobom možno vykonávať rôzne matematické operácie." Týmto spôsobom, vysvetlil Shannon, je možné skonštruovať reléový obvod, ktorý vykonáva logické operácie AND, OR a NOT. Môžete tiež implementovať porovnania. Pomocou takýchto obvodov je ľahké implementovať konštrukciu „Ak… potom…“.

V roku 1937 napísal Shannon dizertačnú prácu s názvom „Symbolická analýza reléových a spínacích obvodov“. Bola to nezvyčajná dizertačná práca a bola považovaná za jednu z najvýznamnejších v celej vede v tom čase: to, čo urobil Shannon, pripravilo cestu pre vývoj digitálnych počítačov.

Shannonova práca bola veľmi dôležitá: teraz inžinieri neustále používajú Booleovu algebru vo svojej každodennej praxi, vytvárajú hardvér a programy pre počítače, telefónne siete a iné systémy. Shannon bagatelizoval svoj príspevok k tomuto objavu. "Stalo sa, že nikto iný nepoznal obe tieto oblasti (matematiku a elektrotechniku. - A. Ch.) zároveň," povedal. A potom vyhlásil: „Vždy sa mi páčilo toto slovo - booleovské."

Aby sme boli spravodliví, treba poznamenať, že pred Shannonom nadviazanie spojenia medzi Booleovou algebrou a spínacími obvodmi realizoval v Amerike C. Pierce, v Rusku P. S. Ehrenfest, V. I. Shestakov a ďalší.

Na Bushovu radu sa Shannon rozhodol pre doktorát z matematiky na MIT. Nápad na budúcu dizertačnú prácu dostal v lete 1939, keď pracoval v Cold Spring Habor v New Yorku. Bush bol vymenovaný za prezidenta Carnegie Institution v okrese Washington a navrhol, aby tam Shannon strávil nejaký čas: práca, ktorú robila Barbara Burks o genetike, by mohla slúžiť ako predmet, na ktorý by Shannon aplikoval svoju algebraickú teóriu. Ak Shannon dokázal prepínať okruhy, prečo by to nemohol urobiť aj v genetike? Shannonova dizertačná práca s názvom „Algebra pre teoretickú genetiku“ bola dokončená na jar 1940. Shannon pokračuje v doktorandskom štúdiu matematiky a magisterskom štúdiu v elektrotechnike. T. Fry, riaditeľ matematiky v Bellových laboratóriách, bol ohromený prácou Shannona v oblasti symbolickej logiky a jeho matematického myslenia. V lete 1940 pozval Shannona, aby pracoval v Belle. Tam Shannon pri výskume spínacích obvodov objavil novú metódu ich organizácie, ktorá by mohla znížiť počet reléových kontaktov potrebných na implementáciu akejkoľvek zložitej logickej funkcie. Publikoval prácu s názvom „Organizácia dvojpólových spínacích obvodov“. Koncom roku 1940 dostal Shannon Národnú cenu za výskum. Na jar 1941 sa vrátil do Bellových laboratórií. S vypuknutím vojny viedol T. Fry práce na programe systémov riadenia paľby pre protivzdušnú obranu. Shannon sa pripojil k tejto skupine a pracoval na zariadeniach, ktoré detegovali nepriateľské lietadlá a zameriavali protilietadlové delá.

AT&T, vlastník Bell Laboratories, bola vedúcou svetovou komunikačnou spoločnosťou a Bell Laboratories samozrejme tiež vykonávali práce na komunikačných systémoch. Tentoraz sa Shannon začal zaujímať o elektronické správy. V tejto oblasti tomu málo rozumel, ale veril, že matematika má odpovede na väčšinu otázok.

Najprv si Shannon stanovil jednoduchý cieľ: zlepšiť proces prenosu informácií cez telegrafný alebo telefónny kanál pod vplyvom elektrických porúch alebo hluku. Dospel k záveru, že najlepšie riešenie nespočíva v technických vylepšeniach komunikačných liniek, ale v efektívnejšom balení informácií.

čo sú informácie? Odhliadnuc od otázky obsahu tohto konceptu, Shannon ukázal, že ide o merateľnú veličinu: množstvo informácií obsiahnutých v danej správe je funkciou pravdepodobnosti, že zo všetkých možných správ bude vybraná práve táto. Celkový potenciál informácií v systéme správ nazval jeho „entropiou“. V termodynamike tento pojem znamená stupeň náhodnosti (alebo, ak chcete, „zmiešanosti“) systému. (Shannon raz povedal, že mu poradil používať koncept entropie matematik John von Neumann, ktorý poukázal na to, že keďže nikto nevie, čo to je, Shannon bude mať vždy výhodu v sporoch týkajúcich sa jeho teórie.)

Shannon definoval základnú jednotku informácie, neskôr nazývanú bit, ako správu predstavujúcu jednu z dvoch možností: napríklad „hlavy“ – „chvosty“ alebo „áno“ – „nie“. Bit môže byť reprezentovaný ako 1 alebo 0, alebo ako prítomnosť alebo neprítomnosť prúdu v obvode.

Na tomto matematickom základe potom Shannon ukázal, že každý komunikačný kanál má maximálnu kapacitu na spoľahlivý prenos informácií. V skutočnosti dokázal, že hoci je možné sa k tomuto maximu priblížiť šikovným kódovaním, nie je možné ho dosiahnuť. Toto maximum sa stalo známym ako Shannonova hranica.

Ako sa dá priblížiť k Shannonovmu limitu? Prvým krokom je využiť výhody redundancie kódu. Rovnako ako milenec môže stručne napísať „Milujem ťa“ do svojej milostnej poznámky, pomocou efektívneho kódovania je možné komprimovať informácie do čo najkompaktnejšej formy. Pomocou špeciálnych techník kódovania, ktoré umožňujú opravu chýb, môžete zabezpečiť, aby správa nebola skreslená šumom.

Shannonove nápady boli príliš vizionárske na to, aby mali okamžitý praktický účinok. Obvody vákuových trubíc jednoducho ešte nedokázali vypočítať zložité kódy potrebné na priblíženie sa Shannonovmu limitu. V skutočnosti až začiatkom 70. rokov 20. storočia s príchodom vysokorýchlostných integrovaných obvodov začali inžinieri naplno využívať teóriu informácie.

Claude Shannon načrtol všetky svoje myšlienky a nápady týkajúce sa novej vedy teórie informácie v monografii „Mathematical Theory of Communications“, vydanej v roku 1948.

Teória informácie okrem komunikácií prenikla aj do iných oblastí vrátane lingvistiky, psychológie, ekonómie, biológie a dokonca aj umenia. Aby sme to podporili, uveďme napríklad fakt: začiatkom 70. rokov vyšiel úvodník s názvom „Teória informácií, fotosyntéza a náboženstvo“ v časopise „IEEE Transactions on Information Theory“. Z vlastného pohľadu Shannona nie je aplikácia teórie informácie na biologické systémy vôbec nevhodná, keďže podľa jeho názoru sú mechanické a živé systémy založené na spoločných princípoch. Na otázku, či stroj dokáže myslieť, odpovedá: "Samozrejme, že áno. Ja som stroj a ty si stroj a obaja si myslíme, nie?"

V skutočnosti bol Shannon jedným z prvých inžinierov, ktorí navrhli, že stroje by mohli byť naprogramované tak, aby hrali karty a riešili ďalšie zložité problémy.

V roku 1948 publikoval prácu „Programovanie počítača na hranie šachu“. Predtým neexistovali žiadne podobné publikácie na túto tému a šachový program vytvorený Shannonom bol základom pre ďalší vývoj a prvý úspech v oblasti umelej inteligencie. V roku 1950 vynašiel mechanickú myš Theseus, ktorá po ovládaní magnetom a zložitým elektrickým obvodom ukrytým pod podlahou dokázala nájsť cestu von z bludiska.

Zostrojil stroj, ktorý „číta myšlienky“ a hrá „coin“, hru, v ktorej sa jeden z hráčov snaží uhádnuť, či si druhý hráč vybral „hlavy“ alebo „chvosty“. Shannonov kolega, tiež v Bell Laboratories, David W. Hagelbarger postavil prototyp; stroj si pamätal a analyzoval postupnosť minulých volieb súpera, snažil sa v nich nájsť vzor a na základe neho predpovedať ďalšiu voľbu.

Claude Shannon bol jedným z organizátorov prvej konferencie o umelej inteligencii, ktorá sa konala v roku 1956 v Dartmouthe. V roku 1965 navštívil na pozvanie Sovietsky zväz, kde mal sériu prednášok o umelej inteligencii.

V roku 1958 Shannon opustil Bell Laboratories, aby sa stal profesorom na Massachusetts Institute of Technology. Po oficiálnom odchode do dôchodku v roku 1978 sa jeho najväčšou záľubou stalo žonglovanie. Zostrojil niekoľko žonglovacích strojov a vyvinul niečo, čo by sa dalo nazvať jednotnou teóriou poľa pre žonglovanie.

Od konca 50. rokov 20. storočia publikoval Shannon veľmi málo prác o teórii informácie. Niektorí z jeho bývalých kolegov povedali, že Shannon bol „vyhorený“ a unavený z vlastnej teórie, ale Shannon to poprel. „Väčšina veľkých matematikov napísala svoje najlepšie práce, keď boli ešte mladí,“ povedal.

V roku 1985 sa Shannon a jeho manželka náhle rozhodli zúčastniť sa Medzinárodného sympózia o teórii informácií, ktoré sa konalo v anglickom meste Brighton. Dlhé roky sa nezúčastňoval na konferenciách a spočiatku si ho nikto nevšímal. Potom si účastníci sympózia začali medzi sebou šepkať: ten skromný sivovlasý pán, ktorý prichádzal a odchádzal z hál, kde odzneli správy, bol Claude Shannon. Na bankete Shannon povedal pár slov, trochu si zažongloval s tromi loptičkami a podpísal mnoho autogramov pre inžinierov, ktorí boli zoradení v dlhom rade. Ako si pripomenul jeden účastník, „bolo to vnímané, ako keby sa Newton objavil na konferencii venovanej problémom vo fyzike“.

Začiatkom marca 2001, vo veku 84 rokov, po dlhej chorobe zomrel Claude Shannon. Ako písali všadeprítomní novinári, muž, ktorý beat vymyslel, zomrel.

Stručný životopis Clauda Shannona a zaujímavosti zo života amerického inžiniera, kryptanalytika a matematika, otca informačného veku, prinášame v tomto článku.

Claude Shannon krátky životopis

Claude Elwood Shannon sa narodil 30. apríla 1916 v meste Petocki v štáte Michigan. Jeho otec bol právnik a matka učila cudzie jazyky. V roku 1932 mladý muž ukončil strednú školu a súčasne sa vzdelával doma. Claudov otec neustále kupoval svojmu synovi rádioamatérske súpravy a stavebnice, čím podporoval jeho technickú kreativitu. A jeho staršia sestra ho učila hĺbkové hodiny matematiky. Preto bola láska k technike a matematike zrejmá.

V roku 1932 vstúpil budúci vedec na University of Michigan. Vzdelávaciu inštitúciu ukončil v roku 1936 bakalárskym titulom z matematiky a elektrotechniky. Na univerzite čítal diela „Logický počet“ a „Matematická analýza logiky“ od autora George Boole, ktoré do značnej miery určili jeho budúce vedecké záujmy.

Čoskoro bol pozvaný pracovať na Massachusetts Institute of Technology ako výskumný asistent v elektrotechnickom laboratóriu. Shannon pracoval na modernizácii analógového počítača, diferenciálneho analyzátora Vannevara Busha.

V roku 1936 sa Claude rozhodol zapísať na magisterský program a o rok neskôr napísal dizertačnú prácu. Na jej základe vytvoril článok s názvom „Symbolická analýza relé a spínacích obvodov“, publikovaný v roku 1938 v časopise Journal of the American Institute of Electrical Engineers. Jeho článok zaujal vedeckú elektrotechnickú obec a v roku 1939 mu bola udelená cena. Alfred Nobel. Bez toho, aby dokončil svoju diplomovú prácu, Shannon začal pracovať na svojom doktoráte z matematiky a dotýkal sa problémov v genetike. Volalo sa to „Algebra pre teoretickú genetiku“.

V roku 1941, ako 25-ročný, začal pracovať na matematickom oddelení výskumného centra Bell Laboratories. V tom čase sa v Európe začali nepriateľské akcie. Amerika financovala Shannonov výskum v oblasti kryptografie. Bol autorom analýzy zašifrovaných textov informačno-teoretickými metódami. V roku 1945 vedec dokončil veľkú tajnú správu „Matematická teória kryptografie“.

Ako Claude Shannon prispel k počítačovej vede?

Vedec vo svojom výskume pripravil koncepty teórie informácie. V roku 1948 Shannon publikoval prácu „Matematická teória komunikácie“, v ktorej sa matematická teória objavila ako prijímač informácií a komunikačný kanál na ich prenos. Zostáva len všetko preložiť do jednoduchšieho jazyka a sprostredkovať naše úspechy ľudstvu. Claude Shannon predstavil koncept informačnej entropie, ktorý označuje veličinu, jednotku informácie. Vedec povedal, že tento výraz mu poradil matematik. Claude Shannon vytvoril 6 konceptuálnych teorémov, ktoré sú základom jeho informačnej teórie:

  • Veta pre kvantitatívne hodnotenie informácií.
  • Veta pre racionálne balenie symbolov počas primárneho kódovania.
  • Veta o prispôsobení toku informácií kapacite komunikačného kanála bez rušenia.
  • Veta na prispôsobenie toku informácií kapacite binárneho komunikačného kanála so šumom.
  • Veta pre odhad kapacity spojitého komunikačného kanála.
  • Veta pre bezchybnú rekonštrukciu spojitého signálu.

V roku 1956 vedec prestal pracovať v Bellových laboratóriách a zaujal miesto profesora na dvoch fakultách Massachusetts Institute of Technology: elektrotechnike a matematike.

Keď mal 50 rokov, prestal učiť a úplne sa venoval svojim obľúbeným koníčkom. Vytvoril jednokolku s 2 sedlami, robotov, ktorí riešia Rubikovu kocku a žonglovacie loptičky, a skladací nôž s mnohými čepeľami. V roku 1965 navštívil ZSSR. A nedávno bol Claude Shannon veľmi chorý a zomrel vo februári 2001 na Alzheimerovu chorobu v domove dôchodcov v Massachusetts.

Claude Shannon zaujímavé fakty

Shannonovi vštepil lásku k vede jeho starý otec. Shannonov starý otec bol vynálezca a farmár. Vynašiel práčku spolu s mnohými ďalšími užitočnými poľnohospodárskymi zariadeniami

Ako teenager on pracoval ako posol v spoločnosti Western Union.

On rád hral na klarinete počúvali hudbu a čítali poéziu.

Shannon sa 27. marca 1949 oženil s Mary Elizabeth Moore Shannon, s ktorou sa zoznámil v Bell Labs. Pracovala tam ako analytička. Pár mal tri deti: Andrew Moore, Robert James a Margarita Katerina.

Claude Shannon rád chodieval cez víkendy do Las Vegas s manželkou Betty a kolegom hrať blackjack. Shannon a jeho priateľ dokonca navrhli prvý nositeľný počítač na svete na „počítanie kariet“.

Podieľal sa na vývoji zariadení, ktoré detekovali nepriateľské lietadlá a mierili na ne protilietadlové delá. Vytvoril tiež kryptografický systém pre americkú vládu, zabezpečujúci utajenie rokovaní medzi Rooseveltom a Churchillom.

Rád hral šach a žongloval. Svedkovia z jeho mladosti v Bellových laboratóriách spomínali, ako sa po chodbách firmy preháňal na jednokolke a žongloval s loptičkami.

Vytvoril jednokolku s dvoma sedlami, skladací nôž so sto čepeľami, robotov, ktorí riešia Rubikovu kocku a robota, ktorý žongluje s loptičkami.

Shannon bol podľa vlastných slov apolitický človek a ateista.

Claude Shannon sa narodil v roku 1916. Vyrastal v Gaylord, Michigan. Už ako dieťa prejavoval Shannon záujem ako o technológiu a jej podrobné štúdium, tak o všeobecné matematické princípy. Pri riešení matematických úloh a hlavolamov, ktoré mu poskytla jeho staršia sestra Catherine, ktorá sa neskôr stala profesorkou matematiky, sa pohrával s prvými prijímačmi detektorov, ktoré mu priniesol jeho otec.

V roku 1936 sa absolventovi University of Michigan Claude Shannonovi, vtedy 21-ročnému, podarilo preklenúť priepasť medzi algebraickou teóriou logiky a jej praktickou aplikáciou.
Shannon s dvoma bakalárskymi titulmi z elektrotechniky a matematiky pôsobil ako operátor nemotorného mechanického výpočtového zariadenia nazývaného „diferenciálny analyzátor“, ktorý Shannonov nadriadený profesor Vanniver Bush zostrojil v roku 1930. Pre tému svojej dizertačnej práce Bush navrhol, aby Shannon študoval logickú organizáciu svojho stroja. Postupne Shannon začal rozvíjať obrysy počítača. Ak by boli elektrické obvody zostrojené podľa princípov Booleovej algebry, mohli by vyjadrovať logické vzťahy, určovať pravdivosť tvrdení a vykonávať zložité výpočty.

Elektrické obvody by boli zjavne oveľa pohodlnejšie ako ozubené kolesá a valčeky veľkoryso mazané strojovým olejom v „diferenciálnom analyzátore“. Shannon rozvinul svoje myšlienky o vzťahu medzi binárnym počtom, Booleovou algebrou a elektrickými obvodmi vo svojej dizertačnej práci publikovanej v roku 1938.

V roku 1941 odišiel 25-ročný Claude Shannon pracovať do Bellových laboratórií, kde sa okrem iného preslávil jazdou na jednokolke po chodbách laboratória pri žonglovaní s loptičkami.

V tom čase bola aplikácia metód anglického vedca Georgea Boolea (1815-1864), ktorý v roku 1847 publikoval prácu s príznačným názvom „Matematická analýza logiky, ktorá je experimentom v počte deduktívneho uvažovania“, na technológiu, “ bol takmer revolučný. Samotný Shannon k tomu len skromne poznamenal: „Stalo sa, že nikto iný nepoznal obe oblasti súčasne.“

Ďalšou veľmi hodnotnou prácou je Komunikačná teória tajných systémov (1949), ktorá formuluje matematické základy kryptografie.

Počas vojny sa podieľal na vývoji kryptografických systémov a to mu neskôr pomohlo objaviť metódy kódovania na opravu chýb. Mimochodom, v tých istých štyridsiatych rokoch sa Shannon zaoberal napríklad konštrukciou lietajúceho disku na raketovom motore. V tom istom čase začal Claude Elwood Shannon rozvíjať myšlienky, ktoré neskôr tvorili základ informačnej teórie, ktorá ho preslávila. Shannonovým cieľom bolo optimalizovať prenos informácií cez telefónne a telegrafné linky. A aby tento problém vyriešil, musel sformulovať, čo je informácia a ako sa určuje jej množstvo. Vo svojich prácach z rokov 1948-49 definoval množstvo informácie prostredníctvom entropie - veličiny známej v termodynamike a štatistickej fyzike ako miera neusporiadanosti systému a ako jednotku informácie vzal to, čo sa neskôr nazývalo „bit“. “, teda výber jednej z dvoch rovnako pravdepodobných možností .

Od roku 1956 - člen Národnej akadémie vied USA a Americkej akadémie umení a vied.

Claude Shannon vo svojich prácach definoval množstvo informácií prostredníctvom entropie - veličiny známej v termodynamike a štatistickej fyzike ako mieru neusporiadanosti systému a ako jednotku informácie vzal to, čo bolo neskôr nazvané „bit“, tj. , výber jednej z dvoch rovnako pravdepodobných možností. Na pevnom základe svojej definície množstva informácií Claude Shannon dokázal úžasnú vetu o kapacite hlučných komunikačných kanálov. Táto veta bola celá publikovaná v jeho prácach v rokoch 1957-1961 a teraz nesie jeho meno. Čo je podstatou Shannonovej vety? Každý hlučný komunikačný kanál je charakterizovaný maximálnou rýchlosťou prenosu informácií, ktorá sa nazýva Shannonov limit. Pri prenosových rýchlostiach nad tento limit sú chyby v prenášaných informáciách nevyhnutné. Pod touto hranicou sa však možno priblížiť tak blízko, ako si želáte, poskytujúc s vhodným kódovaním informácie ľubovoľne malú pravdepodobnosť chyby pre akýkoľvek zašumený kanál. Okrem toho sa Shannon neúnavne venoval rôznym projektom: od konštrukcie elektronickej myši schopnej nájsť cestu von z bludiska, cez konštrukciu žonglovacích strojov a vytvorenie teórie žonglovania, čo mu však nepomohlo prekonať jeho osobný rekord - žonglovanie so štyrmi loptičkami.

Claude Elwood Shannon - popredný americký vedec v oblasti matematiky, inžinierstva, kryptoanalytiky.

Celosvetovú slávu si získal vďaka svojim objavom v oblasti informačných technológií a vynález „bitu“ (1948), ako najmenšia informačná jednotka. Je považovaný za zakladateľa teórie informácie, ktorej hlavné ustanovenia sú stále aktuálne v sekcii high-tech komunikácií a moderných komunikácií.

Shannon bol tiež prvýkrát bol predstavený pojem „entropia“., čo označuje neurčité množstvo prenášaných informácií.

Tento vedec ako prvý aplikoval vedecký prístup k informačným myšlienkam a zákonom kryptografie, pričom svoje myšlienky podložil prácami o matematickej teórii komunikácie, ako aj o teórii komunikácie v tajných systémoch.

Veľkou mierou prispel aj k rozvoju kybernetiky, pričom zdôvodnil také kľúčové body, ako je pravdepodobnostná schéma, herný vedecký koncept, ako aj myšlienky na vytváranie automatov a systémov riadenia.

Detstvo a dospievanie

Claude Shannon sa narodil v Petoskey, Michigan, Amerika. Táto radostná udalosť sa stala 30.04.1916.

Otec budúceho vedca sa zaoberal podnikaním v oblasti advokácie a potom bol vymenovaný za sudcu. Matka učila cudzí jazyk a nakoniec získala miesto riaditeľky školy v Gaylord.

Shannon starší mal matematické sklony. Kľúčovú úlohu pri formovaní inklinácie jeho vnuka k vedeckej činnosti zohral jeho starý otec, farmár a vynálezca.

Vo svojom arzenáli vytvorenie práčky a niektoré typy aplikovaných poľnohospodárskych strojov. Je pozoruhodné, že Edison má k tejto rodine rodinné väzby.

Vo veku 16 rokov Claude ukončil strednú školu, kde učila jeho matka. Podarilo sa mi pracovať kuriér do Western Union, zaoberajúca sa návrhom rôznych zariadení.

Zaujímal sa o modelovanie lietadiel a rádiových zariadení a opravy malých rádiostaníc. Vlastnými rukami vyrobil rádiom riadený čln a telegraf na komunikáciu s priateľom.

Ako sám Claude ubezpečuje, absolútne ho nezaujímala len politika a viera v Boha.

Študentské roky

Michiganská univerzita otvorila svoje brány Shannonovi v roku 1932. Štúdium tu odhalilo diela J. Boolea. Claude získal bakalársky titul z matematiky a elektrotechniky v roku 1936.

Jeho prvou prácou bol výskumný asistent na Massachusetts Institute of Technology. Claude viedol svoju vedeckú činnosť ako operátor mechanického počítačového zariadenia vytvoreného jeho učiteľom V. Bushom.

Po hlbokom ponorení sa do Booleovho koncepčného vedeckého vývoja si Shannon uvedomil možnosť ich praktického využitia. Ochrana diplomová práca v roku 1937, na ktorú dohliadal Frank L. Hitchcock, sa presťahoval do slávnych Bell Telephone Laboratories, kde produkoval materiál o symbolickej analýze v spínacích obvodoch a používaní relé.

Na stránkach špeciálneho časopisu ju zverejnil Institute of Electrical Engineers v USA (1938).

Odhalili sa hlavné ustanovenia článku zlepšenie smerovania telefónnych hovorov, vďaka výmene relé elektromechanického typu za spínací obvod. Mladý vedec zdôvodnil koncepciu možnosti riešenia všetkých úloh booleovskej algebry pomocou schém.

Toto dielo od Shannona dostal Nobelova cena za elektrotechniku ​​(1940) a stal sa základom pre vytváranie logických číslicových obvodov v elektrických obvodoch. Táto majstrovská práca sa stala skutočným vedeckým prielomom dvadsiateho storočia a položila základ pre vytvorenie elektronickej výpočtovej techniky modernej generácie.

Bush odporučil, aby Shannon pokračoval v dizertačnej práci na doktorát z matematiky. Vážnu pozornosť venovali matematickému výskumu v úzkej súvislosti s genetickými zákonmi dedičnosti slávneho Mendela. Táto práca však nikdy nedostala náležité uznanie a prvýkrát bola publikovaná až v roku 1993.

Vedci venovali veľa úsilia vybudovaniu matematického základu pre rôzne disciplíny, najmä informačné technológie. Uľahčila mu to komunikácia s významným matematikom G. Weyl, ako aj J. von Neumann, Einstein, Gödel.

Vojnové obdobie

Od jari 1941 do roku 1956 Claude Shannon pracuje pre obranu USA, rozvoj riadenia paľby a detekcie nepriateľa počas protivzdušnej obrany. Vytvoril stabilné medzivládne spojenie medzi americkým prezidentom a britským premiérom.

Za prácu o návrhu dvojpólových spínacích obvodov mu bola udelená Národná cena za výskum (1942).

Vedca zaujali myšlienky Angličana Turinga o šifrovaní reči (1943) a už v roku 1945 publikoval prácu o priemerovaní údajov a predpovediach pre systémy riadenia paľby. Jeho spoluautormi boli Ralph B. Blackman a H. Bode. Po vymodelovaní špeciálneho systému, ktorý spracováva informácie a špeciálne signály nastolil informačný vek.

Tajné memorandum K. Shannona v teréne matematická teória kryptografie(1945) dokázali, že kryptografia a teória komunikácie sú neoddeliteľné.

Povojnové obdobie

Tento čas bol poznačený jeho memorandom o teórii komunikácie z matematického hľadiska (1948) ohľadom kódovania prenášaných textov.

Shannonova ďalšia práca úzko súvisela s teóriou informácie v oblasti vývoja hier, najmä s ruletou, strojom na čítanie myšlienok a pri riešení Rubikovej kocky.

Vedec implementoval nápad, ktorý umožňuje komprimovať informácie, čím sa zabráni ich strate pri rozbaľovaní.

Vedec vytvoril školu, kde pravidelne viedol semináre, kde učil študentov nájsť nové prístupy k riešeniu určitých problémov.

Jeho vedecký výskum je známy vo finančnej matematike. Medzi nimi elektrický obvod toku peňazí v amerických dôchodkových fondoch a zdôvodnenie výberu investičného portfólia pri alokácii peňažných aktív.

Mnohí porovnávajú popularitu Clauda Shannona s Isaacom Newtonom.

Po roku 1978 sa na dôchodku dal na teóriu žonglovania a skonštruoval špeciálny stroj.

Claude Shannon publikoval v roku 1993 zbierku svojich článkov, kde zahŕňal 127 jeho vedeckých prác.

Záverečná etapa života

Strávil svoje posledné roky v Massachusetts Boarding Home v dôsledku Alzheimerovej choroby. Tu sa podľa svojej manželky Mary Elizabeth Claude zúčastnil výskumu, aby študoval metódy jej liečby.

Celá rodina bola neustále pri ňom. Smrť nastala 24. februára 2001.

Po Shannonovi zostala jediná manželka, s ktorou jeho manželstvo trvalo od marca 1949. Mali deti tri deti Robert, Andrew, Margarita.

Anatolij Ušakov, doktor technických vied, Prof. oddelenie riadiace systémy a informatika, Univerzita ITMO

Mnohé generácie technických špecialistov druhej polovice 20. storočia, dokonca aj tie, ktoré majú od teórie automatického riadenia a kybernetiky dosť ďaleko, keď opustili múry univerzít, si na celý život pamätali mená „autorských“ vedeckých a technické úspechy: Ljapunovove funkcie, Markovove procesy, frekvencia a Nyquistovo kritérium, Wienerov proces, Kalmanov filter. Medzi takýmito úspechmi majú čestné miesto Shannonove teorémy. V roku 2016 uplynie sté výročie narodenia ich autora, vedca a inžiniera Clauda Shannona.

"Kto vlastní informácie, vlastní svet"

W. Churchill

Ryža. 1. Claude Shannon (1916–2001)

Claude Elwood Shannon (obr. 1) sa narodil 30. apríla 1916 v meste Petocki, ležiacom na brehu jazera Michigan v štáte Michigan (USA), v rodine právnika a učiteľa cudzích jazykov. Jeho staršia sestra Katherine sa zaujímala o matematiku a nakoniec sa stala profesorkou a Shannonov otec spojil svoju prácu právnika s amatérskym rádiom. Vzdialeným príbuzným budúceho inžiniera bol svetoznámy vynálezca Thomas Edison, ktorý mal 1093 patentov.

Shannon absolvoval strednú školu v roku 1932 vo veku šestnástich rokov, pričom ďalšie vzdelanie získal doma. Otec mu kupoval stavebnice a rádioamatérske súpravy a všemožne prispieval k synovej technickej tvorivosti a sestra ho zapájala do pokročilých štúdií matematiky. Shannon si zamiloval oba svety – inžinierstvo aj matematiku.

V roku 1932 vstúpil Shannon na University of Michigan, ktorú ukončil v roku 1936 a získal bakalársky titul s dvojitým zameraním na matematiku a elektrotechniku. Počas štúdia našiel v univerzitnej knižnici dve diela Georga Boolea – „Matematická analýza logiky“ a „Logický počet“, napísané v roku 1847 a 1848. Shannon ich pozorne študoval a to zrejme určilo jeho budúce vedecké záujmy.

Po ukončení štúdia sa Claude Shannon zamestnal v laboratóriu elektrotechnického inžinierstva Massachusetts Institute of Technology (MIT) ako výskumný asistent, kde pracoval na modernizácii diferenciálneho analyzátora Vannevara Busha, viceprezidenta MIT, analógového „počítača“. Od tej doby sa Vannevar Bush stal vedeckým mentorom Clauda Shannona. Pri štúdiu zložitého, vysoko špecializovaného reléového a spínacieho obvodu riadiaceho zariadenia diferenciálneho analyzátora si Shannon uvedomil, že koncepty Georgea Boola by sa v tejto oblasti dali dobre využiť.

Koncom roku 1936 nastúpil Shannon na magisterský program a už v roku 1937 napísal abstrakt dizertačnej práce na magisterské štúdium a na jeho základe pripravil článok „Symbolická analýza relé a spínacích obvodů“, ktorý vyšiel v r. 1938 v publikácii American Institute Electrical Engineers (AIEE). Táto práca upútala pozornosť vedeckej elektrotechnickej komunity a v roku 1939 za ňu Americká spoločnosť stavebných inžinierov udelila Shannonovi cenu Alfreda Nobela.

Keďže Shannon ešte neobhájil svoju diplomovú prácu, na radu Busha sa rozhodol pracovať na doktoráte z matematiky na MIT, ktorý sa týkal problémov v genetike. Podľa Busha by genetika mohla byť úspešnou problémovou oblasťou pre aplikáciu Shannonových poznatkov. Shannonova dizertačná práca s názvom „Algebra pre teoretickú genetiku“ bola dokončená na jar 1940 a bola venovaná problémom génovej kombinatoriky. Shannon získal doktorát z matematiky a zároveň obhájil dizertačnú prácu na tému „Symbolická analýza relé a spínacích obvodov“, pričom sa stal majstrom elektrotechniky.

Shannonova dizertačná práca nezískala veľkú podporu genetikov a z tohto dôvodu nebola nikdy publikovaná. Diplomová práca sa však ukázala ako prelomová v oblasti prepínania a digitálnej techniky. Posledná kapitola dizertačnej práce uviedla mnoho príkladov úspešnej aplikácie logického počtu vyvinutého Shannonom na analýzu a syntézu špecifických reléových a spínacích obvodov: selektorové obvody, zámok s elektrickým tajomstvom, binárne sčítačky. Všetky jasne demonštrujú vedecký prielom, ktorý dosiahol Shannon, a obrovské praktické výhody formalizmu logického počtu. Takto sa zrodila digitálna logika.

Ryža. 2. Claude Shannon v Bellových laboratóriách (polovica 40. rokov 20. storočia)

Na jar 1941 sa Claude Shannon stal zamestnancom matematického oddelenia výskumného centra Bell Laboratories (obr. 2). Pár slov treba povedať o atmosfére, v ktorej sa 25-ročný Claude Shannon ocitol – vytvorili ju Harry Nyquist, Henrik Bode, Ralph Hartley, John Tukey a ďalší zamestnanci Bell Laboratories. Všetci už mali isté výsledky vo vývoji teórie informácie, ktorú Shannon časom rozvinul na úroveň veľkej vedy.

V tom čase už v Európe prebiehala vojna a Shannon robil výskum, ktorý bol široko financovaný americkou vládou. Práca, ktorú Shannon vykonal v Bell Laboratories, sa týkala kryptografie, čo ho priviedlo k práci na matematickej teórii kryptografie a nakoniec mu umožnilo analyzovať šifrové texty pomocou informačno-teoretických metód (obrázok 3).

V roku 1945 Shannon dokončil veľkú tajnú vedeckú správu na tému „Komunikačná teória tajných systémov“.

Ryža. 3. Na šifrovacom stroji

V tom čase už bol Claude Shannon blízko k tomu, aby hovoril s vedeckou komunitou o nových základných pojmoch v teórii informácie. A v roku 1948 vydal svoje prelomové dielo „Matematická teória komunikácií“. Shannonova matematická teória komunikácie predpokladala trojzložkovú štruktúru zloženú zo zdroja informácií, prijímača informácií a „dopravného média“ – komunikačného kanála charakterizovaného priepustnosťou a schopnosťou skresľovať informácie počas prenosu. Vznikol určitý okruh problémov: ako kvantifikovať informácie, ako ich efektívne zabaliť, ako odhadnúť prípustnú rýchlosť výstupu informácií zo zdroja do komunikačného kanála s pevnou šírkou pásma, aby sa zaručil bezchybný prenos informácií a , konečne, ako vyriešiť posledný problém v prítomnosti rušenia v kanálových spojeniach? Claude Shannon dal ľudstvu komplexné odpovede na všetky tieto otázky svojimi teorémami.

Treba povedať, že jeho kolegovia v „obchode“ pomáhali Shannonovi s terminológiou. Teda termín pre minimálnu jednotku množstva informácie – „bit“ – navrhol John Tukey a termín pre odhad priemerného množstva informácie na symbol zdroja – „entropia“ – John von Neumann. Claude Shannon predstavil svoje kľúčové dielo vo forme dvadsiatich troch teorémov. Nie všetky vety sú ekvivalentné, niektoré majú pomocný charakter alebo sa venujú špeciálnym prípadom teórie informácie a jej prenosu diskrétnymi a spojitými komunikačnými kanálmi, ale šesť viet je konceptuálnych a tvoria rámec budovania teórie informácie vytvorenej tzv. Claude Shannon.

  1. Prvá z týchto šiestich teorémov súvisí s kvantitatívnym hodnotením informácie generovanej zdrojom informácií v rámci stochastického prístupu založeného na miere vo forme entropie označujúcej jej vlastnosti.
  2. Druhá veta je venovaná problému racionálneho balenia symbolov generovaných zdrojom počas ich primárneho kódovania. Vznikol efektívny postup kódovania a potreba zaviesť „zdrojový kódovač“ do štruktúry systému prenosu informácií.
  3. Tretia veta sa týka problému zosúladenia toku informácií z informačného zdroja s kapacitou komunikačného kanála pri absencii rušenia, čo zaručuje absenciu skreslenia informácie počas prenosu.
  4. Štvrtá veta rieši rovnaký problém ako predchádzajúca, ale za prítomnosti rušenia v binárnom komunikačnom kanáli, ktorého účinky na prenášanú kódovú správu prispievajú k pravdepodobnosti skreslenia ľubovoľného kódového bitu. Veta obsahuje podmienku spomalenia prenosu, ktorá zaručuje danú pravdepodobnosť bezchybného doručenia kódovej správy príjemcovi. Táto veta je metodologickým základom protihlukového kódovania, čo viedlo k potrebe zaviesť „kanálový kodér“ do štruktúry prenosového systému.
  5. Piata veta je venovaná odhadu kapacity spojitého komunikačného kanála, charakterizovaného určitou frekvenčnou šírkou pásma a danými výkonmi užitočného signálu a rušivého signálu v komunikačnom kanáli. Veta definuje takzvanú Shannonovu limitu.
  6. Posledná z viet, nazývaná Nyquist-Shannon-Kotelnikovova veta, je venovaná problému bezchybnej rekonštrukcie spojitého signálu z jeho časovo diskrétnych vzoriek, čo nám umožňuje formulovať požiadavku na hodnotu diskrétneho času. interval, určený šírkou frekvenčného spektra spojitého signálu a na vytvorenie základných funkcií nazývaných referenčné funkcie .

Malo by sa povedať, že spočiatku mnohí matematici na celom svete pochybovali o dôkazovej základni týchto teorémov. Postupom času sa však vedecká komunita presvedčila o správnosti všetkých postulátov a našla pre ne matematické potvrdenie. V našej krajine A.Ya Khinchin venoval svoje úsilie tejto záležitosti. a Kolmogorov A.N. .

V roku 1956 slávny Claude Shannon opustil Bell Laboratories bez toho, aby s nimi prerušil vzťahy, a stal sa riadnym profesorom na dvoch fakultách Massachusettského technologického inštitútu: matematickej a elektrotechnickej.

Ryža. 4. Shannonov labyrint

Claude Shannon mal vždy veľa záujmov, ktoré úplne nesúviseli s jeho profesionálnymi aktivitami. Shannonov vynikajúci inžiniersky talent sa prejavil pri vytváraní všetkých druhov strojov a mechanizmov, vrátane mechanickej myši Theseus, ktorá rieši problém s labyrintom (obr. 4), počítača s operáciami s rímskymi číslicami, ako aj počítačov a programov na hranie šach.

V roku 1966, vo veku 50 rokov, Claude Shannon odišiel z učiteľstva a takmer výlučne sa venoval svojim koníčkom. Vytvorí jednokolku s dvoma sedlami, skladací nôž so sto čepeľami, robotov, ktorí riešia Rubikovu kocku, a robota, ktorý žongluje s loptičkami. Okrem toho samotný Shannon pokračuje v zdokonaľovaní svojich žonglérskych schopností, čím sa počet lôpt zvýšil na štyri (obr. 5). Svedkovia z jeho mladosti v Bellových laboratóriách spomínali, ako sa po chodbách firmy preháňal na jednokolke a žongloval s loptičkami.

Ryža. 5. Claude Shannon - žonglér

Bohužiaľ, Claude Shannon nemal úzke kontakty so sovietskymi vedcami. Napriek tomu sa mu podarilo v roku 1965 navštíviť ZSSR na pozvanie Vedeckej a technickej spoločnosti rádiotechniky, elektroniky a komunikácií (NTORES) pomenovanej po A.S. Popova. Jedným z iniciátorov tejto pozvánky bol niekoľkonásobný majster sveta v šachu Michail Botvinnik, doktor technických vied, profesor, ktorý bol tiež elektroinžinier a zaujímal sa o programovanie šachu. Medzi Michailom Botvinnikom a Claudom Shannonom prebehla živá diskusia o problémoch informatizácie šachového umenia. Účastníci prišli na to, že je to programátorsky veľmi zaujímavé a pre šach neperspektívne. Po diskusii Shannon požiadal Botvinnika, aby si s ním zahral šach a počas partie mal dokonca miernu prevahu (veža na jazdca a pešiaka), no aj tak prehral na 42. ťah.

Počas posledných rokov svojho života bol Claude Shannon vážne chorý. Zomrel vo februári 2001 v opatrovateľskom dome v Massachusetts na Alzheimerovu chorobu vo veku 85 rokov.

Claude Shannon zanechal bohaté aplikované a filozofické dedičstvo. Vytvoril všeobecnú teóriu zariadení diskrétnej automatizácie a počítačovej techniky, technológiu na efektívne využitie možností kanálového média. Všetky moderné archivátory používané v počítačovom svete sa spoliehajú na Shannonovu efektívnu vetu o kódovaní. Základ jeho filozofického dedičstva tvoria dve myšlienky. Po prvé: cieľom každého manažmentu by malo byť zníženie entropie ako miery neistoty a neporiadku v systémovom prostredí. Manažment, ktorý tento problém nerieši, je nadbytočný, teda nepotrebný. Druhým je, že všetko na tomto svete je v určitom zmysle „komunikačný kanál“. Komunikačným kanálom je človek, tím, celé funkčné prostredie, priemysel, dopravná štruktúra a krajina ako celok. A ak nekoordinujete technické, informačné, humanitárne, vládne riešenia s kapacitou kanálového prostredia, pre ktoré sú určené, potom nečakajte dobré výsledky.

V kontakte s

Literatúra

  1. Shannon C. E. Matematická teória komunikácie. Bell Systems Technical Journal. júla a októbra. 1948 // Claude Elwood Shannon. Zhromaždené papiere. N.Y., 1993. P. 8-111.
  2. Shannon C. E. Komunikácia v prítomnosti hluku. Proc.IRE. 1949. V. 37. Číslo 10.
  3. Shannon C. E. Komunikačná teória tajných systémov. Bell Systems Technical Journal. júla a októbra. 1948 // Claude Elwood Shannon. Zhromaždené papiere. N.Y., 1993. P. 112-195.
  4. Automatické stroje. Zbierka článkov vyd. K. E. Shannon, J. McCarthy / Trans. z angličtiny M.: Od-in. lit. 1956.
  5. Robert M. Fano Prenos informácií: Štatistická teória komunikácie. Spoločne vydali M.I.T., PRESS a JOHN WILEY & SONS, INC. New York, Londýn. 1961.
  6. www. research.att. com/~njas/doc/ces5.html.
  7. Kolmogorov A. N. Predslov // Práce z teórie informácie a kybernetiky / K. Shannon; pruhu z angličtiny pod. vyd. R.L. Dobrushina a O.B. Lupánová; predslov A. N. Kolmogorov. M., 1963.
  8. Levin V.I.K.E. Shannon a moderná veda // Bulletin TSTU. 2008. Ročník 14. Číslo 3.
  9. Viner N. Ya. – matematik / Prekl. z angličtiny M.: Veda. 1964.
  10. Khinchin A. Ya O hlavných teorémoch teórie informácie. UMN 11:1 (67) 1956.
  11. Kolmogorov A. N. Teória prenosu informácií. // Zasadnutie Akadémie vied ZSSR o vedeckých problémoch automatizácie výroby. 15. – 20. 10. 1956 Plenárne zasadnutie. M.: Vydavateľstvo Akadémie vied ZSSR, 1957.
  12. Kolmogorov A. N. Teória informácie a teória algoritmov. M.: Nauka, 1987.