仙農(nóng)
張奠宙
(華東師范大學)
仙農(nóng)，C．E．(Shannon， Claude Elwood)1916年4月30日生于美國密歇根州蓋洛德(Gaylord)．數(shù)學、信息論．
1916年4月30日，仙農(nóng)出生于美國密歇根州的蓋洛德，他于1932年入密歇根大學就讀，1936年畢業(yè)后去麻省理工學院任電機工程和數(shù)學助教．1939年獲得麻省理工學院的波勒斯研究席位(Boweles Fellow)，全力從事中繼和轉換網(wǎng)絡理論的研究．一年后，以優(yōu)異的研究成果在該院取得電機工程技術碩士和數(shù)學博士學位．1940—1941年間，由美國國家研究委員會資助去普林斯頓大學從事研究工作．此后即以數(shù)學家身分加入貝爾電話實驗室．仙農(nóng)的主要科學工作都是在這里完成的．1956年回到麻省理工學院任訪問教授，但仍兼任貝爾電話實驗室的顧問直至1972年．從1958年起，仙農(nóng)就任麻省理工學院的冬納(Donner)科學教授．1980年退休．
仙農(nóng)有許多學術榮譽．1956年當選為美國國家科學院院士，以及美國藝術和科學學院的院士．他曾獲得佛蘭克林研究所的巴蘭亭獎章(Ballantine Medal，1955)，美國工業(yè)電子工程協(xié)會頒發(fā)的凱萊獎(Mervin J．Kelly Award，1955)，美國全國科學研究合作獎 (National Research Corporation Award，1956)，萊伯曼紀念獎(Morris Leibmann Memory Award，1958)，美國電機和電子工程協(xié)會的榮譽獎章(Medal of Honor，IEEE，1966)，美國技術協(xié)會的哈維獎(Harvey Prize)，仙農(nóng)被選為比利時皇家科學院和荷蘭皇家藝術科學學院的院士．他還是牛津大學等許多高等學府的榮譽博士．
仙農(nóng)早在30年代末就作出了重要的工作．1938年他還是研究生，就發(fā)表了經(jīng)典性論文“中繼與開關電路的符號分析”(Sym-bolic analysis of relay and switching circuits)，在該文中他指出了符號邏輯的真值表和電路的0，1二進位制運算表是一致的，以及如何按布爾代數(shù)的命題，用開關電路構造一個與之相應的“邏輯機”．后來的“邏輯代數(shù)”、“開關代數(shù)”、“布爾代數(shù)與自動機”等研究，都可溯源于這項工作．有關的工作后來都反映在他和J．麥克卡賽(McCarthy)合編的文集(文獻)中．大約也是在這時，仙農(nóng)造了一個新名詞“比特(bit)”，后來被人們廣泛地用作度量“信息”的單位．
仙農(nóng)的主要貢獻是創(chuàng)立了經(jīng)典信息論．他在貝爾電話實驗室從數(shù)學上和技術上研究“通信”、“信息”、“消息”等概念，其頂點則是1948年在《貝爾系統(tǒng)技術雜志》上發(fā)表“通信的數(shù)學理論”．這篇分兩期刊出、長達80余頁的文章成了信息論的開端．論文很難讀．1949年，由W．韋佛(Weaver)注釋后出版了單行本．
信息論在1984年取得成功并不是偶然的．這時，數(shù)學上的概率論、數(shù)理統(tǒng)計、數(shù)理邏輯、運籌學，工程上的通信技術、電子技術、自動控制技術等都在逐漸成熟．計算機出現(xiàn)了，統(tǒng)計力學、量子力學、生物學提供了重要的科學方法．仙農(nóng)正是站在前人的肩膀上看到了曙光．
仙農(nóng)首先采用嚴密的數(shù)學方法，對信源、信息、信息量、信道、編碼、解碼、傳輸、接收、濾波等一系列基本概念，進行嚴格的數(shù)學描述和定量度量，使得信息研究由粗糙的定性分析階段進入精密的定量階段，并因此而發(fā)展成一門真正的科學學科．
對莫爾斯電報編碼的研究將會導致用概率觀念考察信息．比如，在英文電報中，“字母E的出現(xiàn)概率比Q大得多，序列TH出現(xiàn)的概率比XP大得多．”由此仙農(nóng)進一步注意到：“通信的基本問題是在消息的接收端精確地或近似地復現(xiàn)發(fā)送端所挑選的消息．通常的消息是有意義的，……而通信的語義方面問題和工程問題是沒有關系的．”“重要的是，一個實際信息總是從可能消息的集合中選擇出來的．”這就是說，仙農(nóng)認識到兩個要點：(1)通訊工程與語義無關；(2)通信系統(tǒng)所處理的信息本質上是隨機的．于是他想到“信息是可用來消除不肯定的東西”，并嘗試采用概率方法給信息量下精確定義．設信息源有n個不同的符號。x1，x2…xn，它們出現(xiàn)的概率分別為p1(x1)，p2(x2)…pn(xn)．仙農(nóng)引入信息熵的概念：
其中K是某一常數(shù)，它表示信息源的某種不確定程度，成為信息量的一種量度．信息熵借用了19世紀熱力學第二定律中熱力熵的想法．這里，仙農(nóng)不把信息看作有意義的消息，而是當作信息源中各元素符號組合成消息時的自由度，即各元素符號相繼出現(xiàn)的不肯定程度．顯然，自由度越大，信息量也越大．比如，如果a的后面只能出現(xiàn)b，沒有自由選擇的機會，那么消息a和ab的信息量是一樣的．所以，用不肯定度(或自由度，或混亂程度)來刻畫信息量，是很自然的事．正是這一革命性的思想，成了經(jīng)典信息論的基石．信息量的定義中的對數(shù)若以2為底，其單位被仙農(nóng)稱為比特，而當取10或e為底時，相應的單位稱為迪西特(decit)與奈特(nat)．
仙農(nóng)用隨機觀念考察通信理論，確實是一項重大的突破．20世紀初蓬勃發(fā)展的概率論和數(shù)理統(tǒng)計為信息論提供了合適的數(shù)學工具．他指出：“離散信源是一個一個符號地產(chǎn)生消息的．相繼符號的選擇是根據(jù)某些概率，而通常這些概率取決于前面符號的選擇及待選的符號．任何一個能產(chǎn)生由一組概率控制的符號序列的物理系統(tǒng)，或物理系統(tǒng)的數(shù)學模型都可稱為隨機過程．”這樣一來，平穩(wěn)隨機過程、統(tǒng)計相關理論等數(shù)學成果迅速轉移到通信過程的研究領域中來．仙農(nóng)描述的通信系統(tǒng)是：
信源：由一個消息符號表X和X上的概率分布p(x)表示．
編碼：把信源消息變?yōu)榭上蛐诺垒斎氲男盘柕倪\算．數(shù)學上指函數(shù)fn：Xn→Un。
信道：由輸入(拍發(fā))信號集合U，輸出(接收)信號集合V，轉移概率分布矩陣p(u v)構成．其中p(u v)為拍發(fā)u條件下接收為v的概率．
譯碼：把信道接收信號還原為信源消息的運算，即gn：Vn→Xn。
仙農(nóng)對信息論的又一貢獻，是對信道最大容量的描述和研究．信道容量是指每秒在信道中可通過C個單位．今有每秒輸出H個單位的信源，他提出的一個結論是：在沒有噪聲干擾的情況下，符號傳輸?shù)钠骄俾视幸粋€上限C/H，它可以逼近，但不能超越．為了將這一定理推廣到具有噪聲干擾的實際情形，仙農(nóng)將兩種不肯定性加以區(qū)別．一種是由誤發(fā)和噪聲干擾產(chǎn)生的“不需要的”不肯定性，另一種是信源本身所具有的“需要的”不肯定性．于是，有用的信息應為信源的不肯定性減去噪聲帶來的模糊性．仙農(nóng)指出：當C＞H時，傳輸誤差可以變得很??；而當C小于H時，誤差就難以控制了．因此，“不需要的”不肯定性必須大于或等于H－C．最后，至少有一種編碼能降低噪聲引起的模糊程度，使之非常接近H－C．仙農(nóng)給出了這一重要定理的嚴格表述：
信息論基本定理．已知一個具有容量C＞0的平穩(wěn)無記憶通道，以及取自一個遍歷信源的任意信號(數(shù)據(jù))，則對任一ε＞0和正數(shù)R(0＜R＜C)，必存在充分長的編碼信號(a1，a2…an)，它以傳輸速率R傳遞數(shù)據(jù)，同時譯碼錯誤的概率小于ε．
仙農(nóng)的信息論研究先處理離散的隨機變量，而后很容易地推廣到連續(xù)的情形，幾乎無需作重大修改．
仙農(nóng)在1948年發(fā)表的原始論文，并未期望對通信系統(tǒng)會有廣泛的工程技術應用．然而人們很快就意識到仙農(nóng)所提供的工具對實際通信十分有效．例如，通信中常有一些信息是多余的．我們在打電報時，總是努力壓縮字數(shù)以減少多余．但是仙農(nóng)指出，信息的多余往往是有用的，消滅多余倒未必有利．英語中的多余度約為百分之五十．例如，一條消息“To err is human”(人孰無過)經(jīng)傳輸后接收為“Too err is fuman”，一般有些知識的人都能讀懂，可是如果拍發(fā)“Yanks beat reds”而接收成“Yanks beat rebs”，雖然只錯一個字母(d變成b)，意思卻沒法猜了．這是因為兩條消息的多余度不同．
仙農(nóng)在1948年發(fā)表的原始論文，“猶如一顆重磅炸彈起爆，震憾了科學界”．全新的思想，獨創(chuàng)的方法，一時成為人們爭相仿效的典范．它不僅在理論上十分精致和漂亮，而且為許多工程技術問題的解決提供了新工具，帶來了新的希望，具有很高的實用價值．然而，也有一些情況不大正常．1956年，仙農(nóng)曾這樣說：“近幾年來，信息論簡直成了最時髦的學科．它本來只是通信工程師所采用的一種技術手段，但現(xiàn)今竟然在普通雜志和科學刊物上都會占有重要地位．……它已名過其實．許多不同學科的同事們，或因慕其名，或希望尋求科學分析的新途徑，都把新興理論引入各自的領域．總之，現(xiàn)在信息論已經(jīng)名聲在外．這種聲譽固然使我們本學科的人感到愉快和興奮，但也孕育著一種危險……信息論決不是通信工作的萬靈藥方，而對其他人則更是如此．要知道，一次就能打開全部自然奧秘的事情，是十分罕見的．否則，人們一旦知道僅僅用幾個像信息、熵、多余度這樣一些動人字眼并不能解決全部問題的時候，就會大失所望．那種人為的繁榮就會在一夜之間突然崩潰．”
仙農(nóng)的忠告在50年代后半期受到重視，使信息論的發(fā)展走上更健康的軌道．過去的幾十年，現(xiàn)代的信息技術在仙農(nóng)的基礎上迅猛發(fā)展，諸如信號的數(shù)學化、微波技術、衛(wèi)星通信都成為巨大的產(chǎn)業(yè)．由于電子計算機的長足發(fā)展和迅速普及，信息科學正向醫(yī)學、生物學、遺傳工程、語言學、心理學、管理科學、經(jīng)濟學等幾乎所有的社會科學和自然科學的各個學科滲透、溶合，甚至滲入到人們的日常生活之中，這種情形，在數(shù)學史乃至整個科學史上都是十分罕見的．
仙農(nóng)在40—50年代達到科學事業(yè)的高峰，以后仍繼續(xù)有科學成果發(fā)表，也有一些較重要工作．例如，1959年的論文提出了保真度準則下的離散信源編碼定理，以后發(fā)展成“信息率失真論”，成為頻帶壓縮和數(shù)據(jù)壓縮的理論基礎．1967年還看到他和別人合作發(fā)表文章．此后他漸漸退出歷史舞臺．1980年退休之后，住在波士頓安度晚年．
本站僅提供存儲服務，所有內容均由用戶發(fā)布，如發(fā)現(xiàn)有害或侵權內容，請
點擊舉報。
