Claude Shannon และเขามีชื่อเสียงในเรื่องอะไร? สั้น ๆ ทฤษฎีสารสนเทศเค

การส่งผลงานที่ดีของคุณไปยังฐานความรู้เป็นเรื่องง่าย ใช้แบบฟอร์มด้านล่าง

นักศึกษา นักศึกษาระดับบัณฑิตศึกษา นักวิทยาศาสตร์รุ่นเยาว์ ที่ใช้ฐานความรู้ในการศึกษาและการทำงาน จะรู้สึกขอบคุณเป็นอย่างยิ่ง

โพสต์บน http://www.allbest.ru/

กระทรวงศึกษาธิการและวิทยาศาสตร์แห่งสหพันธรัฐรัสเซีย

หน่วยงานกลางเพื่อการศึกษา

สถาบันการศึกษาของรัฐด้านการศึกษาวิชาชีพระดับสูง Syktyvkar State University

คณะการจัดการ

ทฤษฎีสารสนเทศของคล็อด แชนนอน

หัวหน้า: Bolotov S.P.

นักแสดง: Paneva Y.V.

411กลุ่ม

ซิกตึฟการ์ 2010

การแนะนำ

ทฤษฎีสารสนเทศ

บทสรุป

อ้างอิง

การแนะนำ

Claude Ellwood Shannon (1916 - 2001) - วิศวกรและนักคณิตศาสตร์ชาวอเมริกัน บุคคลที่ได้รับการขนานนามว่าเป็นบิดาแห่งทฤษฎีสารสนเทศและการสื่อสารสมัยใหม่

ในวันฤดูใบไม้ร่วงปี 1989 นักข่าวนิตยสาร Scientific American เดินเข้าไปในบ้านหลังเก่าที่มองเห็นทะเลสาบทางตอนเหนือของบอสตัน แต่เจ้าของที่พบเขา ชายชราร่างเรียว วัย 73 ปี แผงคอสีเทาเขียวชอุ่ม และรอยยิ้มซุกซน ไม่อยากจำ “เรื่องราวในอดีต” เลย และหารือเกี่ยวกับการค้นพบทางวิทยาศาสตร์เมื่อ 30-50 ปีของเขา ที่ผ่านมา. บางทีแขกอาจจะชอบดูของเล่นของเขามากกว่า?

โดยไม่รอคำตอบและไม่ฟังคำตักเตือนของภรรยาของเขา เบ็ตตี เจ้าของพานักข่าวที่ประหลาดใจเข้าไปในห้องถัดไป ซึ่งเขาอวดสมบัติของเขาด้วยความภาคภูมิใจของเด็กชายวัย 10 ขวบ: เครื่องหมากรุกเจ็ดเครื่อง เสาละครสัตว์พร้อมสปริงและเครื่องยนต์เบนซิน มีดพับพร้อมใบมีดร้อยใบ จักรยานสองที่นั่ง หุ่นจำลอง และคอมพิวเตอร์คำนวณด้วยระบบเลขโรมัน และไม่สำคัญว่าผลงานหลายชิ้นของเจ้าของเหล่านี้พังทลายไปนานแล้วและมีฝุ่นมาก เขามีความสุข ชายชราคนนี้คือใคร? เขาเป็นจริงหรือเปล่าในขณะที่ยังเป็นวิศวกรหนุ่มที่ Bell Laboratories ผู้เขียน "Magna Carta" ของยุคข้อมูลข่าวสาร - "The Mathematical Theory of Communications" ในปี 1948? งานของเขาถูกเรียกว่า "งานที่ยิ่งใหญ่ที่สุดในบันทึกความคิดทางเทคนิค" หรือไม่? สัญชาตญาณในการบุกเบิกของเขาเปรียบเทียบกับอัจฉริยะของไอน์สไตน์หรือไม่? ใช่ มันเป็นเรื่องของเขา และในยุค 40 เดียวกัน เขาได้ออกแบบจานบินบนเครื่องยนต์จรวด และขี่จักรยานล้อเดียวขณะเล่นปาหี่ไปตามทางเดินของ Bell Labs นี่คือ Claude Ellwood Shannon บิดาแห่งทฤษฎีไซเบอร์เนติกส์และสารสนเทศ ผู้ซึ่งประกาศอย่างภาคภูมิใจว่า “ฉันติดตามผลประโยชน์ของตัวเองมาโดยตลอดโดยไม่คิดว่าสิ่งเหล่านั้นจะทำให้ฉันเสียค่าใช้จ่ายหรือคุณค่าต่อโลกไปมากเพียงใด สิ่งไร้ประโยชน์”

ทฤษฎีสารสนเทศ

ในปี 1941 Claude Shannon วัย 25 ปีไปทำงานที่ Bell Laboratories ในช่วงสงคราม เขาได้พัฒนาระบบการเข้ารหัส และสิ่งนี้ช่วยให้เขาค้นพบวิธีการเขียนโค้ดที่แก้ไขข้อผิดพลาดในเวลาต่อมา และในเวลาว่างเขาเริ่มพัฒนาแนวคิดซึ่งต่อมาส่งผลให้เกิดทฤษฎีสารสนเทศ เป้าหมายดั้งเดิมของแชนนอนคือการปรับปรุงการส่งข้อมูลผ่านช่องทางโทรเลขหรือโทรศัพท์ที่ได้รับผลกระทบจากสัญญาณรบกวนทางไฟฟ้า เขาสรุปอย่างรวดเร็วว่าวิธีแก้ปัญหาที่ดีที่สุดคือการจัดแพ็คเกจข้อมูลให้มีประสิทธิภาพมากขึ้น

แต่ข้อมูลคืออะไร? จะวัดปริมาณได้อย่างไร? แชนนอนต้องตอบคำถามเหล่านี้ก่อนที่เขาจะเริ่มค้นคว้าเกี่ยวกับความจุของช่องทางการสื่อสารเสียอีก ในงานของเขาระหว่างปี 1948-49 เขาได้กำหนดปริมาณของข้อมูลผ่านเอนโทรปี ซึ่งเป็นปริมาณที่รู้จักในอุณหพลศาสตร์และฟิสิกส์เชิงสถิติเพื่อใช้วัดความผิดปกติของระบบ และในฐานะหน่วยของข้อมูล เขาได้นำสิ่งที่ต่อมาเรียกว่า "บิต" ” นั่นคือ การเลือกหนึ่งในสองตัวเลือกที่น่าจะเป็นไปได้เท่ากัน แชนนอนชอบพูดว่าในเวลาต่อมาเขาได้รับคำแนะนำให้ใช้เอนโทรปีโดยนักคณิตศาสตร์ชื่อดัง จอห์น ฟอน นอยมันน์ ผู้ซึ่งกระตุ้นคำแนะนำของเขาโดยข้อเท็จจริงที่ว่านักคณิตศาสตร์และวิศวกรเพียงไม่กี่คนรู้เกี่ยวกับเอนโทรปี และสิ่งนี้จะทำให้แชนนอนได้เปรียบอย่างมากในข้อพิพาทที่หลีกเลี่ยงไม่ได้ ไม่ว่าจะเป็นเรื่องตลกหรือไม่ก็ตาม มันยากแค่ไหนสำหรับเราในตอนนี้ที่จะจินตนาการว่าเมื่อครึ่งศตวรรษก่อน แนวคิดเรื่อง "ปริมาณข้อมูล" ยังคงต้องการคำจำกัดความที่เข้มงวด และคำจำกัดความนี้อาจทำให้เกิดความขัดแย้งได้

บนรากฐานที่มั่นคงของคำจำกัดความของเขาเกี่ยวกับปริมาณข้อมูล Claude Shannon ได้พิสูจน์ทฤษฎีบทที่น่าทึ่งเกี่ยวกับความสามารถของช่องทางการสื่อสารที่มีเสียงดัง ทฤษฎีบทนี้ได้รับการตีพิมพ์อย่างครบถ้วนในผลงานของเขาในปี 1957-61 และปัจจุบันเป็นชื่อของเขา สาระสำคัญของทฤษฎีบทของแชนนอนคืออะไร? ทุกช่องทางการสื่อสารที่มีเสียงดังจะมีอัตราการส่งข้อมูลสูงสุด เรียกว่าขีดจำกัดแชนนอน ที่ความเร็วการส่งข้อมูลสูงกว่าขีดจำกัดนี้ ข้อผิดพลาดในข้อมูลที่ส่งเป็นสิ่งที่หลีกเลี่ยงไม่ได้ แต่จากต่ำกว่าขีดจำกัดนี้ คุณสามารถเข้าใกล้ได้มากเท่าที่ต้องการ โดยให้การเข้ารหัสข้อมูลที่เหมาะสม ความน่าจะเป็นที่จะเกิดข้อผิดพลาดเล็กน้อยสำหรับช่องสัญญาณรบกวนใดๆ

แนวคิดเหล่านี้ของแชนนอนกลับกลายเป็นว่ามีวิสัยทัศน์มากเกินไป และไม่สามารถนำไปประยุกต์ใช้ในยุคของอุปกรณ์อิเล็กทรอนิกส์ที่ใช้หลอดช้าได้ แต่ในยุคไมโครวงจรความเร็วสูงของเรา มันทำงานได้ทุกที่ที่มีการจัดเก็บ ประมวลผล และส่งข้อมูล: ในคอมพิวเตอร์และดิสก์เลเซอร์ ในเครื่องแฟกซ์ และสถานีระหว่างดาวเคราะห์ เราไม่ได้สังเกตทฤษฎีบทของแชนนอนเหมือนกับที่เราไม่ได้สังเกตอากาศ

ทฤษฎีข้อมูลขึ้นอยู่กับวิธีการที่เสนอโดย K. Shannon ในการคำนวณปริมาณข้อมูลใหม่ (คาดเดาไม่ได้) และข้อมูลซ้ำซ้อน (คาดเดาได้) ที่มีอยู่ในข้อความที่ส่งผ่านช่องทางการสื่อสารทางเทคนิค

วิธีที่แชนนอนเสนอในการวัดปริมาณข้อมูลกลายเป็นวิธีการสากลจนการใช้งานไม่ได้จำกัดอยู่เพียงกรอบแคบของแอปพลิเคชันทางเทคนิคล้วนๆ อีกต่อไป

ตรงกันข้ามกับความคิดเห็นของเค. แชนนอนเองที่เตือนนักวิทยาศาสตร์ไม่ให้ขยายวิธีการที่เขาเสนออย่างเร่งรีบเกินขอบเขตของปัญหาประยุกต์ของเทคโนโลยีการสื่อสาร วิธีนี้เริ่มพบการประยุกต์ใช้ในการวิจัยระบบทางกายภาพ ชีวภาพ และสังคมเพิ่มมากขึ้น

กุญแจสำคัญในการทำความเข้าใจใหม่เกี่ยวกับสาระสำคัญของปรากฏการณ์ข้อมูลและกลไกของกระบวนการข้อมูลคือความสัมพันธ์ระหว่างข้อมูลกับเอนโทรปีทางกายภาพที่ก่อตั้งโดย L. Brillouin ความสัมพันธ์นี้เดิมทีวางอยู่ในรากฐานของทฤษฎีสารสนเทศ เนื่องจากในการคำนวณปริมาณข้อมูลที่แชนนอนเสนอโดยใช้ฟังก์ชันเอนโทรปีที่เป็นไปได้ที่ยืมมาจากอุณหพลศาสตร์ทางสถิติ

นักวิทยาศาสตร์หลายคน (เริ่มด้วยตัวเค. แชนนอนเอง) มักจะถือว่าการยืมดังกล่าวเป็นเทคนิคที่เป็นทางการล้วนๆ L. Brillouin แสดงให้เห็นว่าไม่มีความเชื่อมโยงที่เป็นทางการ แต่มีความหมายระหว่างปริมาณข้อมูลและเอนโทรปีทางกายภาพที่คำนวณตาม Shannon

ในฟิสิกส์เชิงสถิติ การใช้ฟังก์ชันเอนโทรปีความน่าจะเป็น เป็นการศึกษากระบวนการที่นำไปสู่สมดุลทางอุณหพลศาสตร์ ซึ่งสถานะของโมเลกุลทั้งหมด (พลังงาน ความเร็ว) มีความเป็นไปได้เท่ากัน และเอนโทรปีมีแนวโน้มที่จะมีค่าสูงสุด

ต้องขอบคุณทฤษฎีสารสนเทศ เห็นได้ชัดว่าการใช้ฟังก์ชันเดียวกันสามารถศึกษาระบบที่อยู่ห่างไกลจากสภาวะเอนโทรปีสูงสุด เช่น ข้อความที่เป็นลายลักษณ์อักษร

ข้อสรุปที่สำคัญอีกประการหนึ่งก็คือ ด้วยความช่วยเหลือของฟังก์ชันเอนโทรปีความน่าจะเป็น ทำให้สามารถวิเคราะห์ทุกขั้นตอนของการเปลี่ยนแปลงของระบบจากสถานะของความสับสนวุ่นวายโดยสมบูรณ์ ซึ่งสอดคล้องกับความน่าจะเป็นที่เท่ากันและค่าสูงสุดของเอนโทรปีไปจนถึงสภาวะสุดขั้ว ลำดับ (การกำหนดที่เข้มงวด) ซึ่งสอดคล้องกับสถานะที่เป็นไปได้ขององค์ประกอบเท่านั้น

ข้อสรุปนี้ปรากฏว่าใช้ได้พอๆ กันสำหรับระบบที่ไม่เหมือนกันในธรรมชาติ เช่น ก๊าซ ผลึก ข้อความที่เป็นลายลักษณ์อักษร สิ่งมีชีวิตหรือชุมชนทางชีวภาพ เป็นต้น

ยิ่งไปกว่านั้น หากสำหรับก๊าซหรือคริสตัลเมื่อคำนวณเอนโทรปี จะมีการเปรียบเทียบเฉพาะไมโครสเตต (เช่น สถานะของอะตอมและโมเลกุล) และมาโครสเตตของระบบเหล่านี้ (เช่น ก๊าซหรือคริสตัลโดยรวม) เท่านั้น ดังนั้นสำหรับระบบของ ธรรมชาติที่แตกต่างกัน (ทางชีวภาพ สติปัญญา สังคม) สามารถคำนวณเอนโทรปีได้ในระดับหนึ่งหรืออีกระดับหนึ่งที่เลือกโดยพลการ ในกรณีนี้ ค่าที่คำนวณได้ของเอนโทรปีของระบบที่อยู่ระหว่างการพิจารณา และจำนวนข้อมูลที่แสดงถึงระดับของลำดับของระบบนี้ และเท่ากับความแตกต่างระหว่างค่าสูงสุดและมูลค่าที่แท้จริงของเอนโทรปีจะขึ้นอยู่กับการกระจายความน่าจะเป็นของสถานะ ขององค์ประกอบของระดับพื้นฐาน ได้แก่ องค์ประกอบเหล่านั้นที่รวมกันเป็นระบบเหล่านี้

ปริมาณข้อมูลที่จัดเก็บไว้ในโครงสร้างของระบบเป็นสัดส่วนกับระดับความเบี่ยงเบนของระบบจากสภาวะสมดุล เนื่องจากลำดับที่เก็บรักษาไว้ในโครงสร้างของระบบ

แชนนอนติดอาวุธวิทยาศาสตร์ด้วยมาตรการสากลที่เหมาะสมโดยหลักการ (ขึ้นอยู่กับการระบุค่าของความน่าจะเป็นทั้งหมด) เพื่อประเมินระดับลำดับของระบบทั้งหมดที่มีอยู่ในโลกโดยไม่สงสัย

เมื่อกำหนดการวัดข้อมูลที่ Chenon นำมาใช้เพื่อเป็นการวัดความเป็นระเบียบเรียบร้อยของการเคลื่อนไหว จึงเป็นไปได้ที่จะสร้างความสัมพันธ์ระหว่างข้อมูลกับพลังงาน โดยพิจารณาว่าพลังงานเป็นการวัดความเข้มข้นของการเคลื่อนไหว ในกรณีนี้ จำนวนข้อมูลที่จัดเก็บไว้ในโครงสร้างของระบบจะเป็นสัดส่วนกับพลังงานทั้งหมดของการเชื่อมต่อภายในของระบบเหล่านี้

พร้อมกับการระบุคุณสมบัติทั่วไปของข้อมูลเป็นปรากฏการณ์ นอกจากนี้ยังค้นพบความแตกต่างพื้นฐานที่เกี่ยวข้องกับระดับความซับซ้อนของระบบข้อมูลที่แตกต่างกัน

ตัวอย่างเช่น วัตถุทางกายภาพทั้งหมด ต่างจากวัตถุทางชีวภาพ ไม่มีอวัยวะความจำพิเศษ การบันทึกสัญญาณที่มาจากโลกภายนอก หรือช่องทางการสื่อสารข้อมูล ข้อมูลที่จัดเก็บไว้ในนั้นเหมือนกับถูก "เปื้อน" ทั่วทั้งโครงสร้าง ในเวลาเดียวกัน หากคริสตัลไม่สามารถจัดเก็บข้อมูลในการเชื่อมต่อภายในที่กำหนดลำดับได้ ก็จะไม่สามารถสร้างหน่วยความจำเทียมและอุปกรณ์ทางเทคนิคตามโครงสร้างคริสตัลที่ออกแบบมาเพื่อการประมวลผลข้อมูลได้

ในเวลาเดียวกันต้องคำนึงว่าการสร้างอุปกรณ์ดังกล่าวเกิดขึ้นได้ก็ต่อเมื่อจิตใจของบุคคลที่สามารถใช้คุณสมบัติข้อมูลเบื้องต้นของคริสตัลเพื่อสร้างระบบข้อมูลที่ซับซ้อนได้

ระบบทางชีววิทยาที่ง่ายที่สุดมีมากกว่าความซับซ้อนของระบบข้อมูลที่ทันสมัยที่สุดที่มนุษย์สร้างขึ้น ในระดับของสิ่งมีชีวิตเซลล์เดียวที่ง่ายที่สุดแล้วกลไกทางพันธุกรรมที่ให้ข้อมูลที่ซับซ้อนที่สุดที่จำเป็นสำหรับการสืบพันธุ์ก็มีส่วนเกี่ยวข้อง ในสิ่งมีชีวิตหลายเซลล์ นอกเหนือจากระบบข้อมูลทางพันธุกรรมแล้ว ยังมีอวัยวะพิเศษสำหรับการจัดเก็บข้อมูลและการประมวลผล (เช่น ระบบที่ถอดรหัสสัญญาณภาพและเสียงที่มาจากโลกภายนอกก่อนส่งไปยังสมอง ระบบสำหรับการประมวลผลสัญญาณเหล่านี้ สัญญาณในสมอง) เครือข่ายการสื่อสารข้อมูลที่ซับซ้อน (ระบบประสาท) แทรกซึมและเปลี่ยนสิ่งมีชีวิตหลายเซลล์ทั้งหมดให้เป็นทั้งหมด

ในระดับของระบบชีวภาพแล้วปัญหาเกิดขึ้นเมื่อคำนึงถึงคุณค่าและความหมายของข้อมูลที่ใช้โดยระบบเหล่านี้ การบัญชีดังกล่าวมีความจำเป็นมากยิ่งขึ้นสำหรับการวิเคราะห์การทำงานของระบบสารสนเทศอัจฉริยะ

การตระหนักรู้อย่างลึกซึ้งเกี่ยวกับลักษณะเฉพาะของระบบทางชีววิทยาและทางปัญญาทำให้สามารถระบุขอบเขตที่นอกเหนือจากนั้นซึ่งแนวทางเอนโทรปีข้อมูลที่ได้รับการพัฒนาโดยวิทยาศาสตร์สมัยใหม่จะสูญเสียความสามารถไป

แชนนอนต้องกำหนดขอบเขตเหล่านี้ในระยะเริ่มต้นของการสร้างทฤษฎีสารสนเทศ เนื่องจากหากไม่มีสิ่งนี้ ก็เป็นไปไม่ได้ที่จะใช้การวัดข้อมูลเชิงปริมาณเพื่อประเมินข้อความที่เป็นลายลักษณ์อักษรและระบบข้อมูลอื่น ๆ ที่สร้างขึ้นโดยจิตใจมนุษย์ เพื่อจุดประสงค์นี้เองที่แชนนอนทำการจองว่าวิธีการคำนวณข้อมูลของข้อความที่เป็นลายลักษณ์อักษรของเขานั้นไม่สนใจคุณสมบัติโดยธรรมชาติ เช่น ความหมายและคุณค่าของข้อความที่มีอยู่ในนั้น

ตัวอย่างเช่นเมื่อคำนวณจำนวนข้อมูลที่มีอยู่ในสองข้อความเช่น "คาสปารอฟกำลังเล่นเกมถัดไปกับคนผิวขาว" และ "พลเมืองเบลอฟมีลูกชาย" จะได้รับค่าเดียวกัน - 1 บิต ไม่ต้องสงสัยเลยว่าข้อความทั้งสองนี้มีความหมายที่แตกต่างกันและห่างไกลจากคุณค่าที่เท่าเทียมกันสำหรับพลเมือง Belov อย่างไรก็ตาม ตามที่ระบุไว้ข้างต้น การประเมินความหมายและคุณค่าของข้อมูลนั้นอยู่นอกเหนือความสามารถของทฤษฎีสารสนเทศ ดังนั้นจึงไม่ส่งผลกระทบต่อจำนวนบิตที่คำนวณโดยใช้สูตรแชนนอน

การเพิกเฉยความหมายและคุณค่าของข้อมูลไม่ได้ป้องกันแชนนอนจากการแก้ปัญหาประยุกต์ตามทฤษฎีของเขาที่ตั้งใจไว้แต่แรก: วิศวกรการสื่อสารไม่จำเป็นต้องเจาะลึกสาระสำคัญของข้อความที่ส่งผ่านสายการสื่อสาร หน้าที่ของมันคือส่งข้อความดังกล่าวโดยเร็วที่สุดโดยใช้ทรัพยากรน้อยที่สุด (พลังงาน ช่วงความถี่ที่ใช้) และหากเป็นไปได้ โดยไม่สูญเสียใดๆ และให้ผู้ที่ตั้งใจให้ข้อมูลนี้ (ผู้รับข้อความ) เจาะลึกความหมาย กำหนดค่า และตัดสินใจว่าจะใช้ข้อมูลที่เขาได้รับอย่างไร

แนวทางเชิงปฏิบัติอย่างแท้จริงนี้ทำให้แชนนอนแนะนำการวัดปริมาณข้อมูลเพียงการวัดเดียว โดยไม่ขึ้นกับความหมายและคุณค่า ซึ่งกลายเป็นว่าเหมาะสำหรับการวิเคราะห์ระบบทั้งหมดที่มีลำดับระดับหนึ่งหรืออย่างอื่น

หลังจากผลงานอันทรงคุณค่าของแชนนอน รากฐานของทฤษฎีข้อมูลเชิงความหมาย (ความหมาย) และคุณค่า (เชิงปฏิบัติ และสัจวิทยา) ก็เริ่มได้รับการพัฒนา

อย่างไรก็ตาม ไม่มีทฤษฎีใดและหน่วยการวัดคุณค่าหรือความหมายที่ผู้เขียนเสนอนั้นถูกกำหนดให้ได้รับความเป็นสากลในระดับเดียวกับการวัดที่แชนนอนนำมาใช้ในวิทยาศาสตร์

ความจริงก็คือการประเมินเชิงปริมาณของความหมายและคุณค่าของข้อมูลสามารถทำได้หลังจากข้อตกลงเบื้องต้นว่าอะไรในแต่ละกรณีมีคุณค่าและความหมายของปรากฏการณ์ที่อยู่ระหว่างการพิจารณา เป็นไปไม่ได้ที่จะวัดคุณค่าของข้อมูลที่มีอยู่ในกฎของโอห์มและในการประกาศความรักโดยใช้หน่วยเดียวกัน กล่าวอีกนัยหนึ่ง เกณฑ์ของความหมายและคุณค่ามักเป็นอัตวิสัยเสมอ ดังนั้นการบังคับใช้จึงมีจำกัด ในขณะที่มาตรการที่เสนอโดยแชนนอนจะกำจัดอัตวิสัยโดยสิ้นเชิงเมื่อประเมินระดับของลำดับในโครงสร้างของระบบที่กำลังศึกษา

แล้วอะไรคือลักษณะของค่าของเอนโทรปีข้อความที่คำนวณโดยใช้สูตรของแชนนอนและแสดงด้วยจำนวนบิต มีคุณสมบัติเพียงประการเดียวของข้อความนี้ - ระดับของความเป็นระเบียบเรียบร้อยหรืออีกนัยหนึ่งคือระดับความเบี่ยงเบนจากสภาวะแห่งความโกลาหลโดยสมบูรณ์ซึ่งตัวอักษรทุกตัวจะมีความน่าจะเป็นเท่ากันและข้อความจะกลายเป็นชุดที่ไม่มีความหมาย ของตัวอักษร

ลำดับของข้อความ (หรือระบบอื่นใดที่อยู่ระหว่างการศึกษา) จะมีมากขึ้น ความแตกต่างในความน่าจะเป็นก็จะยิ่งมากขึ้น และความน่าจะเป็นของเหตุการณ์ที่ตามมาก็จะมากขึ้นตามความน่าจะเป็นของเหตุการณ์ก่อนหน้า

ตามหลักการของข้อมูล negentropy จำนวนข้อมูลที่แสดงลำดับนี้จะเท่ากับการลดลงของเอนโทรปีของระบบเมื่อเปรียบเทียบกับค่าเอนโทรปีสูงสุดที่เป็นไปได้ซึ่งสอดคล้องกับการขาดระเบียบและสถานะที่วุ่นวายที่สุดของระบบ

วิธีการคำนวณข้อมูลที่เสนอโดยแชนนอนทำให้สามารถระบุอัตราส่วนของปริมาณข้อมูลที่คาดเดาได้ (นั่นคือซึ่งสร้างขึ้นตามกฎบางประการ) และจำนวนข้อมูลที่ไม่คาดคิดซึ่งไม่สามารถคาดการณ์ล่วงหน้าได้

ด้วยวิธีนี้จึงเป็นไปได้ที่จะ "ยกเลิกการโหลด" ช่องทางที่มีไว้สำหรับส่งข้อความในระดับหนึ่งหรืออย่างอื่น การวิเคราะห์ข้อความภาษาอังกฤษของแชนนอนแสดงให้เห็นว่าข้อมูลที่ซ้ำซ้อนที่มีอยู่ในนั้นคิดเป็นประมาณ 80% ของจำนวนข้อมูลทั้งหมดที่มีอยู่ในข้อความที่เป็นลายลักษณ์อักษร ส่วนที่เหลืออีก 20% เป็นเอนโทรปีเดียวกันซึ่งข้อความนี้สามารถใช้เป็นแหล่งพลังงานที่คาดเดาไม่ได้

หากข้อความที่เป็นข้อความ ปากเปล่า หรือภาพ (โดยเฉพาะโทรทัศน์) ปราศจากเอนโทรปีโดยสิ้นเชิง พวกเขาจะไม่นำข่าวสารใดๆ ไปยังผู้รับข้อความ

หากข้อความที่เขียนถูกสร้างขึ้นตามกฎที่กำหนดไว้ล่วงหน้าเท่านั้น เมื่อสร้างกฎเหล่านี้โดยอิงจากข้อความในหน้าแรก ก็เป็นไปได้ที่จะคาดเดาล่วงหน้าว่าจะเขียนอะไรในหน้า 50, 265, 521 ฯลฯ

บทสรุป

การสื่อสารช่องทางข้อมูลแชนนอน

แต่ตั้งแต่ต้นทศวรรษที่ 60 แชนนอนไม่ได้ทำอะไรเลยในทฤษฎีสารสนเทศอีกต่อไป ดูราวกับว่าเขาเริ่มเบื่อหน่ายกับทฤษฎีที่เขาสร้างขึ้นหลังจากผ่านไปเพียง 20 ปี ในปี 1985 Claude Shannon และ Betty ภรรยาของเขาเข้าร่วมการประชุม International Symposium on Information Theory โดยไม่คาดคิดในเมือง Brighton ของอังกฤษ แชนนอนไม่ปรากฏตัวในการประชุมมาเกือบชั่วอายุคนแล้ว และในตอนแรกไม่มีใครจำเขาได้ จากนั้นผู้เข้าร่วมสัมมนาก็เริ่มกระซิบ: สุภาพบุรุษผมหงอกที่ถ่อมตัวตรงนั้นคือ Claude Elwood Shannon คนเดียวกัน! ในงานเลี้ยง แชนนอนพูดสองสามคำ เล่นกลเล็กน้อยกับลูกบอลสามลูก (อนิจจาเพียงสาม) แล้วเซ็นลายเซ็นหลายร้อยใบให้กับวิศวกรและนักวิทยาศาสตร์ที่ตกตะลึงซึ่งเข้าแถวยาว ผู้ที่ยืนต่อแถวกล่าวว่าพวกเขาประสบความรู้สึกแบบเดียวกับที่นักฟิสิกส์จะประสบหากเซอร์ไอแซก นิวตันปรากฏตัวในการประชุมของพวกเขาเอง

Claude Shannon เสียชีวิตในปี 2544 ในบ้านพักคนชราในรัฐแมสซาชูเซตส์จากโรคอัลไซเมอร์ เมื่ออายุ 84 ปี

อ้างอิง

1. อินเทอร์เน็ต

2. แชนนอน เค.อี. ทฤษฎีทางคณิตศาสตร์ของการสื่อสาร งานเกี่ยวกับทฤษฎีสารสนเทศและไซเบอร์เนติกส์, M, 1963

3. แชนนอน เค.อี. แบนด์วากอน /งานเกี่ยวกับทฤษฎีสารสนเทศและไซเบอร์เนติกส์/ม. 2506

โพสต์บน Allbest.ru

เอกสารที่คล้ายกัน

จำนวนข้อความที่ไม่ซ้ำทั้งหมด การคำนวณความเร็วในการรับส่งข้อมูลและความจุช่องสัญญาณสื่อสาร การกำหนดความซ้ำซ้อนของข้อความและการเข้ารหัสที่เหมาะสมที่สุด ขั้นตอนการสร้างโค้ดที่เหมาะสมที่สุดโดยใช้วิธี Shannon-Fano

งานหลักสูตรเพิ่มเมื่อ 17/04/2552

รูปแบบทั่วไปของการทำงานของช่องทางการสื่อสาร การจำแนกประเภทและลักษณะเฉพาะ ช่องทางการสื่อสารไบนารีแบบแยกและการกำหนดความจุ คุณลักษณะของการทำงานโดยมีและไม่มีสัญญาณรบกวนตามทฤษฎีบทของแชนนอน ความจุของช่องต่อเนื่อง

บทคัดย่อเพิ่มเมื่อ 14/07/2552

หัวข้อและภารกิจของทฤษฎีสารสนเทศ หน้าที่ของมันในการสร้างระบบควบคุมอัตโนมัติ การกำหนดปริมาณงานของช่องสัญญาณแยก (ดิจิทัล) ในกรณีที่ไม่มีสัญญาณรบกวน การคำนวณความเร็วในการส่งข้อมูล การคำนวณค่าเอนโทรปี - จำนวนข้อมูลโดยเฉลี่ย

ทดสอบเพิ่มเมื่อ 18/01/2558

การคำนวณจำนวนข้อมูลต่อตัวอักษรโดยใช้สูตรของแชนนอน การเปลี่ยนแปลงเอนโทรปีของข้อมูลในเนื้อหาทางเศรษฐศาสตร์ วิทยาศาสตร์ธรรมชาติ และวรรณกรรม จำนวนข้อมูลสูงสุดต่อเครื่องหมายตามสูตรของ Hartley

งานห้องปฏิบัติการ เพิ่มเมื่อ 12/06/2013

การนำเสนอเพิ่มเมื่อ 10/19/2014

ประมวลผลข้อมูล วิเคราะห์ช่องทางการรั่วไหลที่อาจเกิดขึ้น การสร้างระบบรักษาความปลอดภัยข้อมูลทางเทคนิค: การปิดกั้นช่องทางการเข้าถึงที่ไม่ได้รับอนุญาต, กฎระเบียบข้อบังคับ การปกป้องข้อมูลที่เป็นความลับบนเวิร์กสเตชันที่ใช้พีซีอัตโนมัติ

วิทยานิพนธ์เพิ่มเมื่อ 06/05/2554

การศึกษาอัลกอริทึมสำหรับการควบคุมความทนทานต่อความน่าเชื่อถือของข้อมูลเริ่มต้น โดยช่วยในการระบุความล้มเหลวของข้อมูลและช่องทางการวัดทั้งหมดและบางส่วน การหาข้อผิดพลาดในการดำเนินการสมการการเชื่อมต่อระหว่างปริมาณข้อมูล

งานห้องปฏิบัติการ เพิ่มเมื่อ 14/04/2555

การกำหนดจำนวนข้อมูลโดยเฉลี่ย การพึ่งพาระหว่างสัญลักษณ์ของเมทริกซ์ความน่าจะเป็นแบบมีเงื่อนไข การเข้ารหัสโดยใช้วิธีแชนนอน–ฟาโน ความจุช่องทางการสื่อสาร ประสิทธิภาพของการเข้ารหัสข้อความโดยใช้วิธีของดี. ฮัฟฟ์แมน ลักษณะเฉพาะของโค้ด

ทดสอบเพิ่มเมื่อ 05/04/2558

การวิเคราะห์แหล่งที่มาของสัญญาณที่เป็นอันตรายและการระบุช่องทางทางเทคนิคที่อาจเกิดขึ้นสำหรับการรั่วไหลของข้อมูลและการเข้าถึงโดยไม่ได้รับอนุญาต วิธีการขององค์กรและเทคนิคในการปกป้องข้อมูลในห้องเฉพาะซึ่งเป็นอุปกรณ์ทางวิศวกรรมที่ใช้

งานหลักสูตร เพิ่มเมื่อ 11/18/2015

ปริมาณข้อมูลและการวัดผล การกำหนดจำนวนข้อมูลที่มีอยู่ในข้อความจากชุดข้อความต้นฉบับ คุณสมบัติของปริมาณข้อมูลและเอนโทรปีของข้อความ ความซ้ำซ้อน ลักษณะข้อมูลของแหล่งที่มาของข้อความที่ไม่ต่อเนื่อง

ปีแห่งชีวิต: พ.ศ. 2459-2544

แหล่งการเข้ารหัสจะกำหนดขีดจำกัดการบีบอัดข้อมูลสูงสุดและค่าตัวเลขของเอนโทรปีของแชนนอน

©คล็อด แชนนอน

ชีวประวัติ

Claude Shannon เกิดเมื่อวันที่ 30 เมษายน พ.ศ. 2459 ในเมือง Petocki รัฐมิชิแกน ประเทศสหรัฐอเมริกา Claude ใช้เวลาสิบหกปีแรกของชีวิตในเกย์ลอร์ด รัฐมิชิแกน ซึ่งเขาสำเร็จการศึกษาจาก Gaylord Comprehensive High School ในปี 1932 ในวัยเด็กเขาทำงานเป็นคนส่งของให้กับ Western Union พ่อของเขาเป็นทนายความและเป็นผู้พิพากษามาระยะหนึ่งแล้ว แม่ของเขาเป็นครูสอนภาษาต่างประเทศและต่อมาได้เป็นอาจารย์ใหญ่ของโรงเรียนมัธยมเกย์ลอร์ด Young Claude สนใจในการออกแบบอุปกรณ์กลไกและอุปกรณ์อัตโนมัติ เขารวบรวมเครื่องบินจำลองและวงจรวิทยุ สร้างเรือควบคุมด้วยวิทยุ และระบบโทรเลขระหว่างบ้านเพื่อนกับบ้านของเขาเอง บางครั้งเขาต้องซ่อมสถานีวิทยุให้กับห้างสรรพสินค้าท้องถิ่นแห่งหนึ่ง โทมัส เอดิสันเป็นญาติห่างๆ ของเขา

ในปีพ.ศ. 2475 แชนนอนได้เข้าเรียนที่มหาวิทยาลัยมิชิแกน โดยเขาได้เข้าเรียนหลักสูตรที่แนะนำนักวิทยาศาสตร์ผู้มุ่งมั่นให้รู้จักกับงานของจอร์จ บูล ในปี 1936 Claude สำเร็จการศึกษาระดับปริญญาตรีสาขาคณิตศาสตร์และวิศวกรรมไฟฟ้าจากมหาวิทยาลัยมิชิแกน และได้เข้าเรียนที่ Massachusetts Institute of Technology (MIT) ซึ่งเขาทำงานเป็นผู้ช่วยวิจัยเกี่ยวกับ Vannevar Bush Differential Analyzer ซึ่งเป็นคอมพิวเตอร์อะนาล็อก จากการศึกษาวงจรไฟฟ้าที่ซับซ้อนและมีความเชี่ยวชาญสูงของเครื่องวิเคราะห์ส่วนต่าง แชนนอนเห็นว่าแนวคิดของ Boole สามารถนำไปใช้ประโยชน์ได้ดี บทความที่ได้มาจากวิทยานิพนธ์ปริญญาโทของเขาในปี 1937 เรื่อง "การวิเคราะห์เชิงสัญลักษณ์ของรีเลย์และสวิตช์" ได้รับการตีพิมพ์ในปี 1938 โดยสถาบันวิศวกรไฟฟ้าแห่งอเมริกา นี่เป็นเหตุผลที่แชนนอนได้รับรางวัลอัลเฟรดโนเบลจากสถาบันวิศวกรไฟฟ้าแห่งอเมริกาในปี พ.ศ. 2483 วงจรดิจิทัลเป็นพื้นฐานของคอมพิวเตอร์สมัยใหม่ ทำให้งานของเขาเป็นหนึ่งในผลงานทางวิทยาศาสตร์ที่สำคัญที่สุดของศตวรรษที่ 20 Howard Gardner จากมหาวิทยาลัยฮาร์วาร์ดเรียกงานของแชนนอนว่า "อาจเป็นงานที่สำคัญที่สุดและเป็นวิทยานิพนธ์ระดับปริญญาโทที่มีชื่อเสียงที่สุดแห่งศตวรรษ"

ตามคำแนะนำของ Bush Schennon ตัดสินใจเรียนปริญญาเอกสาขาคณิตศาสตร์ที่ MIT แนวคิดสำหรับงานในอนาคตมาถึงเขาในฤดูร้อนปี 2482 เมื่อเขาทำงานในห้องทดลองในโคลด์สปริงฮาร์เบอร์ (นิวยอร์ก) บุชได้รับแต่งตั้งเป็นประธานสถาบันคาร์เนกีในวอชิงตัน และเชิญแชนนอนให้มีส่วนร่วมในงานที่บาร์บารา เบิร์กส์ทำเกี่ยวกับพันธุศาสตร์ ตามข้อมูลของบุช พันธุกรรมอาจเป็นหัวข้อหนึ่งของความพยายามของแชนนอน วิทยานิพนธ์ระดับปริญญาเอกของแชนนอนเรื่อง "พีชคณิตสำหรับพันธุศาสตร์เชิงทฤษฎี" เสร็จสมบูรณ์ในฤดูใบไม้ผลิปี 1940 Shannon กำลังศึกษาระดับปริญญาเอกสาขาคณิตศาสตร์และปริญญาโทสาขาวิศวกรรมไฟฟ้า

ในช่วงระหว่างปี พ.ศ. 2484 ถึง พ.ศ. 2499 แชนนอนสอนที่มหาวิทยาลัยมิชิแกนและทำงานที่ Bell Labs ในห้องทดลองของ Bell แชนนอนในขณะที่ค้นคว้าวงจรสวิตชิ่ง ค้นพบวิธีการใหม่ในการจัดระเบียบวงจรซึ่งจะช่วยลดจำนวนหน้าสัมผัสรีเลย์ที่จำเป็นในการใช้ฟังก์ชันลอจิกที่ซับซ้อน เขาตีพิมพ์บทความเรื่อง "Organization of Double-Pole Switching Circuits" แชนนอนทำงานเกี่ยวกับปัญหาในการสร้างวงจรสวิตชิ่ง โดยพัฒนาวิธีการที่ฟอน นอยมันน์กล่าวถึงเป็นครั้งแรก ซึ่งทำให้สามารถสร้างวงจรที่มีความน่าเชื่อถือมากกว่ารีเลย์ที่ใช้ประกอบกัน ในตอนท้ายของปี พ.ศ. 2483 แชนนอนได้รับรางวัลการวิจัยแห่งชาติ ในฤดูใบไม้ผลิปี พ.ศ. 2484 เขากลับมาที่เบลล์ เมื่อสงครามโลกครั้งที่สองปะทุขึ้น T. Fry ได้เป็นผู้นำโครงการระบบควบคุมการยิงเพื่อป้องกันภัยทางอากาศ แชนนอนเข้าร่วมกลุ่มของฟรายและทำงานเกี่ยวกับอุปกรณ์ที่ตรวจจับเครื่องบินข้าศึกและปืนต่อต้านอากาศยานแบบกำหนดเป้าหมาย และเขายังพัฒนาระบบการเข้ารหัส รวมถึงการสื่อสารของรัฐบาล ซึ่งทำให้มั่นใจได้ถึงการเจรจาระหว่างเชอร์ชิลและรูสเวลต์ข้ามมหาสมุทร ดังที่แชนนอนเคยกล่าวไว้ งานในสาขาการเข้ารหัสได้ผลักดันให้เขาสร้างทฤษฎีข้อมูลขึ้นมา

ตั้งแต่ปีพ.ศ. 2493 ถึง พ.ศ. 2499 แชนนอนมีส่วนร่วมในการสร้างเครื่องจักรเชิงตรรกะ ซึ่งสานต่อความพยายามของฟอน นอยมันน์ และทัวริง เขาสร้างเครื่องจักรที่สามารถเล่นหมากรุกได้นานก่อนที่ Deep Blue จะถูกสร้างขึ้น ในปี 1952 แชนนอนได้สร้างเครื่องแก้เขาวงกตที่สามารถฝึกได้

แชนนอนเกษียณอายุเมื่ออายุได้ห้าสิบในปี พ.ศ. 2509 แต่เขายังคงให้คำปรึกษากับเบลล์แล็บส์ต่อไป ในปี 1985 Claude Shannon และ Betty ภรรยาของเขาเข้าร่วมการประชุม International Symposium on Information Theory ในเมืองไบรตัน แชนนอนไม่ได้เข้าร่วมการประชุมระดับนานาชาติมาเป็นเวลานาน และในตอนแรกพวกเขาจำเขาไม่ได้ด้วยซ้ำ ในงานเลี้ยง คลอดด์ แชนนอนกล่าวสุนทรพจน์สั้น ๆ หยิบลูกบอลเพียงสามลูกแล้วแจกลายเซ็นหลายร้อยหลายร้อยใบให้กับนักวิทยาศาสตร์และวิศวกรที่ประหลาดใจที่ยืนเป็นแถวยาวรู้สึกแสดงความเคารพต่อนักวิทยาศาสตร์ผู้ยิ่งใหญ่โดยเปรียบเทียบเขากับเซอร์ ไอแซก นิวตัน.

เขาเป็นผู้พัฒนาของเล่นควบคุมด้วยวิทยุอุตสาหกรรมชิ้นแรกซึ่งผลิตในยุค 50 ในญี่ปุ่น (ภาพถ่าย) นอกจากนี้เขายังพัฒนาอุปกรณ์ที่สามารถพับลูกบาศก์รูบิค (ภาพถ่าย) คอมพิวเตอร์ขนาดเล็กสำหรับเกมกระดาน Hex ซึ่งเอาชนะคู่ต่อสู้ได้เสมอ (ภาพถ่าย) เมาส์กลที่สามารถหาทางออกจากเขาวงกตได้ (ภาพถ่าย) เขายังตระหนักถึงแนวคิดของเครื่องการ์ตูน “Ultimate Machine” (ภาพถ่าย)

ทฤษฎีการสื่อสารในระบบลับ

งานของแชนนอนเรื่อง "The Theory of Communication in Secret Systems" (1945) จัดเป็น "ความลับ" ซึ่งได้รับการไม่เป็นความลับอีกต่อไปและตีพิมพ์ในปี 1949 เท่านั้น ทำหน้าที่เป็นจุดเริ่มต้นของการวิจัยอย่างกว้างขวางในทฤษฎีการเข้ารหัสและการส่งข้อมูล และใน ความคิดเห็นทั่วไปทำให้วิทยาการเข้ารหัสมีสถานะเป็นวิทยาศาสตร์ Claude Shannon เป็นคนแรกที่เริ่มศึกษาการเข้ารหัสโดยใช้แนวทางทางวิทยาศาสตร์ ในบทความนี้ แชนนอนได้กำหนดแนวคิดพื้นฐานของทฤษฎีการเข้ารหัส โดยที่การเข้ารหัสนั้นไม่สามารถเข้าใจได้อีกต่อไป ข้อดีที่สำคัญของแชนนอนคือการวิจัยระบบที่ปลอดภัยอย่างสมบูรณ์และการพิสูจน์การมีอยู่ของระบบ รวมถึงการมีอยู่ของรหัสที่แข็งแกร่งในการเข้ารหัส และเงื่อนไขที่จำเป็นสำหรับสิ่งนี้ แชนนอนยังกำหนดข้อกำหนดพื้นฐานสำหรับการเข้ารหัสที่แข็งแกร่งอีกด้วย เขาแนะนำแนวคิดที่คุ้นเคยในปัจจุบันเกี่ยวกับการกระจัดกระจายและการผสม รวมถึงวิธีการสร้างระบบการเข้ารหัสที่แข็งแกร่งด้วยการเข้ารหัสโดยอิงจากการดำเนินการที่เรียบง่าย บทความนี้เป็นจุดเริ่มต้นในการศึกษาศาสตร์แห่งการเข้ารหัส

บทความ "ทฤษฎีทางคณิตศาสตร์ของการสื่อสาร"

การแก้ปัญหาความซ้ำซ้อนของข้อความที่จะส่งทำให้การใช้ช่องทางการสื่อสารมีประสิทธิภาพสูงสุด ตัวอย่างเช่น วิธีการที่ทันสมัยและใช้กันอย่างแพร่หลายในการลดความซ้ำซ้อนในระบบกระจายเสียงโทรทัศน์ในปัจจุบันทำให้สามารถส่งสัญญาณโทรทัศน์เชิงพาณิชย์แบบดิจิทัลได้มากถึงหกรายการในย่านความถี่ที่ครอบครองโดยสัญญาณโทรทัศน์แอนะล็อกทั่วไป

การแก้ปัญหาการส่งข้อความผ่านช่องทางการสื่อสารที่มีเสียงรบกวนในอัตราส่วนที่กำหนดของกำลังของสัญญาณที่มีประโยชน์ต่อกำลังของสัญญาณรบกวนที่ตำแหน่งรับทำให้สามารถส่งข้อความผ่านช่องทางการสื่อสารโดยมีโอกาสผิดพลาดต่ำโดยพลการ การส่งข้อความ นอกจากนี้อัตราส่วนนี้จะกำหนดความจุของช่องสัญญาณด้วย มั่นใจได้ด้วยการใช้รหัสที่ทนทานต่อการรบกวน ในขณะที่อัตราการส่งข้อความผ่านช่องทางที่กำหนดจะต้องต่ำกว่าความจุ

ในงานของเขา แชนนอนได้พิสูจน์ความเป็นไปได้ขั้นพื้นฐานในการแก้ปัญหาที่ระบุ นี่เป็นความรู้สึกที่แท้จริงในแวดวงวิทยาศาสตร์ในช่วงปลายทศวรรษที่ 40 งานนี้ตลอดจนงานที่ตรวจสอบภูมิคุ้มกันทางเสียงที่อาจเกิดขึ้น ทำให้เกิดการศึกษาจำนวนมากที่ดำเนินมาจนถึงทุกวันนี้มานานกว่าครึ่งศตวรรษ นักวิทยาศาสตร์จากสหภาพโซเวียตและสหรัฐอเมริกา (สหภาพโซเวียต - Pinsker (อังกฤษ) รัสเซีย, Khinchin, Dobrushin, Kolmogorov; สหรัฐอเมริกา - Gallagher (อังกฤษ) รัสเซีย, Wolfowitz (อังกฤษ) รัสเซีย, Feinstein) ให้การตีความทฤษฎีที่ Shannon ร่างไว้อย่างเข้มงวด

ปัจจุบัน ระบบการสื่อสารดิจิทัลทั้งหมดได้รับการออกแบบตามหลักการพื้นฐานและกฎการส่งข้อมูลที่พัฒนาโดยแชนนอน ตามทฤษฎีสารสนเทศ ความซ้ำซ้อนจะถูกลบออกจากข้อความก่อน จากนั้นข้อมูลจะถูกเข้ารหัสโดยใช้รหัสที่ทนต่อการรบกวน จากนั้นจึงส่งข้อความผ่านช่องทางไปยังผู้บริโภคเท่านั้น ต้องขอบคุณทฤษฎีสารสนเทศที่ทำให้ความซ้ำซ้อนของข้อความโทรทัศน์ เสียง และแฟกซ์ลดลงอย่างมาก

มีการวิจัยจำนวนมากเพื่อสร้างรหัสป้องกันเสียงรบกวนและวิธีการง่ายๆ ในการถอดรหัสข้อความ การวิจัยที่ดำเนินการในช่วงห้าสิบปีที่ผ่านมาได้สร้างพื้นฐานสำหรับคำแนะนำของ ITU เกี่ยวกับการประยุกต์ใช้การเข้ารหัสแบบทนทานต่อเสียงรบกวนและวิธีการเข้ารหัสแหล่งที่มาในระบบดิจิทัลสมัยใหม่

ทฤษฎีบทความจุของช่องสัญญาณ

ช่องที่มีสัญญาณรบกวนใดๆ จะมีอัตราการส่งข้อมูลสูงสุด ขีดจำกัดนี้ตั้งชื่อตามแชนนอน เมื่อส่งข้อมูลด้วยความเร็วเกินขีด จำกัด นี้การบิดเบือนข้อมูลที่หลีกเลี่ยงไม่ได้จะเกิดขึ้น แต่จากต่ำกว่าขีด จำกัด นี้สามารถเข้าถึงได้ด้วยความแม่นยำที่จำเป็นทำให้มั่นใจได้ว่ามีความน่าจะเป็นเล็กน้อยที่จะเกิดข้อผิดพลาดในการส่งข้อมูลในช่องสัญญาณที่มีเสียงดัง

ทฤษฎีบทของแชนนอน

ทฤษฎีบทแชนนอนแบบตรงและแบบผกผันสำหรับแหล่งที่มาของรูปแบบทั่วไป - เกี่ยวกับความสัมพันธ์ระหว่างเอนโทรปีของแหล่งที่มาและความยาวเฉลี่ยของข้อความ
ทฤษฎีบทแชนนอนแบบตรงและแบบผกผันสำหรับแหล่งกำเนิดที่ไม่มีหน่วยความจำ - เกี่ยวกับความสัมพันธ์ระหว่างเอนโทรปีของแหล่งกำเนิดและระดับการบีบอัดที่สามารถทำได้โดยใช้การเข้ารหัสแบบสูญเสียและการถอดรหัสที่ไม่ชัดเจนในภายหลัง
ทฤษฎีบทโดยตรงและผกผันของแชนนอนสำหรับช่องสัญญาณรบกวนนั้นเกี่ยวกับความสัมพันธ์ระหว่างความจุของช่องสัญญาณและการมีอยู่ของรหัสที่สามารถใช้ในการส่งสัญญาณโดยมีข้อผิดพลาดมีแนวโน้มเป็นศูนย์ (เมื่อความยาวบล็อกเพิ่มขึ้น)
ทฤษฎีบท Nyquist-Shannon (ในวรรณกรรมภาษารัสเซีย - ทฤษฎีบทของ Kotelnikov) เป็นเรื่องเกี่ยวกับการสร้างสัญญาณขึ้นมาใหม่อย่างคลุมเครือจากตัวอย่างที่แยกจากกัน
ทฤษฎีบทแหล่งการเข้ารหัสของแชนนอน (หรือทฤษฎีบทการเข้ารหัสแบบเงียบ) กำหนดขีดจำกัดสำหรับการบีบอัดข้อมูลสูงสุดและค่าตัวเลขสำหรับเอนโทรปีของแชนนอน
ทฤษฎีบทแชนนอน-ฮาร์ตลีย์

Claude Ellwood Shannon เป็นนักคณิตศาสตร์ วิศวกรอิเล็กทรอนิกส์ และนักเข้ารหัสชาวอเมริกันที่ได้รับรางวัล ซึ่งเป็นที่รู้จักในฐานะผู้สร้างทฤษฎีสารสนเทศ

ฮีโร่ของเราเคยเสนอแนวคิดเรื่อง "บิต" ซึ่งทุกคนรู้จักในปัจจุบันว่าเทียบเท่ากับหน่วยข้อมูลที่เล็กที่สุด

แชนนอนมีชื่อเสียงในฐานะชายผู้ให้กำเนิดทฤษฎีข้อมูลในรายงานสำคัญที่เขาตีพิมพ์ในปี 2491 นอกจากนี้ เขายังให้เครดิตกับแนวคิดในการสร้างคอมพิวเตอร์ดิจิทัลและเทคโนโลยีดิจิทัลโดยทั่วไป ย้อนกลับไปในปี 1937 เมื่อแชนนอนเป็นนักศึกษาอายุ 21 ปีที่สถาบันเทคโนโลยีแมสซาชูเซตส์ที่ทำงานในระดับปริญญาโทของเขา - จากนั้นเขาก็เขียนวิทยานิพนธ์ซึ่งเขาแสดงให้เห็นว่าการใช้พีชคณิตแบบบูลีนในสาขาอิเล็กทรอนิกส์สามารถสร้างและแก้ตรรกะและตัวเลขใดๆ ได้

การสื่อสาร บทความจากวิทยานิพนธ์ของเขาทำให้เขาได้รับรางวัลจาก American Institute of Electrical Engineers ในปี 1940

ในช่วงสงครามโลกครั้งที่ 2 Shannon มีส่วนสำคัญในด้านการเข้ารหัสในขณะที่ทำงานด้านการป้องกันประเทศ ซึ่งรวมถึงโครงการสำคัญของเขาในการทำลายรหัสและรับประกันความปลอดภัยด้านโทรคมนาคม

แชนนอนเกิดเมื่อวันที่ 30 เมษายน พ.ศ. 2459 ในเมืองเปโตสกี รัฐมิชิแกน และเติบโตขึ้นมาในเมืองเกย์ลอร์ด รัฐมิชิแกน พ่อของเขาเป็นหนึ่งในคนที่สร้างตัวเองขึ้นมา เขาเป็นทายาทของผู้ตั้งถิ่นฐานในรัฐนิวเจอร์ซีย์ยุคแรก เขาเป็นนักธุรกิจและผู้พิพากษา แม่ของคลอดด์สอนภาษาอังกฤษและมุ่งหน้าไปที่โรงเรียนเป็นระยะเวลาหนึ่ง

โรงเรียนประถมศึกษาเกย์ลอร์ด แชนนอนใช้เวลาส่วนใหญ่ในช่วง 16 ปีแรกของชีวิตในเกย์ลอร์ด และสำเร็จการศึกษาจากโรงเรียนในท้องถิ่นในปี พ.ศ. 2475 เขาสนใจการสร้างแบบจำลองเครื่องกลและไฟฟ้าตั้งแต่เด็ก วิชาโปรดของเขาคือวิทยาศาสตร์และคณิตศาสตร์ และในเวลาว่างที่บ้าน เขาสร้างเครื่องบินจำลอง เรือจำลองที่ควบคุมด้วยวิทยุ และแม้แต่โทรเลขไร้สายที่เชื่อมต่อเขาเข้ากับบ้านของเพื่อนที่อยู่ห่างจากแชนนอนครึ่งไมล์ .

เมื่อตอนเป็นวัยรุ่น Claude ทำงานพาร์ทไทม์เป็นคนส่งของให้กับ Western Union ฮีโร่ในวัยเด็กของเขาคือโทมัสเอดิสันซึ่งต่อมากลายเป็นญาติห่าง ๆ เช่นกัน พวกเขาทั้งสองเป็นทายาท

ami John Ogden ผู้นำอาณานิคมในศตวรรษที่ 17 และบรรพบุรุษของบุคคลสำคัญหลายคน สิ่งที่แชนนอนไม่สนใจคือการเมือง ยิ่งกว่านั้นเขาเป็นคนไม่เชื่อพระเจ้า

ในปี 1932 Claude ได้เข้าศึกษาที่มหาวิทยาลัยมิชิแกน ซึ่งหนึ่งในหลักสูตรของเขาได้แนะนำให้เขารู้จักกับความซับซ้อนของพีชคณิตแบบ Boole หลังจากสำเร็จการศึกษาในปี 1936 ด้วยปริญญาตรีสองใบในสาขาคณิตศาสตร์และวิศวกรรมไฟฟ้า เขาศึกษาต่อที่ MIT ซึ่งเขาทำงานกับคอมพิวเตอร์แอนะล็อกเครื่องแรกๆ เครื่องวิเคราะห์เชิงอนุพันธ์ของ Vannevar Bush ตอนนั้นเองที่เขาตระหนักว่าแนวคิดของบูลีน พีชคณิตสามารถนำไปใช้ประโยชน์ได้มากขึ้น วิทยานิพนธ์ของแชนนอนสำหรับปริญญาม

วิทยานิพนธ์ระดับปริญญาโทมีชื่อว่า "การวิเคราะห์เชิงสัญลักษณ์ของรีเลย์และสวิตช์" และได้รับการพิจารณาโดยผู้เชี่ยวชาญว่าเป็นหนึ่งในวิทยานิพนธ์ระดับปริญญาโทที่สำคัญที่สุดแห่งศตวรรษที่ 20

ในฤดูใบไม้ผลิปี 1940 แชนนอนได้รับปริญญาเอกสาขาคณิตศาสตร์จาก MIT ด้วยวิทยานิพนธ์เรื่อง "พีชคณิตสำหรับพันธุศาสตร์เชิงทฤษฎี" และในอีก 19 ปีข้างหน้า ตั้งแต่ปีพ.ศ. 2484 ถึง 2499 เขาได้สอนที่มหาวิทยาลัยมิชิแกน และทำงานที่ Bell Labs โดยที่ความสนใจของเขาถูกจุดประกายโดยระบบป้องกันอัคคีภัยและการเข้ารหัส (นี่คือสิ่งที่เขาทำในช่วงสงครามโลกครั้งที่สอง)

ที่ Bell Labs แชนนอนได้พบกับเบ็ตตี้ แชนนอน ภรรยาในอนาคตของเขา ซึ่งทำงานด้านการวิเคราะห์เชิงตัวเลข ทั้งคู่แต่งงานกันในปี พ.ศ. 2492 ในปี พ.ศ. 2499 แชนนอนกลับมาที่ MIT

โดยเขาได้รับเก้าอี้และทำงานอยู่ที่นั่นเป็นเวลา 22 ปี

งานอดิเรกของเขา ได้แก่ การเล่นกล ขี่จักรยานล้อเดียว และหมากรุก เขาประดิษฐ์อุปกรณ์สนุกๆ มากมาย เช่น จานบินที่ขับเคลื่อนด้วยจรวด ตั๊กแตนติดมอเตอร์ และท่อพ่นไฟสำหรับงานวิทยาศาสตร์ นอกจากนี้เขายังได้รับเครดิตร่วมกับ Edward O. Thorp ในการประดิษฐ์คอมพิวเตอร์พกพาเครื่องแรก - พวกเขาใช้อุปกรณ์นี้เพื่อเพิ่มโอกาสในการชนะรูเล็ต และการจู่โจมในลาสเวกัสก็ประสบความสำเร็จอย่างมาก

แชนนอนใช้เวลาปีสุดท้ายในบ้านพักคนชรา โดยต้องทนทุกข์ทรมานจากโรคอัลไซเมอร์ เขาถึงแก่กรรมเมื่อวันที่ 24 กุมภาพันธ์ พ.ศ. 2544

Claude Elwood Shannon (อังกฤษ: Claude Elwood Shannon; 30 เมษายน 2459, Petocki, Michigan - 24 กุมภาพันธ์ 2544, Medford, Massachusetts) - นักคณิตศาสตร์และวิศวกรชาวอเมริกัน ผลงานของเขาเป็นการสังเคราะห์แนวคิดทางคณิตศาสตร์พร้อมการวิเคราะห์เฉพาะของปัญหาที่ซับซ้อนอย่างยิ่งของ การใช้งานทางเทคนิค เขาเป็นผู้ก่อตั้งทฤษฎีสารสนเทศซึ่งพบการประยุกต์ใช้ในระบบการสื่อสารที่มีเทคโนโลยีสูงสมัยใหม่ แชนนอนมีส่วนสนับสนุนอย่างมากต่อทฤษฎีวงจรความน่าจะเป็น ทฤษฎีออโตมาตะ และทฤษฎีระบบควบคุม ซึ่งเป็นสาขาวิชาวิทยาศาสตร์ที่รวมอยู่ในแนวคิดของไซเบอร์เนติกส์

ชีวประวัติ Claude Shannon เกิดเมื่อวันที่ 30 เมษายน พ.ศ. 2459 ในเมือง Petocki รัฐมิชิแกน ประเทศสหรัฐอเมริกา Claude ใช้เวลาสิบหกปีแรกในชีวิตของเขาในเกย์ลอร์ด รัฐมิชิแกน ซึ่งเขาเข้าเรียนในโรงเรียนรัฐบาลและสำเร็จการศึกษาจากโรงเรียนมัธยมเกย์ลอร์ดในปี 1932 เมื่อตอนเป็นวัยรุ่น เขาทำงานเป็นคนส่งของให้กับ Western Union พ่อของเขาเป็นทนายความและเป็นผู้พิพากษามาระยะหนึ่งแล้ว แม่ของเขาเป็นครูสอนภาษาต่างประเทศและต่อมาได้เป็นอาจารย์ใหญ่ของโรงเรียนมัธยมเกย์ลอร์ด Young Claude มีความรักอย่างมากในการออกแบบอุปกรณ์อัตโนมัติ เขารวบรวมเครื่องบินจำลองและวงจรวิทยุ และยังสร้างเรือที่ควบคุมด้วยวิทยุและระบบโทรเลขระหว่างบ้านเพื่อนกับบ้านของเขาเอง บางครั้งเขาต้องซ่อมสถานีวิทยุให้กับห้างสรรพสินค้าท้องถิ่นแห่งหนึ่ง โทมัส เอดิสันเป็นญาติห่างๆ ของเขา

ในปีพ.ศ. 2475 แชนนอนได้เข้าเรียนที่มหาวิทยาลัยมิชิแกน โดยเขาได้เข้าเรียนหลักสูตรที่แนะนำนักวิทยาศาสตร์ผู้มุ่งมั่นให้รู้จักกับงานของจอร์จ บูล ในปี 1936 Claude สำเร็จการศึกษาระดับปริญญาตรีสาขาคณิตศาสตร์และวิศวกรรมไฟฟ้าจากมหาวิทยาลัยมิชิแกน และเข้าเรียนที่สถาบันเทคโนโลยีแมสซาชูเซตส์ ซึ่งเขาทำงานเป็นผู้ช่วยวิจัยเกี่ยวกับ Vannevar Bush Differential Analyzer ซึ่งเป็นคอมพิวเตอร์อะนาล็อก ในขณะที่ศึกษาวงจรไฟฟ้าที่ซับซ้อนและมีความเชี่ยวชาญสูงของเครื่องวิเคราะห์ดิฟเฟอเรนเชียล แชนนอนเห็นว่าแนวคิดของ Boole สามารถนำไปใช้ให้เกิดประโยชน์ได้ บทความที่ได้มาจากวิทยานิพนธ์ปริญญาโทของเขาในปี 1937 เรื่อง "การวิเคราะห์เชิงสัญลักษณ์ของรีเลย์และสวิตช์" ได้รับการตีพิมพ์ในปี 1938 โดยสถาบันวิศวกรไฟฟ้าแห่งอเมริกา (AIEE) นี่เป็นเหตุผลที่แชนนอนได้รับรางวัลอัลเฟรดโนเบลจากสถาบันวิศวกรรมแห่งอเมริกาในปี พ.ศ. 2483 วงจรดิจิทัลเป็นพื้นฐานของคอมพิวเตอร์สมัยใหม่ ทำให้งานของเขาเป็นหนึ่งในผลงานทางวิทยาศาสตร์ที่สำคัญที่สุดของศตวรรษที่ 20 Howard Gardner จากมหาวิทยาลัยฮาร์วาร์ดเรียกงานของแชนนอนว่า "อาจเป็นงานที่สำคัญที่สุดและเป็นวิทยานิพนธ์ระดับปริญญาโทที่มีชื่อเสียงที่สุดแห่งศตวรรษ"

ตามคำแนะนำของ Bush แชนนอนตัดสินใจเรียนปริญญาเอกสาขาคณิตศาสตร์ที่ MIT แนวคิดสำหรับงานในอนาคตมาถึงเขาในฤดูร้อนปี 1939 ขณะที่เขาทำงานที่ Cold Spring Harbor ในนิวยอร์ก บุชได้รับแต่งตั้งเป็นประธานของสถาบันคาร์เนกีในเทศมณฑลวอชิงตัน และเชิญแชนนอนให้เข้าร่วมในงานที่บาร์บารา เบิร์กส์ทำเกี่ยวกับพันธุศาสตร์ ตามข้อมูลของบุช พันธุกรรมอาจเป็นหัวข้อหนึ่งของความพยายามของแชนนอน วิทยานิพนธ์ระดับปริญญาเอกของแชนนอนเรื่อง "พีชคณิตสำหรับพันธุศาสตร์เชิงทฤษฎี" เสร็จสมบูรณ์ในฤดูใบไม้ผลิปี 1940 Shannon กำลังศึกษาระดับปริญญาเอกสาขาคณิตศาสตร์และปริญญาโทสาขาวิศวกรรมไฟฟ้า

ในช่วงระหว่างปี พ.ศ. 2484 ถึง พ.ศ. 2499 แชนนอนสอนที่มหาวิทยาลัยมิชิแกนและทำงานที่ Bell Labs ในห้องทดลองของ Bell แชนนอนในขณะที่ค้นคว้าวงจรสวิตชิ่ง ค้นพบวิธีการใหม่ในการจัดระเบียบวงจรซึ่งจะช่วยลดจำนวนหน้าสัมผัสรีเลย์ที่จำเป็นในการใช้ฟังก์ชันลอจิกที่ซับซ้อน เขาตีพิมพ์บทความเรื่อง "Organization of Double-Pole Switching Circuits" แชนนอนทำงานเกี่ยวกับปัญหาในการสร้างวงจรสวิตชิ่ง โดยพัฒนาวิธีการที่ฟอน นอยมันน์กล่าวถึงเป็นครั้งแรก ซึ่งทำให้สามารถสร้างวงจรที่มีความน่าเชื่อถือมากกว่ารีเลย์ที่ใช้ประกอบกัน ในตอนท้ายของปี พ.ศ. 2483 แชนนอนได้รับรางวัลการวิจัยแห่งชาติ ในฤดูใบไม้ผลิปี พ.ศ. 2484 เขากลับมาที่เบลล์ เมื่อสงครามโลกครั้งที่สองปะทุขึ้น T. Fry ได้เป็นผู้นำโครงการระบบควบคุมการยิงเพื่อป้องกันภัยทางอากาศ แชนนอนเข้าร่วมกลุ่มของฟรายและทำงานเกี่ยวกับอุปกรณ์ที่ตรวจจับเครื่องบินข้าศึกและปืนต่อต้านอากาศยานแบบกำหนดเป้าหมาย และเขายังพัฒนาระบบการเข้ารหัส รวมถึงการสื่อสารของรัฐบาล ซึ่งทำให้มั่นใจได้ถึงการเจรจาระหว่างเชอร์ชิลและรูสเวลต์ข้ามมหาสมุทร ดังที่แชนนอนกล่าวไว้ การทำงานในสาขาการเข้ารหัสได้ผลักดันให้เขาสร้างทฤษฎีข้อมูลขึ้นมา

ตั้งแต่ปี 1950 ถึง 1956 แชนนอนมีส่วนร่วมในการสร้างเครื่องจักรเชิงตรรกะ ซึ่งสานต่อความพยายามของฟอน นอยมันน์ และทัวริง เขาสร้างเครื่องจักรที่สามารถเล่นหมากรุกได้นานก่อนที่ Deep Blue จะถูกสร้างขึ้น ในปี 1952 แชนนอนได้สร้างเครื่องแก้เขาวงกตที่สามารถฝึกได้

คลอดด์ แชนนอน ถึงแก่กรรมเมื่อวันที่ 24 กุมภาพันธ์ พ.ศ. 2544งานของแชนนอนเรื่อง “ทฤษฎีการสื่อสารในระบบลับ” (พ.ศ. 2488) ซึ่งจัดว่าเป็นความลับ ซึ่งไม่เป็นความลับอีกต่อไปและตีพิมพ์ในปี พ.ศ. 2492 เท่านั้น ทำหน้าที่เป็นจุดเริ่มต้นของการวิจัยอย่างกว้างขวางในทฤษฎีการเข้ารหัสและการส่งข้อมูล และในความคิดเห็นทั่วไป ทำให้การเข้ารหัสมีสถานะเป็นวิทยาศาสตร์ Claude Shannon เป็นคนแรกที่เริ่มศึกษาการเข้ารหัสโดยใช้แนวทางทางวิทยาศาสตร์ ในบทความนี้ โคลดได้กำหนดแนวคิดพื้นฐานของทฤษฎีการเข้ารหัส โดยที่การเข้ารหัสนั้นไม่สามารถเข้าใจได้อีกต่อไป ข้อดีที่สำคัญของแชนนอนคือการวิจัยระบบที่เป็นความลับอย่างแท้จริง และการพิสูจน์การมีอยู่ของระบบ รวมถึงการมีอยู่ของรหัสเข้ารหัส และเงื่อนไขที่จำเป็นสำหรับสิ่งนี้ แชนนอนยังกำหนดข้อกำหนดพื้นฐานสำหรับการเข้ารหัสที่แข็งแกร่งอีกด้วย เขาแนะนำแนวคิดที่คุ้นเคยในปัจจุบันเกี่ยวกับการกระจัดกระจายและการผสม และวิธีการสร้างระบบการเข้ารหัสที่แข็งแกร่งในการเข้ารหัสโดยอาศัยการดำเนินการที่เรียบง่าย บทความนี้เป็นจุดเริ่มต้นในการศึกษาศาสตร์แห่งการเข้ารหัส

ทฤษฎีการสื่อสารทางคณิตศาสตร์

บทความ "ทฤษฎีทางคณิตศาสตร์ของการสื่อสาร" ได้รับการตีพิมพ์ในปี 1948 และทำให้ Claude Shannon มีชื่อเสียงไปทั่วโลก ในนั้นแชนนอนสรุปแนวคิดของเขาซึ่งต่อมาได้กลายเป็นพื้นฐานของทฤษฎีและเทคนิคสมัยใหม่ในการประมวลผลการส่งและจัดเก็บข้อมูล ผลงานของเขาในด้านการส่งข้อมูลผ่านช่องทางการสื่อสารทำให้เกิดการศึกษาจำนวนมากทั่วโลก แชนนอนสรุปแนวคิดของ Hartley และแนะนำแนวคิดเกี่ยวกับข้อมูลที่มีอยู่ในข้อความที่ส่ง เพื่อเป็นการวัดข้อมูลของข้อความที่ส่ง M ฮาร์ตลีย์เสนอให้ใช้ฟังก์ชันลอการิทึม แชนนอนเป็นคนแรกที่พิจารณาข้อความที่ส่งและสัญญาณรบกวนในช่องทางการสื่อสารจากมุมมองทางสถิติ โดยพิจารณาทั้งชุดข้อความที่มีขอบเขตจำกัดและชุดข้อความต่อเนื่อง ทฤษฎีข้อมูลที่พัฒนาโดยแชนนอนช่วยแก้ปัญหาหลักที่เกี่ยวข้องกับการส่งข้อความ ได้แก่ กำจัดความซ้ำซ้อนของข้อความที่ส่ง การเข้ารหัสและการส่งข้อความผ่านช่องทางการสื่อสารที่มีสัญญาณรบกวน การแก้ปัญหาความซ้ำซ้อนของข้อความที่จะส่งทำให้การใช้ช่องทางการสื่อสารมีประสิทธิภาพสูงสุด ตัวอย่างเช่น วิธีการที่ทันสมัยและใช้กันอย่างแพร่หลายในการลดความซ้ำซ้อนในระบบกระจายเสียงโทรทัศน์ในปัจจุบันทำให้สามารถส่งสัญญาณโทรทัศน์เชิงพาณิชย์แบบดิจิทัลได้มากถึงหกรายการในย่านความถี่ที่ครอบครองโดยสัญญาณโทรทัศน์แอนะล็อกทั่วไป การแก้ปัญหาการส่งข้อความผ่านช่องทางการสื่อสารที่มีเสียงรบกวนในอัตราส่วนที่กำหนดของกำลังของสัญญาณที่มีประโยชน์ต่อกำลังของสัญญาณรบกวนที่ตำแหน่งรับทำให้สามารถส่งข้อความผ่านช่องทางการสื่อสารโดยมีโอกาสผิดพลาดต่ำโดยพลการ การส่งข้อความ นอกจากนี้อัตราส่วนนี้จะกำหนดความจุของช่องสัญญาณด้วย มั่นใจได้ด้วยการใช้รหัสที่ทนทานต่อการรบกวน ในขณะที่อัตราการส่งข้อความผ่านช่องทางที่กำหนดจะต้องต่ำกว่าความจุ ในงานของเขา แชนนอนได้พิสูจน์ความเป็นไปได้ขั้นพื้นฐานในการแก้ปัญหาที่ระบุ นี่เป็นความรู้สึกที่แท้จริงในแวดวงวิทยาศาสตร์ในช่วงปลายทศวรรษที่ 40 งานนี้ตลอดจนงานที่ตรวจสอบภูมิคุ้มกันทางเสียงที่อาจเกิดขึ้น ทำให้เกิดการศึกษาจำนวนมากที่ดำเนินมาจนถึงทุกวันนี้มานานกว่าครึ่งศตวรรษ นักวิทยาศาสตร์จากสหภาพโซเวียตและสหรัฐอเมริกา (สหภาพโซเวียต - Pinsker, Khinchin, Dobrushin, Kolmogorov; USA - Gallagher, Wolfowitz, Feinstein) ให้การตีความทฤษฎีที่ Shannon ร่างไว้อย่างเข้มงวด ปัจจุบัน ระบบการสื่อสารดิจิทัลทั้งหมดได้รับการออกแบบตามหลักการพื้นฐานและกฎการส่งข้อมูลที่พัฒนาโดยแชนนอน ตามทฤษฎีสารสนเทศ ความซ้ำซ้อนจะถูกลบออกจากข้อความก่อน จากนั้นข้อมูลจะถูกเข้ารหัสโดยใช้รหัสที่ทนต่อการรบกวน จากนั้นจึงส่งข้อความผ่านช่องทางไปยังผู้บริโภคเท่านั้น ความซ้ำซ้อนของข้อความโทรทัศน์ เสียง และแฟกซ์ลดลงอย่างมาก ต้องขอบคุณทฤษฎีข้อมูลอย่างแม่นยำ

ทฤษฎีบทความจุของช่องสัญญาณ

ช่องที่มีสัญญาณรบกวนใดๆ จะมีอัตราการส่งข้อมูลสูงสุด ขีดจำกัดนี้ตั้งชื่อตามแชนนอน เมื่อส่งข้อมูลด้วยความเร็วเกินขีด จำกัด นี้ การบิดเบือนข้อมูลที่หลีกเลี่ยงไม่ได้จะเกิดขึ้น แต่จากต่ำกว่าขีด จำกัด นี้สามารถเข้าถึงได้ด้วยความแม่นยำที่จำเป็นทำให้มั่นใจได้ว่ามีโอกาสเกิดข้อผิดพลาดเล็กน้อยโดยพลการในการส่งข้อมูลในช่องสัญญาณที่มีเสียงดัง

สาขาวิทยาศาสตร์: สถานที่ทำงาน: โรงเรียนเก่า: รู้จักกันในนาม: รางวัลและรางวัล

รางวัลตามชื่อ ก. โนเบล AIEE (1940);
รางวัลในความทรงจำของ M. Libman (ภาษาอังกฤษ)ภาษารัสเซีย;
ไอร์ (1949);
เหรียญเกียรติยศ IEEE (1966);
เหรียญวิทยาศาสตร์แห่งชาติ (2509);
ฮาร์วีย์อวอร์ด (1972).

ชีวประวัติ

ในปี 1985 Claude Shannon และภรรยาของเขา Betty เข้าร่วมการประชุม International Symposium on Information Theory ในเมืองไบรตัน แชนนอนไม่ได้เข้าร่วมการประชุมระดับนานาชาติมาเป็นเวลานาน และในตอนแรกพวกเขาจำเขาไม่ได้ด้วยซ้ำ ในงานเลี้ยง คลอดด์ แชนนอนกล่าวสุนทรพจน์สั้น ๆ หยิบลูกบอลเพียงสามลูกแล้วแจกลายเซ็นให้กับนักวิทยาศาสตร์และวิศวกรที่ประหลาดใจซึ่งยืนเป็นแถวยาวรู้สึกแสดงความเคารพต่อนักวิทยาศาสตร์ผู้ยิ่งใหญ่เมื่อเปรียบเทียบกับเซอร์ ไอแซก นิวตัน.

ทฤษฎีการสื่อสารในระบบลับ

บทความ "ทฤษฎีทางคณิตศาสตร์ของการสื่อสาร"

ทฤษฎีบท Nyquist-Shannon (ในวรรณกรรมภาษารัสเซีย - ทฤษฎีบทของ Kotelnikov) เป็นเรื่องเกี่ยวกับการสร้างสัญญาณขึ้นมาใหม่อย่างคลุมเครือจากตัวอย่างที่แยกจากกัน
(หรือทฤษฎีบทการเข้ารหัสแบบไม่ต้องโต้ตอบ) กำหนดขีดจำกัดสำหรับการบีบอัดข้อมูลสูงสุดและค่าตัวเลขสำหรับเอนโทรปีของแชนนอน
ทฤษฎีบทแชนนอน-ฮาร์ตลีย์

ดูเพิ่มเติม

สูตรการประมาณค่าของวิตเทเกอร์-แชนนอน

หมายเหตุ

วรรณกรรม

แชนนอน ซี.อี.ทฤษฎีทางคณิตศาสตร์ของการสื่อสาร // วารสารเทคนิคระบบเบลล์- - พ.ศ. 2491 - ต. 27. - หน้า 379-423, 623-656.
แชนนอน ซี.อี.การสื่อสารเมื่อมีเสียงรบกวน // โปรค สถาบันวิศวกรวิทยุ- - ม.ค. 2492. - ต. 37. - ลำดับ 1. - หน้า 10-21.
แชนนอน เค.ทำงานเกี่ยวกับทฤษฎีสารสนเทศและไซเบอร์เนติกส์ - อ.: สำนักพิมพ์วรรณกรรมต่างประเทศ พ.ศ. 2506 - 2030 น.

ลิงค์

บรรณานุกรม (อังกฤษ)

หมวดหมู่:

บุคลิกภาพตามลำดับตัวอักษร
นักวิทยาศาสตร์ตามตัวอักษร
เกิดวันที่ 30 เมษายน
เกิดเมื่อปี พ.ศ. 2459
มิชิแกนเกิด
เสียชีวิตเมื่อวันที่ 24 กุมภาพันธ์
เสียชีวิตในปี พ.ศ. 2544
การเสียชีวิตในรัฐแมสซาชูเซตส์
นักคณิตศาสตร์สหรัฐ
ทฤษฎีสารสนเทศ
วิทยาการเข้ารหัสลับ
ไซเบอร์เนติกส์
ผู้บุกเบิกเทคโนโลยีคอมพิวเตอร์
นักวิจัยปัญญาประดิษฐ์
นักวิทยาศาสตร์ในสาขาวิทยาศาสตร์เชิงระบบ
ศิษย์เก่าเอ็มไอที
ศิษย์เก่ามหาวิทยาลัยมิชิแกน
คณะเอ็มไอที
สมาชิกและสมาชิกที่สอดคล้องกันของ US National Academy of Sciences
ชาวต่างชาติของราชสมาคมแห่งลอนดอน
นักคณิตศาสตร์แห่งศตวรรษที่ 20
ผู้ได้รับรางวัลฮาร์วีย์
ผู้ได้รับเหรียญรางวัลวิทยาศาสตร์แห่งชาติสหรัฐอเมริกา
ผู้ได้รับเหรียญเกียรติยศ IEEE
บุคคล:หมากรุกคอมพิวเตอร์
วิศวกรไฟฟ้าของสหรัฐอเมริกา

มูลนิธิวิกิมีเดีย