Исходные понятия информатики

Теория информации как самостоятельная дисциплина возникла в ходе решения следующей задачи: обеспечить надежную и эффективную передачу информации от источника к приемнику при условии, что передаче этой препятствуют помехи. Сама формулировка этой задачи нуждается в ряде уточнений:

• «надежную» означает, что в процессе передачи не должно происходить потери информации - приемник полностью, без искажений должен получить информацию, отправленную источником;
• «эффективную» означает, что передача должна осуществляться наиболее быстрым способом, поскольку время эксплуатации линии связи - экономический фактор, который требуется минимизировать;
• помехи присутствуют в любой реальной линии связи; таким образом, поставленная выше задача имеет четкую практическую направленность.

Решение этой задачи ведется по двум направлениям, которые условно можно назвать техническим и математическим. Технический поиск связан с практической разработкой линий связи, в которых передача может идти с большой скоростью; обеспечением защиты от помех или уменьшения их воздействия; созданием технических устройств, обеспечивающих быструю и надежную связь. Однако в основе этих разработок лежат некоторые общие законы и принципы, применимые не к какой-то конкретной линии передачи информации, а к любым (во всяком случае, многим) видам связи. Они определяют способы кодирования информации (в том числе такие, которые позволяют обнаружить и исправить ошибку передачи); условия надежной передачи информации; наконец, что очень важно, вводятся величины, позволяющие количественно описывать информационные процессы. Именно эти методы и составляют содержательную основу теории информации.

Теория информации является математической теорией с высокой степенью общности. Она основывается на теории случайных событий, для описания которых применяются понятия вероятность и энтропия.

В рамках самой теории вводится понятие информация и устанавливается ее мера - бит.

Строится теория информации подобно другим теориям в математике: сначала аксиоматически определяются исходные понятия, а затем из них путем рассуждений доказывается справедливость новых положений или теорем - именно таким путем шел основоположник данной теории Клод Шеннон. В дальнейшем изложении большее внимание будет уделено смыслу и значению теорем, нежели их доказательству.