Teorija informacija

Osnovni pojmovi ove teorije uvedeni su u četrdesetima dvadesetog stoljeća od strane K. Shannona. Teorija informacija je znanost o procesima prijenosa, skladištenja i pronalaženja podataka u prirodnim, tehničkim i društvenim sustavima. U mnogim primjenama znanstvenih područja kao što su informatika, lingvistike, kriptografiju, teorija kontrole, obrada slike, genetike, psihologije, ekonomije, organizacije proizvodnih metoda koristi ovu znanost.

U suvremenim uvjetima informacija teorija vrlo usko povezana s teorijom kodiranja obzirom najopćenitije problem podudaranje između signala i poruka i teorije obrade signala, pri čemu je kvantizacija studirao i oporavak signala i spektralne i korelacijska analiza istih.

Teorija informacijskih podataka u najvećoj mjeri razmatra osnovni pojam "informacija" s kvantitativne strane, ne uzimajući u obzir njegovu vrijednost, a ponekad i značenje. U ovom pristupu, stranica teksta sadrži otprilike istu količinu podataka određuje po broju znakova i simbola, a ne ovisi o činjenici da je, strogo govoreći, postoji tiskanom, čak i ako je apsolutno besmislena i kaotična skup nekih simbola.

Takav pristup je legitiman, ali samo za modeliranje komunikacijskih sustava, budući da moraju točno prenijeti informacije komunikacijski kanali, što može biti predstavljeno bilo kojim skupom znakova i simbola. Istodobno, kada je potrebno uzeti u obzir vrijednost i značenje podataka, kvantitativni je pristup neprihvatljiv. Takve okolnosti nameću značajna ograničenja na područja mogućeg primjene ove teorije.

Osnove teorije informacija uključuju razmatranje različitih pitanja, uključujući one izravno povezane s prijenosom i primanjem podataka. Osnovna shema komunikacije, koja se razmatra u nastavi, je sljedeća. Teorija informacija i kodiranja smatra da su podaci izrađeni izvornim porukama, što je riječ ili skup riječi napisanih slovima određene abecede. Izvor poruke može biti tekst na bilo kojem prirodnom ili umjetni jezici, ljudski govor, baze podataka i neke matematički modeli, stvarajući niz slova. Predajnik pretvara poruku u signal koji odgovara fizičkoj prirodi komunikacijskog kanala - mediju za prijenos signala. Tijekom prolaska takve smetnje, koja uvodi izobličenja u vrijednosti informacijskih parametara, može djelovati na njemu. Prijemnik vraća izvornu poruku prema signalu koji je primljen iskrivljenim. Poruka u obnovljenom obliku dolazi do primatelja - neke osobe ili tehničkog uređaja.

Jedan od važnih problema teorije informiranja je koordinacija komunikacijskog kanala i informacijskih svojstava izvora poruka. kapacitet određuje se mjernom jedinicom od 1 bita u sekundi.

Jedan od problema komunikacijskih sustava je smetnja u putu korisnog signala. Shannonov teorem, na žalost, ne daje konkretnu metodu za rješavanje takvog. Najjednostavnija metoda eliminacije, koja se sastoji u ponovljenom ponavljanju poruka, nije vrlo učinkovita, jer je potrebno puno vremena prijenos podataka. Snažnije je korištenje kodova koji mogu otkriti i ispraviti pogreške u prijenosu informacija.