Moderna računalna vizija. Zadaci i tehnologije računalnog vida. Programiranje vizije računala u Pythonu

Kako podučavati računalo da razumije ono što je prikazano na slici ili fotografiji? Čini nam se lako, ali za računalo to je samo matrica koja se sastoji od nula i drugih, od kojih je potrebno izdvojiti važne informacije.

Što je računalna vizija? To je sposobnost računala da "vidi"

Vizija je važan izvor informacija za osobu, uz pomoć toga, prema različitim izvorima, dobivamo 70 do 90% svih informacija. I, naravno, ako želimo stvoriti pametan stroj, moramo provesti iste vještine na računalu.

Zadatak računalnog vida može se formulirati prilično neizrazito. Što je "vidjeti"? Moramo shvatiti gdje se nalazi, samo gledajući. Ovo je razlika između računalne vizije i ljudske vizije. Vizija za nas je izvor znanja o svijetu, kao i izvor metrijskih informacija - to jest, sposobnost razumijevanja udaljenosti i dimenzija.

Semantička srž slike

Gledajući sliku, možemo ga opisati na više načina, tako da kažemo, da bismo izdvojili semantičke informacije.

Na primjer, gledajući ovu fotografiju, možemo reći da je ovo izvan sobe. Što je ovaj grad, ulični promet? Da ovdje ima automobila. Prema konfiguraciji zgrade i hijeroglifima, možemo pretpostaviti da je to Jugoistočna Azija. Prema portretu Mao Zedonga, shvaćamo da je ovo Peking, a ako je netko vidio videozapis ili tamo posjetio, moći će pogoditi da je to poznati trg Tiananmen.

Što možemo reći o slici, s obzirom na to? Možemo odabrati objekte na slici, recimo, postoje ljudi tamo, bliže ovdje je ograda. Ovdje su kišobrani, evo zgrade, ovdje su plakati. To su primjeri klasa vrlo važnih predmeta, koji se trenutno traže.

Također možemo izdvojiti neke atribute ili atribute objekata. Na primjer, ovdje možemo utvrditi da ovo nije portret nekog običnog Kineza, naime Mao Ce-tung.

Prema vozila može se odrediti da je objekt u pokretu, a to je teško, da se ne deformira tijekom kretanja. O zastave može se reći da je to predmeti, oni se kreću, ali oni nisu teško, stalno deformirana. I na sceni je vjetar, što se može utvrditi razvijanjem zastave, a može čak i odrediti smjer vjetra, na primjer, on je puhao s lijeva na desno.

Vrijednost udaljenosti i duljina u računalnom vidu

Vrlo je važno metrike informacije o znanosti o računalnoj viziji. Sve su to udaljenosti. Na primjer, za rover, to je osobito važno, jer zapovijedi iz Zemlje idu oko 20 minuta i odgovor je isti. Prema tome, veza tamo i natrag - 40 minuta. A ako izradimo plan za kretanje Zemaljskih zapovijedi, moramo to uzeti u obzir.

Srećom, tehnologije računalnog vida integrirane su u video igre. Po videozapisu možete izraditi trodimenzionalne modele objekata, osoba i fotografija korisnika koji mogu obnoviti trodimenzionalne modele gradova. A onda hodajte na njih.

Računalna vizija je prilično široko područje. Usko je isprepletena s različitim znanostima. Djelomično, računalna vizija obuhvaća područje obrade slike i ponekad prepoznaje područje računalnog vida, povijesno tako.

Analiza, prepoznavanje uzoraka - način stvaranja viših umova

Mi ćemo analizirati te koncepte zasebno.

Obrada slike je područje algoritama u kojima su ulaz i izlaz slika, a mi već radimo nešto s njom.

Analiza slike je područje računalnog vida koje se fokusira na rad s dvodimenzionalnom slikom i izvlači zaključke iz ove.

Priznavanje slike je apstraktna matematička disciplina koja prepoznaje podatke u obliku vektora. To jest, ulaz je vektor i moramo nešto učiniti s njom. Odakle ovaj vektor nije tako važno da znamo.

Računalna vizija - izvorno je obnova strukture dvodimenzionalnih slika. Sada je ovo područje postalo opsežnije i može se općenito tretirati kao odluka o fizičkim objektima, na temelju slike. To jest ovo je zadatak umjetna inteligencija.

Paralelno s vizijom računala u apsolutno drugom području, u geodeziji se razvila fotogrametrija - to je mjerenje udaljenosti između objekata na dvodimenzionalnim slikama.

Roboti mogu "vidjeti"

Posljednja stvar je strojna vizija. Računalnom vizijom misli se na vidik robota. To je rješenje nekih proizvodnih problema. Možemo reći da je računalna vizija - ovo je jedna velika znanost. Ujedinjuje neke druge znanosti. A kad računalna vizija primi određenu aplikaciju, ona se pretvara u računalnu viziju.

Polje računalnog vida ima puno praktičnih primjena. Povezan je s automatizacijom proizvodnje. U poduzećima postaje učinkovitije zamijeniti ručni rad strojevima. Stroj se ne umara, ne spava, ima neregulirani raspored rada, spreman je za rad 365 dana u godini. Dakle, koristeći se strojnim radom, možemo dobiti zajamčeni rezultat u određeno vrijeme, i to je vrlo zanimljivo. Svi zadaci za računalne sustave vida imaju vizualnu primjenu. I nema ničeg boljeg od gledanja rezultata odmah s slike, samo u fazi izračuna.

Na pragu svijeta umjetne inteligencije

Plus područje - to je komplicirano! Značajan dio mozga je odgovoran za viziju i vjeruje se da ako poučite računalo da "vidi", odnosno da u potpunosti koristi računalnu viziju, onda je to jedan od punih zadaća umjetne inteligencije. Ako možemo riješiti problem na ljudskoj razini, najvjerojatnije ćemo istodobno riješiti problem AI. Što je jako dobro! Ili ne baš dobro, ako pogledate "Terminator 2".

Zašto je vizija teško? Budući da se slika istih objekata može jako razlikovati ovisno o vanjskim čimbenicima. Ovisno o promatranim točkama, objekti izgledaju drugačije.

Na primjer, jedna i ista slika, snimljena iz različitih kutova. A što je najzanimljivije, lik može imati jedno oko, dvije oči ili jednu i pol. I ovisno o kontekstu (ako je fotografija čovjeka u majici s ožiljcima oči), tada oko može biti više od dva.

Računalo još ne razumije, već već "vidi"

Drugi faktor koji stvara složenost je osvjetljenje. Ista scena s različitim rasvjetama izgledat će drugačija. Veličina objekata može varirati. I objekti bilo koje nastave. Pa, kako možeš reći o čovjeku da mu je visina 2 metra? Nema šanse. Visina osobe može biti 2,3 m i 80 cm. Kao i objekti drugih tipova, ipak su objekti iste klase.

Osobito živi objekti prolaze kroz različite deformacije. Kosa ljudi, sportaša, životinja. Pogledajte slike trčanje konja, nemoguće je odrediti što se događa s njihovom grbom i repom. Preklapanje objekata na slici? Ako takvu sliku gurnete na računalo, čak i najsnažniji stroj će teško pronaći pravu rješenje.

Sljedeća vrsta je prerušena. Neki predmeti, životinje su maskirani pod okolinom, i dovoljno vješt. I mrlje su iste i boje. No, ipak ih vidimo, iako ne uvijek iz daljine.

Drugi je problem pokret. Predmeti u pokretu prolaze nezamislivim deformacijama.

Mnogi objekti su vrlo varijabilni. Ovdje, na primjer, u dvije fotografije ispod objekata kao što su "naslonjač".

A na to možete sjesti. Ali podučavati stroju da su takve različite stvari u obliku, boji i materijalu objektima "stolice" - vrlo teško. Ovo je zadatak. Integriranje metoda računalnog vida je naučiti stroj da razumije, analizira i pretpostavlja.

Integracija računalnog vida u različite platforme

U misi, računalna vizija počela je prodrijeti još 2001. godine, kada su stvoreni prvi detektori lica. Jesu li ova dva autora: Viola, Jones. To je bio prvi brz i dovoljno pouzdan algoritam koji je pokazao moć metoda strojnog učenja.

Sada računalna vizija ima prilično nova praktična primjena - prepoznavanje osobe po licu.

No, nemoguće je prepoznati osobu, kao što je prikazano na filmovima - po proizvoljnim kutovima, s različitim uvjetima osvjetljenja. No, da se riješi problem, ili onaj koji je različitih ljudi s različitim osvjetljenjem ili u drugom stavu, slično kao na fotografiji u putovnici, moguće je s visokim stupnjem pouzdanosti.

Zahtjevi za fotografije putovnica uglavnom su zbog posebnosti algoritama prepoznavanja lica.

Na primjer, ako imate biometrijsku putovnicu, u nekim suvremenim zračnim lukama možete koristiti sustav automatskog upravljanja putovnicom.

Neriješeni problem Računalna vizija je mogućnost prepoznavanja proizvoljnog teksta

Možda je netko koristio sustav prepoznavanja teksta. Jedan od njih je Fine Reader, vrlo popularan sustav u Runetu. Postoje mnogi oblici u kojima morate popuniti podatke, oni su savršeno skenirani, informacije su prepoznate od strane sustava vrlo dobro. Ali s proizvoljnim tekstom na slici stvari su mnogo gore. Ovaj zadatak ostaje neriješen.

Igre koje uključuju računalnu viziju, snimanje pokreta

Zasebno veliko područje je stvaranje trodimenzionalnih modela i snimanja (što je prilično uspješno implementirano u računalnim igrama). Prvi program, pomoću računalnog vida, sustav je interakcije s računalom uz pomoć gesta. Kada je stvoren, bilo je mnogo toga što je bilo otvoreno.

Sam algoritam je vrlo jednostavan, ali za njegovo konfiguriranje bilo je potrebno stvoriti generator umjetnih slika ljudi kako bi dobili milijun slika. Superkompjuter sa svojom pomoći otkrio je parametre algoritma, prema kojemu sada najbolje funkcionira.

Tako je milijun slika i tjedan dana računalnog vremena superračunalo dopustio stvoriti algoritam koji troši 12% snage jednog procesora i omogućuje vam da u stvarnom vremenu prepoznajete položaj osobe. Ovo je sustav Microsoft Kinect (2010).

Pretraživanje slika po sadržaju omogućuje vam prenošenje fotografije u sustav, a po rezultatima će se prikazivati ​​sve slike s istim sadržajem i snimljene iz istog kuta.

Primjeri računalnog vida: trodimenzionalne i dvodimenzionalne karte sada se izrađuju s njom. Karte za navigatore automobila redovito se ažuriraju prema podacima DVR-ova.

Postoji baza s milijardama fotografija s geometrijom. Prijenos snimke u ovu bazu podataka možete odrediti gdje je izrađen, pa čak i iz koje perspektive. Naravno, pod uvjetom da je mjesto vrlo popularno, da su u jednom trenutku bili turista i napravili seriju fotografija tog područja.

Roboti su posvuda

Robotika je sada posvuda, bez njega. Sada postoje automobili u kojima postoje posebni fotoaparati koji prepoznaju pješake i prometne znakove kako bi prolazili naredbe vozaču (to je u određenom smislu računalni program vida koji pomaže entuzijastu automobilu). A tu su i potpuno automatizirani roboti, ali se ne mogu osloniti samo na sustav fotoaparata bez puno dodatnih informacija.

Moderna kamera analogna je kamera obscura

Pričajmo o digitalnoj slici. Moderni digitalni fotoaparati izgrađeni su na principu camera obscure. Samo umjesto rupa kroz koji zraka svjetlosti prodire i projicira konturu objekta na stražnjem zidu kamere, imamo poseban optički sustav nazvan objektom. Njegova je zadaća sastaviti veliku svjetlosnu zraku i transformirati ga na takav način da sve zrake prođu kroz jednu virtualnu točku kako bi se dobila projekcija i oblikovale sliku na filmu ili matrici.

Moderni digitalni fotoaparati (matrica) sastoje se od zasebnih elemenata - piksela. Svaki piksel vam omogućuje da izmjerite energiju svjetlosti koja ukupno pada na taj piksel i izlaze jedan broj. Stoga, u digitalnoj kameri, umjesto slike dobivamo skup mjerenja svjetlosti svjetlosti koja pada u pojedinačni piksel - računalo vidno polje. Stoga, kad je slika uvećana, ne vidimo glatke linije i jasne konture, već rešetke piksela koji su obojeni u različitim tonovima - piksela.

Ispod možete vidjeti prvu digitalnu sliku na svijetu.

Ali što nedostaje na ovoj slici? Boji. A što je boja?

Psihološka percepcija boje

Boja je ono što vidimo. Boja objekta, isti objekt za čovjeka i mačku bit će drugačiji. Budući da mi (u ljudi) i životinje imaju optički sustav - viziju, to je drugačije. Stoga, boja je psihološko svojstvo naše vizije koja proizlazi iz promatranja predmeta i svjetla. A ne fizička svojstva objekta i svjetla. Boja je rezultat interakcije komponenti svjetla, scene i našeg vizualnog sustava.

Programiranje vizije računala u Pythu pomoću knjižnica

Ako odlučite ozbiljno proučiti računalnu viziju, odmah se pripremite za niz poteškoća, ova znanost nije najjednostavnija i skriva brojne zamke. No, "Programiranje računalnog vida u Pythu" u autorstvu Jan Erik Solem je knjiga u kojoj se sve nalazi na najjednostavnijem mogućem jeziku. Ovdje ćete se upoznati s metodama prepoznavanja raznih objekata u 3D tehnologiji, naučiti kako raditi s stereo snimkama, virtualnoj stvarnosti i mnogim drugim računalnim vidnim aplikacijama. Postoji dovoljno primjera u knjizi u Pythu. No, objašnjenja su prikazana, tako da kažem, na opći način, kako ne bi preopteretila previše znanstvenih i teških informacija. Rad odgovara studentima, samo ljubiteljima i entuzijastima. Možete preuzeti ovu knjigu i druge o računalnom vidu (pdf-formatu) online.

Trenutno postoji otvorena knjižnica algoritama za računalnu viziju, kao i obradu slike i numeričke algoritme za OpenCV. To se provodi u većini modernih programskih jezika, ima otvoreni kôd. Ako govorimo o računalnoj viziji, Python ga koristi kao programski jezik, ona također ima podršku ove knjižnice, osim toga, ona se stalno razvija i ima veliku zajednicu.

Microsoft pruža svoje Api usluge, koje mogu obučiti neuronske mreže za rad s slikama pojedinaca. Postoji i mogućnost primjene računalnog vida, Pythona kao programskog jezika.