Spôsoby interakcie s virtuálnou realitou majú obrovský dopad na výsledný dojem, akým používateľa vnímajú virtuálnu realitu. Pre čo najprirodzenejšie interakcie s virtuálnou realitou sa v posledne dobe vo veľkom množstve používajú biometrické senzory. Čoraz väčšie množstvo zariadení určených pre ovládanie počítača využíva takéto senzory. Úlohou biometrických senzorov je zachytiť danú biologickú vlastnosť a premeniť ju na elektrický signál, ktorý je možné využiť pre ovládanie aplikácie. Existuje veľa druhov biometrických senzorov a každý je vhodný na iné použitie. Cieľom tohoto článku je poskytnúť krátky opis rôznych senzorov a konkrétne použitie biometrických senzorov zariadenia OyMotion gForce 100.
Biometrické senzory
EMG senzory sú senzory ktoré sú určené na meranie hodnôt svalovej tenzie. Tieto senzory sa umiestnia na jednotlivé svaly a následne poskytujú informácie o napätí jednotlivých svalov. V praxi sa tieto senzory najčastejšie používajú pre rozpoznávanie používateľových gest. Takéto zariadenia majú najčastejšie tvar náramku a obsahujú senzory ktoré sú rozmiestené rovnomerne okolo používateľovej ruky.
IMU senzory sú tvorené buď dvoma alebo troma senzory. Akcelerometer a gyroskop pri dvoch a akcelerometer, magnetometer a gyroskop pri použití troch. Dohromady tvoria tieto senzory IMU jednotku. Táto jednotka je schopná určiť rotácie v jednotlivých osiach a informácie o pohybe. V praxi sa IMU jednotky používajú ako súčasť zariadení a zisťujú polohu daného zariadenia.
Ohybné senzory fungujú na základe nameraného odporu. Takýto senzor má tvar pásika. Ten je tvorený vytlačeným odporovým pásikom s meniacim sa odporom. Odpor takéhoto pásika závisí od toho, ako veľmi je pásik zohnutý. Na základe odporu je možné zistiť ako veľmi je senzor ohnutý. Tieto senzory sa používajú pre získanie informácií o ohybe používateľových kĺbov. Najčastejšie sa tieto senzory používajú v dátových rukaviciach.
Optické senzory sa využívajú hlavne pre snímanie polohy používateľa. Pre presné určenie jednotlivých častí používateľovho tela je možné použiť dva hlavné prístupy. Prvým je použitie špeciálnych bodov umiestnených na používateľovi. Tieto body je následne veľmi jednoduché rozoznať pomocou obrazu v šedej škále a určiť polohu jednotlivých bodov pomocou viacerých kamier. Druhý prístup nevyužíva špeciálne body ale rôzne druhy optických senzorov a používateľa rozpoznáva pomocou analýzy zaznamenaných obrazov. Ďalším použitím je rozpoznanie tvárte alebo pohľadu. Dáta z tváre alebo miesto kam sa používateľ pozerá je možné využiť pre ovládanie programu alebo používateľovho avatara.
Zvukové senzory sa najčastejšie využívajú pre snímanie vzdialenosti od referenčných vysielačov alebo predmetov vo scéne. Takéto vzdialenosti je možné následne využiť pre zistenie polohy zariadenia alebo používateľa. Takéto senzory v poslednej dobe nahradzujú optické senzory, ktoré sa používajú pre snímanie používateľa pri použití virtuálno realitných okuliarov. Výhoda zvukových senzorov oproti optickým je že zvukové senzory nepotrebujú rozmiestnené senzory okolo scény, ale stačia len vstavané senzory v okuliaroch. V poslednej dobe je skúmané využitie zvukových senzorov pre snímanie používateľových gest. Táto technológia využíva dopplerov efekt ktorý hovorí o zmene vlnovej dĺžky pri pohyblivom predmete.
Využitie biometrických senzorov OyMotoion gForce 100
Zariadenie OyMotion gForce 100 je EMG náramok, tento náramok obsahuje EMG a IMU senzory. Tento náramok dokáže rozpoznať 6 gest. Cieľom aplikácie je rozšíriť sadu rozpoznateľných gest a umožniť zaznamenávanie dát. Základ aplikácie tvorí program od Ing. Pastornickeho ktorý už vie komunikovať s náramkom a získať z neho dáta o aktuálnom geste a uhloch náramku.
Rozšírenie sady rozpoznaných gest
Pre rozšírenie sady rozpoznaných gest je najlepšie použiť EMG senzory náramku, avšak výrobca neumožnil prístup k EMG dátam náramku gForce 100, ale len pri použití drahšieho gForce Pro. Preto sú pre rozšírenie sady rozpoznaných gest využité reťazce gest. Tieto reťazce sú tvorené vstavanými gestami náramku. Pri použití reťazcov je možné vytvoriť veľké množstvo nových gest.
Nasledujúca tabuľka zobrazuje počet možností pri použití reťazcov s danými dĺžkami.
| Dĺžka reťazca | Počet možností |
|---|---|
| 2 | 36 |
| 3 | 216 |
| 4 | 1296 |
| 5 | 7776 |
| 6 | 46656 |
| 7 | 279936 |
| 8 | 1679616 |
| 9 | 10077696 |
| 10 | 60466176 |
Kombinácia reťazcov s rôznymi dĺžkami je možná, ale pri takomto použití je možné, že kratšie reťazce budú obsiahnuté v dlhšom reťazci. Preto je potrebné,aby používateľ pri vytváraní reťazcov dával pozor na reťazce, aby kratšie neboli obsiahnuté v dlhších.
Určenie reťazca
Pre určenie reťazca je potrebné, aby aplikácia vedela, aké gestá boli vykonané, preto si aplikácia ukladá históriu posledných desiatich základných gest. Pri rozpoznaní reťazca gesta sa najprv skontroluje, či história obsahuje potrebný počet záznamov pre rozpoznanie daného reťazca. Potom sa z histórie vytvorí reťazec s rovnakou dĺžkou ako kontrolovaný reťazec, ktorý sa následne porovná. Ak sú zhodné, reťazec sa vyhodnotí ako vykonaný a ukončí sa kontrola. Nasledujúci obrázok znázorňuje vývojový diagram práce s gestami.
Grafické zobrazenie reťazca
Pre zobrazenie aktuálne vykonaného reťazca aplikácia vytvorí jeho grafické zobrazenie, ktoré je zobrazené používateľovi. Ako základ tohoto zobrazenie sú použité modelové obrázky gest z manuálu náramku. Tieto obrázky boli zvolené pretože je na nich zobrazené správne vykonávanie jednotlivých gest, ktorý môže pomôcť používateľovi osvojiť si vstavané gestá. Pri rozpoznaní vstavaného gesta sa zobrazí príslušný obrázok daného gesta. Obrázok reťazca je potrebné vytvoriť pre každý reťazec zvlášť. Pre veľký počet možných kombinácií nie je vhodné mať uložené obrázky všetkých možností, preto vždy pri rozpoznaní reťazca aplikácia vytvorí tento obrázok nanovo. Pre vytvorenie takého to obrázku sa najprv vytvorí prázdny biely obrázok ktorý má na dĺžku 346px krát počet gest reťazca a na výšku 246px. Tieto rozmery boli zvolené pretože vytvorené obrázky jednotlivých gest majú rovnaké rozmery a to 346x246px. Následne sa do tohoto pripraveného obrázku vložia obrázky jednotlivých gest reťazca. Takto pripravený obrázok je následne zobrazený aplikáciou.
Používateľské rozhranie aplikácie
Aplikácia obsahuje 3 obrazovky, tieto obrazovky sú znázornené na nasledujúcom obrázku aj s prechodmi. Základná obrazovka ktorá sa zobrazí po otvorení aplikácie je najvrchnejšia. Úlohami tejto obrazovky sú správa pripojenia náramku, zobrazenie dát z náramku, zapínanie rozpoznávania reťazcov gest, nahrávanie dát a prepínanie na ďalšie obrazovky. Ďalšou obrazovkou je obrazovka pre odstraňovanie a prezeranie reťazcov gest, táto obrazovka je ľavá spodná obrazovka. Hlavnou úlohou je zobrazenie všetkách reťazcov ktoré program pozná. V tomto zozname je možné označiť reťazce ktoré chce používateľ odstrániť. Pre uľahčenie vytvárania gest slúži posledná obrazovka. Táto obrazovka obsahuje tlačidla pre pridávanie jednotlivých gest do reťazca. Práve vytváraný reťazec je zobrazený na vrchu obrazovky. Program umožňuje vytvorenie reťazcu dlhého až 10 gest. Posledný obrázok znázorňuje reálne použitie aplikácie.
Záver
Výsledkom je aplikácia ktorá dokáže vytvárať ľubovolné reťazce s použitím vstavaných gest náramku OyMotion gForece 100. Vytvorené gesta je možné pomocou aplikácie spravovať. Pre skúmanie dát umožňuje aplikácia zaznamenávať informácie o gestách. Aplikácia ďalej obsahuje grafické zobrazenie gest a reťazcov gest. Rozpoznávanie reťazcov je možné ľubovolne zapnúť a vypnúť. Táto aplikácia je pripravená na použitie v rôznych systémoch. Podrobnejšiu analýzu biometrických senzorov a podrobnejší popis aplikácie je možné nájsť v diplomovej práci Analýza a spracovanie údajov z biometrických senzorov.