← Späť na SVR - EXAM

Super ultra mega vycuc je na strane 91. Good luck :)

Quick Links

Vycuc Vypracovane

Navigation

1. Virtuálna realita, historické nadväznosti, základné pojmy, atribúty a technológie, avatar,
2. Kategorizácia VR systémov podľa úrovne technických prostriedkov a na základe dynamiky pozorovateľa a prostredia
3. VR systém a jeho podsystémy, interakcia vo VR systémoch ooo)
4. X-realita (XR), Hyper-realita, adaptabilita rozhraní XR systémov
5. Technológia digitálneho dvojčaťa
6. Zmiešaná realita, funkcia systému ZR, klasifikácie ZR
7. Typy ZR a možnosti ich využitia
8. Proces práce aplikácie ZR, implementácia značkovanej AR,
9. Metódy detekcie v ZR systémoch
10. Kolaboratívna XR/VR, definícia, vlastnosti, klasifikácia, typy, využitie
11. Lokálne a globálne zdieľané systémy
12. Koncepcie aplikačnej architektúry kolaboratívnej XR/VR
13. Zdieľané virtuálne prostredia, ich konzistencia a modely.
14. Vlastníctvo údajov a virtuálnych objektov v systémoch zdieľanej XR/VR,
15. Interakcia používateľov v systémoch zdieľanej XR/VR a viacpoužívateľský prístup, mechanizmy riadenia, bezpečnosť viacpoužívateľského prístupu. .
16. Základné implementačné stupne XR systému
17. Koncepcia distribuovaného systému XR .
18. Základný návrh XR systému na interakčnej báze, jeho rozhranie a bázické koncepcie
19. Proces interakcie v XR systémoch na jednotlivých stupňoch detailnosti.
20. Konštrukcia voľne viazaných, tesne viazaných a kombinovaných XR systémov voľne-viazané:
21. Adaptívne rozhrania XR systémov podľa účelu nasadenia
22. XR a bio-senzorické rozhrania
23. Priestorové zobrazovanie - stereoskopické videnie a jeho proces, vlastnosti oka, rozlišovacia schopnosť, zorné pole, akomodácia a konvergencia, faktory priestorového videnia
24. Priestorové zobrazovanie - technológie stereoskopického a priestorového zobrazovania, KPI FEI TU Košice Systémy virtuálnej reality 2
25. Stereogramy
26. Stereoskopia – anaglyfické zobrazenie
27. Stereoskopia – polarizácia, infitec, autostereoskopia
28. Priestorové zobrazovanie – hĺbkový vnem, problémy zobrazovania v datových prilbách, stereoskopická súradnicová sústava, virtuálne kamery
29. Stereoskopické zobrazovacie systémy
30. Kolízie vo virtuálnych scénach, typy kolíznych senzorov, modely kolíznych objektov, dôvody riešenia kolízií
31. Detekcia kolízie, algoritmy detekcie kolízie, fázy detekcie kolízie
32. Algoritmy riešenia kolízií vo virtuálnych scénach
33. Pohyby modelov, tvorba kinematického reťazca
34. Pohyby modelov, kĺbová štruktúra, priama kinematika
35. Pohyby modelov, kĺbová štruktúra, inverzná kinematika
36. Rozhrania XR systémov, rozhranie ako transformácia, bioadaptované a naturálne rozhrania
37. Adaptívne rozhrania XR systémov a proces adaptácie vstupov a výstupov
38. Virtualizačný reťazec a jeho realizácia, práca s virtuálnym svetom, vizualizačný subsystém, sledovanie polohy, zobrazovacie systémy, 3D tlač a vytváranie reálnych objektov
39. Vizualizácia, vykresľovanie, vizualizačné jadrá a grafické architektúry
40. Paralelné vykresľovanie (paralelný rendering), koncepcie paralelných algoritmov
41. Paralelizmus v grafických architektúrach
42. Klasifikácia grafických architektúr a ich porovnanie
43. Technológia GPGPU základné pojmy, architektúra, rozvoj, prostriedky
44. Programová implementácia XR systému a jej hierarchia
45. Postup spracovania požiadaviek na XR systém
46. Virtuálny priestor a jeho parametre
47. Reprezentácia a popis virtuálneho sveta a objektov, elementy, vlastnosti, vzťahy,
48. Súradnicové sústavy, súradnicové sústavy vyšších rádov, vzťahy priestorov,
49. Quaternióny súradnicový systém, Eulerove uhly, Eulerov teorém, základné pojmy
50. Quaternióny a rotácia, rotácia okolo všeobecnej priamky, gimbal lock, definícia

1. Virtuálna realita, historické nadväznosti, základné pojmy, atribúty a technológie, avatar,

VIRTUÁLNA REALITA (Virtuálno-realitný systém)

• interaktívny počítačový systém, vytvárajúci ilúziu neexistujúceho len syntetizovaného priestoru

• ● dokonalá simulácia v prostredí tesného spojenia človek výpočtový systém

• Poznámka: fantázia nie je VR

• 3 zákl. atribúty VR:

• imerzia – používateľ je pohltený do prostredia, vníma prostredie emocionálne, ako ten svet pôsobí, ako pôsobí emocionálne, či máme pocit že v tom prostredí naozaj sme

• percepcia – prítomnosť používateľa v prostredí, vníma prostredie dimenzionálne, napríklad s použitím stereoskopie (aby používateľ vnímal svet do hĺbky)

• interakcia – komunikuje a interaguje s prostredím, zníženou interakciou znižujeme aj imerziu aj percepciu

• Všetky 3 sú dôležité a sú navzájom späté, jeden bez druhého nemôže byť, potrebné ich mať čo najlepšie nezávisle od ceny (obmedzenia pc)

Historické súvislosti:

• Totálna simulácia – pojem pred vznikom VR (predchodca VR)

• Trenažér torpédového bombardéra (Crail, Škótsko, VB, 1940)

• Telesphere mask (Morton L. Heilig 1960)

• predchodca dátovej prilby (Oculusu)

• Sensorama (Morton L. Heilig)

• motocyklovanie Brooklynom

• neskoršie verzie mali aj vône a vietor

• statická HMD (head mounted display) (I. Shutherland 1963)

• Shutherland vyvinul aj prvý skicár

• Osobnosti: Morton L. Heilig, Ivan Shutherland, Ronald T.Azuma, Jaron Lanier (zaviedol pojem “virtuálna realita”), Nadja M.Thalmann (pôsobí v Európe, Sobota ju nazval ako VR guru)

• Sobota spomínal k tým historickým súvislostiam aj to, ako sa vyvíjal aj ich VR labák na KPI, no hádam to nebude treba vedieť na skúšku

Pojmy:

• Virtual reality

• Vysvetlené vyššie, snaží sa človeka „oblbnúť“ na základe využitia 3 vyššie spomenutých vlastností

• Fuzzy reality

• „zdanlivá realita“

• VR na cenovo dostupnej hladine

• Spravíme VR najlepšie ako sa dá, no používateľ vie, že bude klamaný (chce byť klamaný) – napr. simulácia alebo videohra

• Nižšia úroveň 3 vlastností oproti plnohodnotnému VR

• Mixed reality (augmented)

• Miešanie reálnych a virtuálnych prvkov na rôznej úrovni s použitím rôznych prostriedkov

• Shared (Collaborative) reality

• Umožňuje v danom VR prostredí pracovať viacerým používateľom naraz

• Potrebná dobrá sieťová infraštruktúra

• eXtended Reality – Cross-Reality (XR, Virtual+Augmented+Mixed=eXtended)

• nie je to ďalšia kategória reality, ale je to zjednotená aplikačná platforma, ktorá môže používať rôzne prvky z tých 3 realít na dosiahnutie imerzie, percepcie a interakcie

• Hyper reality (kombinácia VR, MR, AR, technologicky, vrátane fyzickej kombinácie)

• XR plus fyzická kombinácia ďalších zariadení ktoré nemusia patriť do týchto technológií

• Moc som to nepochopila tbh

• Cyberspace - krátko používaný pojem, nahradil ho potom pojem “virtuálny priestor”

• Pozorovateľ, cybernaut - tiež málo používaný pojem, nahradil ho pojem “avatar”

HCI – Human Computer Interaction

• Interakcia človeka s počítačom

• zaoberá sa návrhom, vyhodnotením a realizovaním interaktívnych výpočtových systémov pre použitie človekom a štúdiom hlavných javov, ktoré ich obklopujú

• dominantné sú UI

Technológie, kt. spadajú pod VR

• Telerobotika

• Ovládanie robotov na diaľku, napr. drony

• Teleprezencia

• účasť na vzdialenom deji, napr. online meetingy

• Teleriadenie

• napr. forma virtuálnej výuky alebo forma virtuálnej konštrukčnej kancelárie

• Virtualizovaná realita (virtualized reality, VdR, iba na báze reality)

• nie virtuálna!

• Môže byť virtuálna, ale postavené na báze reálne existujúceho prostredia – je to jeho model

• model reálneho miesta

• Zmiešaná realita (mixed reality, MR)

• Obohatená realita (enriched reality, ER)

• Rozšírená realita (augmented reality, AR)

• Rozšírená virtualita (augmented virtuality, AV)

• Zdieľaná (kolaboratívna) realita (SVR/CVR)

• Metaverzum (Metaverse)

==> picture [481 x 47] intentionally omitted <==

Avatar

• zástupca pozorovateľa vo virtuálnom prostredí

• z Avatara(sanskrit) - inkarnácia naj/vyššej bytosti (boha) na Zemi

• Psycho-morfologická štruktúra reprezentujúca používateľa vo virtuálnom svete

• Základné vlastnosti avatara:

  • Morfologicko-vizuálne

    • Najzákladnejšia vlastnosť

    • Keď avatar vyzerá jak človek je najprirodzenejšie

  • Schopnosti/možnosti vo virtuálnom svete

    • Dané pre konkrétneho avatara

  • Limity vo virtuálnom svete

  • Implementačná štruktúra

    • Ako je programovo implementovaný

• Implementácia avatara závisí od typu systému VR, hlavne po vizuálnej stránke

• Implementácia avatara:

• Naľavo je najčastejšia štruktúra implementácie avatara(Sobota povedal digitálneho dvojčaťa ale hádam sa len pomýlil): hlava, telo, interakcia

• Potom sú rôzne implementácie podľa platformy – hlavne čo sa týka vizualizácie

• Kamera je často pripojená k hlave, v prípade stereoskopie sú to 2 kamery

• Telo je používané na systém kolízií avatara

• Interakcia na rôznej úrovni

• Následne avatara implementujeme

2. Kategorizácia VR systémov podľa úrovne technických prostriedkov a na základe dynamiky pozorovateľa a prostredia

Kategorizácia VR systémov:

• Podľa úrovne V/V prvkov:

• Entry VR

• volá sa aj vstupná VR alebo desktop VR ■ Na interakciu s VR prostredím používa len základné I/O prvky (klávesnica, monitor, myš)

• ○ Basic VR ■ Zahŕňa entry VR ale obsahuje aj iné bežne dostupné I/O prvky, ktoré viac uľahčujú interaktivitu (napr. joystick)

• Medium VR ■ Používa stále do istej miery dostupné I/O prvky (napr. Volant, špeciálne kreslá, VR prilby/okuliare), vyžadujú si programovú podporu v rámci VR

• ○ Immersive VR ■ Zahŕňa I/O prvky, ktoré už nemusia byť bežne dostupné ■ Snažia sa čo najviac “oblbnúť” vnímanie človeka

• Podľa dynamiky prostredia a pozorovateľa:

• SESO – Static Environment Static Observer

  • Používateľ a prostredie spolu nevedia dynamicky interagovať ■ Napr. fotka

• DESO – Dynamic Environment Static Observer

  • dynamika prostredia môže byť podľa zložitosti vypočítavaná online alebo offline (viď. obrázok nižšie)

  • ■ Môže mať napr. zvuk a hĺbku ■ Prostredie je tým pádom dynamické ■ používateľ s prostredím stále nevie interagovať ■ Napr. Film alebo animácia, hra

• SEDO – Static Environment Dynamic Observer

  • Prostredie je statické, nevplýva na používateľa

  • Používateľ môže ovplyvňovať toto prostredie

  • Napr. 3D editory ako Sketchup alebo Blender (čiže 3D modelovacie nástroje sú VR tf??)

• DEDO – Dynamic Environment Dynamic Observer ■ Niektoré krajiny uznávajú iba DEDO ako VR stupeň

• Hierarchia:

○

• SESO je podkategória DESO a tak ďalej

• Kategorizácia DEDO VR systémov:

• Vyššie skratky pre DEDO, veľmi sa ale nepoužívajú, skôr označujú ako “procedurálne DEDO”

• Máme možnosť vplývať na viacero vecí (typ prostredia, počet avatarov, riadenia avatarov)

• Čiže skratky môžu byť napríklad DLEDO, DNEDO

• Non-human natural – napriklad pes

• ☝☝☝☝☝☝☝

• Non-human artificial – napr. keď za pohybom a rozhodovaním hráča je umelá inteligencia

○

• DEDSHO – dynamic environment single human observer

• 1 dominantný používateľ

• Do hry vstupuje rozhranie – dosť podstatnú zložku (či už VR alebo XR) tvoria spôsoby rozhrania, ako by ten človek interagoval s tým daným virtuálnym prostredím, čo najlepšie a najbližšie svojim možnostiam

• Jadro systému

• Reaguje na príkazy zo vstupného systému

• Vstupný systém prekladá príkazy z rôznych typov vstupných zariadení (klávesnica, joystick, sieťová komunikácia)

  • Multimodálny systém = je možné rôznymi vstupmi ovládať tú istú záležitosť v zmysle jadra (inak jednoducho povedané, že ten istý príkaz môže byť vykonaný viacerými vstupmi, čiže napríklad nejaký príkaz môže zadať na vykonanie aj používateľ ale aj program/skript aj sieťová komunikácia)

• Keď jadro vyrenderuje obraz tak výstupný podsystém prispôsobí tento obraz na jednotlivé výstupné prvky

○

• Vyšší stupeň interakcie než DEDSHO

• DEDMNO – dynamic environment multi observer (kde je N??)

• Pribudli viacerí používatelia a výpočtové systémy

• Bežný je systém interakcie cez sieť

• Medzi používateľmi sa môže nachádzať aj spectator - to je používateľ, ktorý sa môže pozerať ale nemôže interagovať s prostredím

3. VR systém a jeho podsystémy, interakcia vo VR systémoch ooo)

idk či interakciu myslí DEDMNO alebo DEDSHO z otázky vyššie

Podsystémy VR

• 1. 1. 1. sú bázické podsystémy, očakáva sa že každý VR systém ich bude mať

• Ostatné podsystémy nemusia byť

• Najvyššie postavený je vizualizačný podsystém, keďže ľudia prijímajú najviac informácií zrakom

• Vizualizačný tvorí 80 percent, akustický podsystém tvorí cca 12 percent VR, statokinetický a kinetický podsystém cca 5 percent, ostatok asi 3 percenta

4. X-realita (XR), Hyper-realita, adaptabilita rozhraní XR systémov

X-REALITNÝ SYSTÉM (XR)

• stal sa súčasťou nadradenej technológie

• = cross reality, extended reality

• predstavuje inovatívnu oblasť, aplikačnú platformu, ktorej účelom je zjednotiť technológie VR, MR, AR na aplikačnej úrovni

●

• umožňuje sa rozhliadať okolo seba (rotácia kamery), no nedokážeme sa hýbať

• 3 základné zložky:

• VR

  • Reprezentuje virtuálny priestor

• AR (augmented reality, rozšírená, obohatená realita)

  • Reálne prostredie okolo používateľa je mu ponúknuté pomocou nejakého média, napr. cez kameru je nasnímané okolie a jej výhľad je používateľovi ponúknutý, potom je do tohto výhľadu je priradený virtuálny objekt(y)

• MR (mixed reality, zmiešaná realita)

  • Implementácia pomocou transparentných displejov a HMD prilieb

  • Vnímanie reality nie je pomocou média ale pomocou zraku (what)

  • MR je najzložitejšie na implementáciu - treba skĺbiť realitu, ktorú náš mozog vidí a do toho treba koncepčne vložiť vizuálne prvky

• Všetky zložky zdieľajú rovnaký koncept zahrnutia virtuálnych/syntetických objektov/prvkov do reality:

• či už v podobe plne virtuálneho priestoru (napr. virtuálne okuliare (HMD)) – VR

• v podobe premietania virtuálnych prvkov a reality pomocou média (napríklad pomocou kamery) – AR

• v podobe vnímania reality vlastnými očami, kde sa virtuálne prvky projektujú napr. na transparentné displeje alebo inými výstupnými efektmi (Hologramy, okuliare MS Hololens) – MR

• vrátane podpory multimodálnosti vstupno/výstupných zariadení

• Implementácia XR:

• VR je plne syntetický priestor

• Potom pri AR vidíme cez médium sprostredkovaný priestor

• Pri MR používame transparentné displeje, vidíme reálny svet a tie displeje slúžia na zobrazenie virtuálnych prvkov

• Hyper-realitný systém (HR)

• Nadriadený XR

• • XR systém je súčasťou reálneho, ale nie všetko musí byť reálne (??)

  • Napravo je ukážka HR systému - cez displeje nevidíme realitu ale nejaký obsah zobrazovaný vo virtuálnej jaskyni

• 2 koncepty - HR ako súčasť SMART prostredia:

  • SMART prostredie je nadriadené a HR systém je podriadený

  • HR systém má v sebe prvky SMART prostredia – napr. Keď chceme testovať IoT prvky v simulácií virtuálneho prostredia

• Metaverzum

• Web 3.0

• Umožňuje zdieľanie virtuálneho priestoru

• Idea novej verzie internetu Web 3.0 založená na vrstvených 3D zobrazeniach a blockchain technológií (najmä kvôli lepšej kontrole používateľov nad svojim digitálnym vlastníctvom) s použitím najmä headsetov pre XR (rozšírenie HR).

• Rozdiel oproti HR: Metaverzum definuje prepojená sieť virtuálnych 3D svetov. (HR systém toto nepozná)

• Vyššia vrstva k sociálnym sieťam

• Metaverzum vytvára priestor pre stretávanie sa, hranie sa, digitálne umenie, dizajn ale aj architektúru či marketing.

• Metavezum môže byť v blízkej budúcnosti univerzálna platforma pre zdieľanú/kolaboratívnu realitu a jeho používanie môže byť častejšie a imersívnejšie ako súčasné komunikačné nástroje.

• Nevýhody:

• používanie okuliarov - problém s dlhým nosením (niekoľko hodín)

• Otázka, či ľudia chcú takto žiť po psychickej stránke

5. Technológia digitálneho dvojčaťa

• Koncept digitálneho dvojčaťa

• zber dát z (výrobných) procesov, ich vyhodnocovaní a následnom optimalizovaní s využitím aj technológií VR/XR

• jedná sa o sofistikovaného avatara výrobku/procesu s orientáciou na virtualizáciu výrobného procesu ale aj v urbanistickom plánovaní a stavebníctve, zdravotníctve či v automobilovom priemysle

• Úlohou digitálneho dvojčaťa je (nie len ale aj) simulovať daný výrobok/proces v digitálnej forme a relatívne rýchlo, exaktne a človeku prijateľne prezentovať napríklad celkový 3D model výrobku/procesu (aj z rôznych pohľadov) prípadne usporiadať resp. optimalizovať poradie výrobkov/zákaziek tak, aby výroba vzhľadom na aktuálny stav resp. plán vyprodukovala čo najviac výrobkov alebo ich vyprodukovala čo najrýchlejšie či najlacnejšie

• avatar a digitálne dvojča veľmi pasujú

• simuluje prácu s avatarom reálneho objektu (tj. digitálnym dvojčaťom)

• testovanie schopnosti reálneho objektu

• čím viac schopností preberá avatar/dig. dvojča, tým môže byť simulácia lepšia

• Snaha vo virtuálnom svete vytvoriť dvojča objektu (človek, výrobok, hocijaký reálny objekt objekt), ktorého napríklad vlastnosti chceme skúmať

○

• Ak chceme využiť reálny objekt a jeho vlastnosti vo VR, musí nastať tzv. Virtualizácia - snažíme sa modelovaním alebo programovaním

dosiahnuť čo najviac vlastností a schopností irl objektu, aby to dokázalo aj digitálne dvojča

• Vlastnosti digitálneho dvojčaťa

• i. Virtuálny objekt

• ii. Virtuálne prostredie, v ktorom je dig. dvojča implementované

• Moduly, kt. sa dajú implementovať:

■

• Avatar vs. Digitálne dvojča

• Nie je to úplne to isté, môžu ale zdieľať niektoré prvky

• Porovnanie avatara a digitálneho dvojčaťa ak ide o reálny objekt, ktorý chceme skúmať:

○

• Digitálne dvojča niektoré vlastnosti irl objektu (napr. človeka) spĺňať musí, u avatara je to nepovinné

• ■ Avatar nemusí vyzerať ako reálny objekt, digitálne dvojča musí

6. Zmiešaná realita, funkcia systému ZR, klasifikácie ZR

ZMIEŠANÁ REALITA (MR) (definícia podľa Azumu)

• Najmladší typ reality, najnáročnejší

• Kladie nároky na výpočtový výkon

• Zmiešaná realita (mixed reality, MR) je oblasť počítačového výskumu zaoberajúca sa kombináciou reálneho sveta a počítačom generovaných dát (virtuálnej reality), kde počítačom generované syntetické objekty sú vmiešavané do reálneho prostredia a naopak, v reálnom čase

• Základné charakteristiky MR (zadefinoval Azuma):

  1. Kombinuje reálne a virtuálne prvky

  2. Je interaktívna

  3. Procesy ako vizualizácia, kombinácia prvkov a interakcia prebiehajú v reálnom čase

  4. Systém pracuje v troch dimenziách

     • a. Virtuálne prvky vieme vracať v čase, reálne nie (duh)

• Považovaná za definitívne pohlcujúci systém

• Klasifikácia MR:

• Milgramovo continuum

■

• Rozšírená realita = viac reálnych prvkov, syntetických prvkov je menej

• Rozšírená virtualita = menej reálnych prvkov, syntetických prvkov je viac ■ Augmented znamená rozšírenie, že tá realita/virtualita, ktorá je obohatená o príslušné prvky, je sprostredkovaná cez niečo (myslím že tým myslel technológie)

• Mannova Klasifikácia

■

■

• Vyšší stupeň klasifikácie

• Medialita = sprostredkovanie cez nejaké medium

• Vyššie nad AR a AV sú MeR a MeV

• To čo vnímame je subjektívna záležitosť nie nás ale toho kto to sprostredkovanie riadi, napr. kameraman ukazuje len to čo máme vidieť

• ■ Medzi MeR alebo MeV patria napríklad fejkové videá (FEIkové?) vytvorené cez AI

• Medialita

• Je to interaktívne rozhranie pri styku 2 alebo viacerých rozdielnych svetov

• (ďalej sú zo slajdov imo celkom shitné definicie)

• Sprostredkovanie z hľadiska tejto technológie je rozšírený pojem zahrňujúci aj isté prvky prenosu zviditeľnenia (vizualizácie) do iného formátu t.j. transformáciu objektov do „mediálnej“ podoby.

• Mediácia - proces prevádzania (transformácie) údajov v rámci vytvárania resp. presunu objektov zahrňujúci aj množinu transformácií umožňujúcich transport údajov na zviditeľnenie (vizualizáciu)

• Medialita je potom chápaná ako interaktívne rozhranie t.j. prostredie styku rozdielnych svetov. Jedná sa teda o mieru možného prepojenia medzi heterogénnymi svetmi, v ktorých sú využívané rozdielne formy sprostredkovania (zviditeľnenia, vizualizácie).

7. Typy ZR a možnosti ich využitia

Typy MR systémov

• Podľa toho ako je výsledný vizuálny vnem komponovaný ○ Najzákladnejšie rozdelenie

• MR s nepriamym sprostredkovaným pohľadom

  • Nepriehľadný displej

  • Zariadenie má kameru

  • Jeho výpočtový systém môže ale nemusí upravovať vstupný obraz z kamery

  • Obraz je kúštik opozdený oproti optical see-through

  • Implementačne menej náročný na implementáciu oproti optical see-through

  • Takto fungujú napr. Meta Quest Pro

• MR s priamym sprostredkovaným pohľadom

  • Používa (polo)priehľadné displeje

  • Používateľ priamo vidí reálny svet okolo seba

  • Virtuálne objekty sú generované do výhľadu používateľa

  • Náročny na implementáciu

  • V reálnom čase musí zosnímať reálny pohľad, zistiť jeho projekčnú maticu, spätne musí dešifrovať projekciu reálneho sveta k očiam používateľa aby sa dali vygenerovať objekty do scény a umiestniť ich tam tak aby vyzerali ze tam reálne sú

  • Takto fungujú napr. Microsoft HoloLens

• Podľa synchronizácie virtuálnej a reálnej scény/objektov

• systémy s exaktnými značkami (markered systems)

  • do reálnej scény sa umiestnia špeciálne značky, ktoré sú počas behu rozpoznané a nahradené virtuálnymi objektmi

  • Sú to celkom staré systémy

  • V súčasnosti najčastejšie rozpoznávanie QR kódov

• systémy bez (exaktných) značiek (semimarkerless, markerless systems)

  • vyhodnocovanie a vkladanie je bez exaktných značiek, avšak sú potrebné iné doplnkové informácie napr. rozpoznanie obrazu, tváre príp. GPS alebo Wifi signál , 3D sken v reálnom čase a pod.

  • Do scény sa vkladajú reálne objekty, ktoré sú rozpoznané v obraze a sú nahrádzané virtuálnymi objektami

• Podľa prostredia, kde sa odohráva

• Interiérové MR systémy

  • najzákladnejšie

• Exteriérové MR systémy

  • Ťažšie sa implementujú

• Kombinované MR systémy (kombinácia interiérových a exteriérových)

  • V stavebníctve sa používajú napríklad skelety na odvodenie súradnicovej sústavy na navrhnutie budúcej stavby

• Podľa toho, ako v priestore dochádza k synchronizácií

• Obohatená realita (enriched reality ER)

  • Vmiešame syntetické prvky do reálneho sveta, ale tieto prvky nemajú priamu geometrickú väzbu s reálnym svetom (nepotrebujeme rátať projekčnú maticu reálneho sveta) (viď. obrázok)

  • Používa Google Glass

  • Reálny svet je obohatený o extra informácie

• Rozšírená realita (Augmented reality)

  • Syntetické prvky sú vmiešané do reálneho sveta, ale tieto prvky majú priamu geometrickú väzbu s reálnym svetom (potrebujeme rátať projekčnú maticu reálneho sveta)

  • Je tým pádom implementačne a výpočtovo zložitejšia

■

• Napríklad v hrách ako Pokémon Go

• Syntetické objekty vytvárajú dojem, že patria do toho reálneho sveta

OBLASTI NASADENIA MR SYSTÉMOV

• Výskumné a akademické aktivity

• Komerčné MR systémy

• InterSense - riadenie strojov a zariadení a tréning obsluhy a servisu

• Boeing repair assistant

• Siemens Healtineers Immersive & Digital Education

• Počítačové hry, exteriérová MR

• Hry ako Pokémon GO, Fanta Virtual Tenis (hist.), Komponenty systému ARQuake a pohľad používateľa (hist.)

• MR v mobilných zariadeniach

• Armádne nasadenie

• Pomerne často a dlho sa tam používa MR

• ○

• Toto čo má vojak na okuliaroch je displej, video see-through technológia

• Medicína

○

• • Priemet RTG na pacienta

• Priemyselné riešenia, architektúra

• Automobilový priemysel:

■

■

• Premietanie na čelné sklo - informácie z panelu, navigácia

• ○ Architektúra

==> picture [11 x 6] intentionally omitted <==

----- Start of picture text -----
■
----- End of picture text -----

■ ■

• Výuka a tréning

8. Proces práce aplikácie ZR, implementácia značkovanej AR,

PREVIAZANIE/SYNCHRONIZÁCIA OBRAZOV V SYSTÉME MR (so značkami/markermi)

• Pre markerované systémy

• x

• Značky majú nejaký kód (napr. na obrázku je marker s kódom “FEI”)

• Pri týchto značkách/markeroch musia byť ich kódy na prvýkrát rozpoznané keď sa chystá scéna - musí sa dať rozpoznať, ako je súradnicová sústava tej značky natočená voči súradnicovej sústave kamery

• Objekt, ktorý tú značku má nahradiť, sa natočí tak aby jeho SSO bola otočená tak ako SSO tej značky (čiže basically objekt natočíme rovnako ako tú značku)

nižšie sú veci čo sa týkajú procesu práce aplikácie zmiešanej reality

PROCES VYTVÁRANIA MR SCÉNY (MARKER):

• Od zhromažďovania údajov idú dve paralélne cesty. V jednej vytvárame model, na druhej stane vytvárame a spracovávame marker. Potom musíme otestovať, či sú model a marker v poriadku. Vloží sa model, pripojí sa k nemu marker. V kontrole rozpoznania markeru sa urobí inicializácia markra – marker sa nasníma z kolmého pohľadu. Dvojica modelu a markra vstupuje do systému a scény. Keď to beží a marker je rozpoznaný v scéne tak sa vezme model, ktorý bol markru priradený a ide na výstup do vykreslenia.

PROCES SPRACOVANIA MR SCÉNY (MARKER):

• V obraze z kamery sa hľadá značka.

• Po detekcií tej značky sa hľadá jej poloha a detekcia (napr. Na základe textu tej značky alebo nejakých bodov).

• Identifikuje sa ID značky na základe kódu, ktorý má na sebe napísaný.

• Priradí sa značke virtuálny objekt. SSO VR objektu sa stotožní s SSO markera.

● Objekt sa zobrazí v scéne. BTW objekt nemusí prekrývať celú značku (ale mal by)

PROCES PRÁCE MR APLIKÁCIE (SEMIMARKER/MARKERLESS):

• Na základe kamery sa identifikujú a inicializujú predlohy (nie sú to úplne markre, môžu to byť objekty ako hrnček, ceruzka a pod.)

• V cykle sa robí:

• vezme sa snímka

• zdetekuje sa, či sa v snímke nachádza predloha alebo objekt, ktorý sa ma rozpoznať

• Vypočíta SSO

• Na tú danú SSO sa zosúladí VR model a vykreslí sa

• Pri ukončení vypneme kameru

• Vieme ten algoritmus paralelizovať keď máme viacero objektov a markrov v scéne – je to paralelizácia SIMD z pps

• Pri tom procese práce MR aplikácie platí nasledovné:

• a. Kamera neustále sníma reálnu scénu a posiela video do výpočtového systému na spracovanie

• b. Programové vybavenie spracúva snímku po snímke a pomocou zvolenej metódy na detekciu hľadá v snímke danú(é) predlohu(y)/objekt(y).

• c. Po rozpoznaní objektu (predlohy) sa vypočíta jeho pozícia a orientácia

• d. Ak je známa pozícia a orientácia, umiestni sa virtuálny model na danú pozíciu

• e. Používateľ vidí na displeji reálnu scénu snímanú kamerou rozšírenú o virtuálny 3D model.

  • i. Výroky b. a c. sú najviac nosné a výpočtovo najnáročnejšie

9. Metódy detekcie v ZR systémoch

toto bolo pre mňa ťažšie na pochopenie tbh

METÓDY DETEKCIE V MR SYSTÉMOCH:

• 2 základné metódy:

• SIFT - Scale Invariant Feature Transform

  • Staršia metóda, nie je licencovaná

  • Vezme sa vstupný obrázok a hľadajú sa význačné body/domény (hľadá a niečo ako “šablóny” pre značky/objekty, ktoré sa majú rozpoznať nezávisle od toho aké veľké sú na obraze - Je to škálovo nezávislá metóda)

  • Zistí sa či majú tie body dostatočnú stabilitu (či sa obraz netrasie, alebo nie je rozmazaný), tie ktoré je dobré vidieť, zistí sa poloha/orientácia v priestore a poloha, kde v obraze sa nachádzajú

  • Potom je priradená dominantná orientácia (to je orientácia, ktorá bola získaná pri inicializácií objektu)

  • Bodom sa priraďuje deskriptor s tým, že sa určí akú kvalitu tento marker by mohol mať

  • Pomocou týchto deskriptorov sa berú do úvahy len tie vnútorné časti aby bolo aby bolo možné rozpoznať čo je vo vnútri toho markera aby bolo jasné pre ktorý objekt bol priradený

  • Marker musí byť navrhnutý tak, že jeho vnútro (text alebo kód podľa ktorého ho rozpoznávame) nesmie byť symetrické podľa nejakej osi – aby sa pri rotácií nedalo zameniť a popliecť s nejakým iným markerom

  • Kroky (zo slajdov):

    • 1. Vyhľadanie lokálnych extrémov v rozpoznávanom priestore – V prvej fáze sa zostrojí scale-space (SS) t.j. mierkovo nezávislá reprezentácia obrázku pri Gaussovom rozmazaní. V ňom sa vyhľadajú všetky lokálne extrémy. Pre efektívny výpočet SS sa používa rozdiel Gaussových funkcií – Difference-of-Gaussians (DoG)
    • 1. Presnejšie určenie významných bodov – V tomto kroku sa získané body z prvej fázy podrobnejšie skúmajú. Tie, ktoré majú nedostatočnú stabilitu sú vylúčené a u zvyšných, ktoré sú stabilné sa spresni poloha v priestore.
    • 1. Priradenie orientácií – V tejto častí je významným bodom priradená dominantná orientácia na základe orientácie gradientu v okolí bodu. Priradením orientácie docielime nezávislosť bodov od rotácie.
    • 1. Vytvorenie deskriptorov pre významné body – Pre každý významný bod je vypočítaný deskriptor na základe gradientu v okolí bodu. Pomocou deskriptorov je možné hľadať zhody v porovnávaných obrazoch.

    • videjko tiez na vysvetlenie lebo sobota nevie - https://www.youtube.com/watch?v=4AvTMVD9ig0

• SURF - Speeded-Up Robust Features

• SURF je metóda, ktorá dokáže popísať obrázok pomocou deskriptorov. Metóda SURF je novšou obdobou metódy SIFT. Popis pomocou deskriptorov vygenerovaných touto metódou je invariantný voči rotácii a vzdialenosti kamery od popisovaného objektu. Algoritmus SURF sa využíva v mnohých aplikáciách počítačového videnia, ako napr. pri rekonštrukcii 2D a 3D scén, klasifikáciu obrázkov a hlavne pre rýchly popis obsahu obrázku.

• Novšia, robustnejšia a presnejšia metóda, je licencovaná

• Snaha o jednoduchší popis obrazu a tzv. “integrálny obraz”

• Kroky (zo slajdov):

• 1. Prvý funkčný blok algoritmu je tzv. „integrálny obraz“. Integrálny obraz v každom svojom obrazovom bode obsahuje hodnotu súčtu hodnôt obrazových bodov (pixelov) od počiatku obrazu až do daného bodu.
• 1. Ak je k dispozícii integrálny obraz, potom na výpočet ľubovoľnej veľkej sumy hodnoty pôvodného obrazu potrebujeme iba 4 okolité významové body (napr. na výpočet hodnoty sumy hodnôt pixelov vo vnútri celého definovaného obdĺžnika nám stačí poznať hodnoty rohových pixelov odpovedajúceho integrálneho obrazu).
• 1. Ďalej metóda SURF používa determinant Hessianovej matice. Hessianová matica je štvorcovou maticou druhých parciálnych derivácií spojitej funkcie
• 1. V ďalšom kroku nastáva budovanie mierkovo nezávislej reprezentácie obrázku
• 1. Algoritmus končí priradením orientácie a vytvorením deskriptorov (je to dvojica: ako je to mierkovo a rotačne je to uložené na príslušnom obraze). Na základe toho vieme rozpoznať niektoré časti toho obrazu

• tiez videjko - https://www.youtube.com/watch?v=PBTrwymDVCg

• Takáto doména je nezávislá od natočenia a priblíženia kamery

• Na základe tých deskriptorov vieme rozpoznať niektoré časti toho obrazu a 2 veci:

• Ako je orientovaný ten marker

• Vieme pomocou množiny deskriptorov určiť markre a priradiť tam VR objekt

• Semimarker = vezme sa obraz pohľadu kamery a hľadajú sa v ňom deskriptory, ktoré porovnávame s tým, čo máme uložené v databáze. Ak nájdeme oblasť v obraze, ktorá sa s istou chybou podobá na nejaký deskriptor, tak môžeme prehlásiť, že sme našli značku

10. Kolaboratívna XR/VR, definícia, vlastnosti, klasifikácia, typy, využitie

• častokrát sa využívajú webové technológie - pripojenie do siete

• definícia : Systém založený na báze technológií Virtuálnej Reality za účelom sprostredkovať spoločne zdieľané virtuálne prostredie medzi viacerými používateľmi v reálnom čase.

• rozdiel medzi kolaboratívnou a zdieľanou je, že iba v kolaboratívnej sa dá v rámci reality interagovať navzájom alebo voči objektom, v danom momente (napr. podanie objektu od 1 používateľa druhému, atď)

• napr. Zoom alebo Teams patria čiastočne do kolaboratívneho prostredia

• vlastnosti:

• podpora aktivít s integráciou skupiny používateľov, napr. skupina v Teams

• zdieľanie virtuálneho, zmiešaného alebo zlúčeného kolaboratívneho prostredia, napr. live meeting

• zámer (dosahovanie spoločného cieľového riešenia), napr. prednáška

• kombinácia viacerých vstupov/výstupov v reálnom čase, napr. notebook, mobil

• interaktívna komunikácia a operovanie v zdieľanom kooperatívnom prostredí

klasifikácia: účel využitia, dostupnosť(sú/nie sú dostupné, pomocou čoho viem dosiahnuť), koncepcie aplikačnej architektúry (ako sú vybudované, napr. client-server), modely konzistencie zdieľaných prostredí (bezpečnosť aby sa nerozpadol model, napr. vlastníctvo virtuálnych objektov)

• 1) účel využitia: viacúčelové (=univerzálne, napr. metaverse - stále to nie je úplne ono, nedá sa využiť na hocičo, ale vravel že napr. trenažér pre vlaky, tak je viacúčelový lebo podporuje rôzne modely na trénovanie), prostredia so špecifickým účelom (jednoduchšie, zvyknú byť technicky kvalitnejšie)

• viacúčelové prostredie - vysoká miera znovupoužiteľnosti, široké spektrum úloh ktoré zvládne, využitie: virtuálne prehliadky, herné/edukačné aplikácie, sociálne stretnutia

• prostredie so špecifickým účelom - rieši zložité úlohy, limitované na konkrétnu oblasť, obmedzené spektrum úloh ktoré zvládne, využitie: simulačné/tréningové systémy, medicínske/priemyselné/edukačné aplikácie

• 2) dostupnosť: lokálne/globálne zdieľané virtuálne prostredia (otázka 11)

• 3) koncepcie aplikačnej architektúry CVR/CXR: klient-server, peer-to-peer, distribuovaná serverová architektúra (otázka 12)

• 4) modely konzistencie: centralizovaný, aktívna replikácia, distribuovaný, zdieľanie vlastníctva údajov (otázka 13)

11. Lokálne a globálne zdieľané systémy

lokálne zdieľané virtuálne prostredia:

• rovnaký fyzický priestor - limitácia pre vzdialenú komunikáciu

• prístup je buď centralizovaný (napr. virtuálna jaskyňa) alebo oddelený (napr. lokálny systém cez VR okuliare) => rozdiel je kde je výpočtový systém (centrálny vs. oddelený)

globálne zdieľané virtuálne prostredia:

• implementačne náročnejšie, štandardne využíva sieťovú infraštruktúru - internet (obmedzenie rýchlosti 4G/5G)

• podporuje vzdialenú kolaboráciu, rozsiahle skupiny používateľov

• pre reprezentáciu používateľa je napr. potrebný avatar (v lokálnom systéme nemusí byť keďže používatelia sú tam fyzicky prítomní)

riadenie vizualizácie:

• jeden používateľ (pri lokálne zdieľaných systémoch s centralizovaným prístupom)

• každý používateľ (pri lokálne zdieľaných systémoch s oddeleným prístupom)

12. Koncepcie aplikačnej architektúry kolaboratívnej XR/VR

klient-server:

• server (cloud) = centrálny systém, synchronizuje data medzi používateľmi, správa používateľov => veľký nápor výpočtov na server (server/client side rendering)

• klient - obojstranná komunikácia so serverom (cez sieťové pripojenie)

• = centralizovaný prístup

peer-to-peer:

• absencia centralizovaného uzla (server), každý podsystém je aj klient aj server

• záťaž na sieťové prepojenie (replikácia dát na každý podsystém), vyšší výpočtový výkon klientov, časté problémy s konzistenciou, menej zabezpečené prostredie

• = oddelený prístup (?)

distribuovaná serverová architektúra:

• zvykne byť v popredí vďaka umožneniu paralelizmu

• primárny server (=client-server server), sekundárny server(/servery) - spracovávanie špecifických podsystémov (napr. virtuálny čas, bezpečnosť, atď)

13. Zdieľané virtuálne prostredia, ich konzistencia a modely.

Narušenia konzistencie môžu nastať pri vykonávaní rôznych aktivít v zdieľanom prostredí - modifikácia zdieľaného obsahu (WAW hazard xd) - update po modifikácii musí byť zaslaný všetkým používateľom bez straty => zabezpečenie pomocou modelov konzistencie.

modely konzistencie pre virtuálne prostredia:

• centralizované - zmena od klienta ide na server, server zabezpečí replikáciu zmeny pre klientov (aj toho, ktorý robil zmenu - potvrdenie zmeny) = broadcast

• aktívne replikované - rozdiel od centralizovanej je, ale že primárny server aktívne posiela repliky prostredia aj keď zmena nenastala (štandardne peer-to-peer alebo distribuované), a event zmeny môže byť vyvolaný hocikým hocikedy (priorita riešená hierarchiou používateľov)

• distribuované - rovnaké ako centralizované, priepustnosť je zvýšená tým že viac serverov vie spracovávať iné úlohy (paralelizácia)

• zdieľanie vlastníctva údajov - prístup viac klientov k objektu má povolenie napr. len jeden (= vlastník) podľa priority (hierarchia používateľov)

• získanie (beriem), odovzdanie (dávam dakomu, môže byť aj prebranie - nedobrovoľné) a odstúpenie (nechám len tak) vlastníctva

pozn. spektátor nevyvoláva zmeny (max poloha jeho avataru)

14. Vlastníctvo údajov a virtuálnych objektov v systémoch zdieľanej XR/VR,

mechanizmy replikácie údajov, objektov a scén

(Vlastníctvo údajov je rozpísané na konci 13. otázky.)

riadenie viacpoužívateľského prístupu podľa troch metód:

• mechanizmy replikácia údajov - synchrónna (synchronizačný subjekt napr. odpočítava virtuálny čas) / asynchrónna (aktívna replikácia, semafory)

• riadenie interakcie skupiny používateľov - (otázka 15)

• zabezpečenie viacpoužívateľského prístupu - (otázka 15)

synchrónna replikácia údajov:

• “vždy je dané čo kto ako robí príslušné veci”

• vykoná sa požiadavka ( pripojenie/odpojenie/zmena identity ) -> žiadateľ čaká na spätnú odpoveď od systému, ostatní používatelia v priebehu spracovania požiadavky pracujú

• prístup je zvyčajne riadený cyklicky (naprv má user1, ptm user2, atď) - používatelia čo nič nežiadajú sú preskočení

• pri prístupe nenastanú prerušenia

• napr. prihlasujem sa do lobby v hre (neovplyvňujem ostatných ľudí v lobby týmto, oni si robia svoje veci)

asynchrónna replikácia údajov:

• vykonanie súbežných aktivít, bez spracovania požiadaviek systémom (nie úplne pravda, stále dochádza k istej synchronizácii)

• druhy aktivít: pohyb v priestore, zasielanie komunikačných správ

• prístup napr. ako zásobník (FIFO)

• napr. písanie do chatu v lobby, teda ktorý prvý napíše tak toho sa skôr správa zobrazí

15. Interakcia používateľov v systémoch zdieľanej XR/VR a viacpoužívateľský prístup, mechanizmy riadenia, bezpečnosť viacpoužívateľského prístupu. .

Pozn. vie nastať častý problém, ak používateľ veľmi rýchlo pohybuje objektom. T.j u iného používateľa sa nemusí renderovať správna pozícia v reálnom čase. napr. ruka nesie objekt a iný používatelia vidia ruku viac vopred ako objekt. (Netuším prečo to tu vysvetľoval Sobota, ale pre istotu to píšem.)

mechanizmus riadenia interakcie používateľov:

• mechanizmus kolaborácie s blokovaním viacpoužívateľskej interakcie

• mechanizmus kolaborácie s riadením voľnej interakcie používateľov

mechanizmus kolaborácie s blokovaním viacpoužívateľskej interakcie:

• sprístupnenie zdieľaného objektu/ovládania len jednému používateľovi v danom čase (synchrónny mechanizmus)

• algoritmus: interakcia od používateľa -> podľa dostupnosti objektu (dostupný/zamknutý) dostane/nedostane používateľ prístup -> stav objektu sa aktualizuje (replikácia všetkým) -> ukončí sa interakcia (prípadne sa objekt odomkne) -> následne je prístupný pre iného používateľa

mechanizmus kolaborácie s riadením voľnej interakcie používateľov:

• používatelia si konkurujú o prístup k zdieľanému objektu

• algoritmus: interakcia od používateľa -> rozhranie prijme interakciu a vykoná ju -> stav objektu je priebežne aktualizovaný a replikovaný všetkým -> ak vykoná interakciu iný používateľ, tak rozhranie ukončí interakciu prvého používateľa -> vykonáva interakciu nový používateľ

• konzistentné odovzdávanie vlastníctva nad objektom (asynchrónne riadenie)

zabezpečenie viacpoužívateľského prístupu:

• riadenie prístupov podľa identifikácie používateľov (login, identifikácia, autorizácia, následne povolenie/zamietnutie pripojenia … centralizovaný systém) => bud máš access abo nemáš access podľa tvojho loginu

• riadenie interakcií podľa hierarchie používateľov (role-based access control … používateľské roly) => role ako admin, editor, atď

16. Základné implementačné stupne XR systému

stupne XR systému: technické, programové a ostatné prostriedky EE eee technické:

• mechanická konštrukcia, elektrická (silová, nízkonapäťová) - sieťové, senzorické podsystémy

• podsystémy (vizualizačné, akustické, kinematické/statokinetické, hmatové, …)

• výpočtový systém (architektúra - jedno/viac jadrová, paralelná/distribuovaná)

• úložisko (lokálne/sieťové)

programové:

• definovanie statických objektov (scény, svety) a dynamiky medzi nimi = definičné prostriedky (formalizácia) -> “ zvykom je čím viac friendly ľuďom je dané riešenie tým horšiu má vypočtovú schopnosť” (napr. chápem python je super friendly ale kktne ráta)

• operačný systém, skriptovacie prostriedky, dátové štruktúry

• programové prostriedky jadra - transformácie, riešenie kolízií

ostatné:

• podpora: fyzikálna, medicínska, neurologická, psychologická, biologická … (expertízna)

• • hygienické pravidlá (??) - “pri použití helmy sa uistiť, že predošlý človek nemal vši” - Sobota

17. Koncepcia distribuovaného systému XR .

• detaily v otázke 12:

• základná implementačná zostava v súčasnosti (populárne to je)

• základné moduly: komunikačný, úložisko, synchronizačný, vizualizácia, prehrávač zvuku, údaje z polohových senzorov, gestá, detekcia kolízií medzi objektmi, …

• záťaž na komunikačný uzol čím viac modulov je

18. Základný návrh XR systému na interakčnej báze, jeho rozhranie a bázické koncepcie

základný návrh postavený na interakcii:

• flexibilný systém

• používateľ vytvára interakciu pomocou rozhrania, následne sú jeho vstupy spracované systémom, výsledky sa opäť cez rozhranie vracajú späť k používateľovi

• unifikácia = preklad medzi rozhraním a jeho príslušným podsystémom

• rozhranie ako transformácia - zachováva/prekladá sémantiku (napr. preklad fyzických gest do virtuálnych akcií) (otázka 21)

bázické koncepcie:

• delia sa na: tesne-viazané (HMD), voľne-viazané (virt. jaskyne) a kombinované systémy (otázka 20)

• najčastejším podsystémom je vizualizačný

• zobrazovacie systémy sa delia na: stereoskopické (pasívne/aktívne/autostereoskopické), priestorové displejové, holografické, projekcia na očnú sietnicu, stimulovanie vizualizačných častí mozgu

19. Proces interakcie v XR systémoch na jednotlivých stupňoch detailnosti.

1.úroveň:

• vychádza zo základného modelu (otázka 18)

• sémantická úroveň

2. úroveň:

• syntaktická úroveň

• vychádza z 1.úrovne, musí už obsahovať 3 základné prvky transformácie (syntaktická množina, množina zariadení, sémantická množina)

• zadefinuje sémantiku toho, čo chcem spraviť (prostredia si už majú rozumieť)

3.úroveň:

• fyzikálna úroveň, realizácia vstupov/výstupov

• oproti 2.úrovni vieme kombinovať vstupy

• AR vs MR - v AR konštruujem scénu, v MR nie

20. Konštrukcia voľne viazaných, tesne viazaných a kombinovaných XR systémov voľne-viazané:

• častokrát vo forme virtuálnych jaskýň (projekčné - projektory/displejové - monitory)

• konštrukcia spravidla obsahuje zobrazovače samostatne od riadiaceho výpočtového systému

tesne-viazané:

• častokrát využívajú HMD (Head-Mounted Display - VR okuliare, headsety, prilby, atď)

• podľa typu zobrazovačov: zabudované alebo na báze smartfónov

• podľa konektivity: káblové/bezkáblové

• štandardne HMD ako napr. prilby majú zabudované výpočtové systémy

kombinované:

• asi kombo voľných a viazaných (nvm nevravel) + tracking (hand, eye), ručné ovládače, hlasové ovládanie, … (source: bot)

• Rozhrania XR systémov, rozhranie ako transformácia, bioadaptované a naturálne rozhrania

Rozhrania XR systémov

Rozhranie je veľmi dôležité v zmysle flexibility vstupu a výstupu. To znamená, že sa jadro vypočítava 1x a potom to ide do zariadenia ako napr. [okuliare, desktop, CAVE, atď.]

Šípky medzi [(Rozhranie -> Vstupný podsystém) a (Výstupný podsystém -> Rozhranie)] sa snažia byť čo najviac unifikované .

Vstupný systém berie akoby input , ktorý môže byť hocičo, napr. [gesto rukou, šípka hore, W, páčka na joysticku, atď.,] a potom sa dostane do výstupného systému, kde je to akoby „preložené“ a následne sa to tak vykoná.

Pre príklad táto šípka z “Rozhrania” ide do “Vstupný podsystém”, to hovorí o tom, že človek urobí nejaké gesto alebo stlačí tlačidlo A, alebo šípku doľava, tak to ten systém odchytí.

a tu od “Výstupný podsystém” to príde už len ako command že “chod v lavo”

Rozhranie ako transformácia

Semantika - vstupný objekt “O” a na výstupe je to objekt “O'” (zmenený), napr. pokyn pohybu. Prvková množina a syntax - mám množinu zariadení vstupných a výstupných a syntax medzi nimi, čo je spôsob, ako tieto zariadenia komunikujú.

Úlohou tejto transformácie je pracovať s významom vstupu . Pre VR systémy sa používa:

• so zachovaním sémantiky

• s prekladom sémantiky

Nie je možné povedať, ktoré je lepšie, záleží od konkrétneho použitia (ktoré nepovedal)

V súčastnosti sa požívajú 3 základne úrovne transformacie

1. Úroveň detailnosti

Je to to isté čo ten 1. obrazok

2. Úroveň detailnosti

Vyplýva to z prvej úrovne . V tejto úrovni musím mať k dispozícii:

• množinu zariadení

• syntaktickú množinu - množinu funkcií zariadenia: napr. tlačidlo má iba 2 stavy, buď je stlačené alebo nie [0 alebo 1]. Alebo taká páčka na ovládači môže byť v rôznych uhloch, čo mi dovolí mať viac flexibilné funkcie [0 alebo 0.1 alebo 0.2 ... 1].

• sémantickú množinu - kód s inštrukciou, ktorá je potom preložená ako „choď rovno, doľava”

3. Úroveň detailnosti pre VR

Tu vychádzam z 2. úrovne , ale ešte aj zo zariadenia, ktoré používam .

Navyše oproti 2. úrovni je, že môžem kombinovať vstupy z viacerých zariadení a kombináciou zariadení môžem urobiť „mentálne gesto“, napr. zachytenie pohybu očí pomocou eye trackera a zároveň pohyb -> vykoná 1 príkaz.

3. Úroveň detailnosti pre AR/MR

Je to podobné ako pri VR, pozerám sa na rekonštrukciu scén, kde pri:

AR (Augmented Reality)

• viem rekonštruovať scénu

MR (Mixed Reality)

• neviem rekonštruovať scénu, pretože to je to, čo vidím v reále

• implementačne je zložitejšie oproti AR

• viem prijímať informácie zo scény, ale neviem ju rekonštruovať!! (veľmi dôležité)

Bioadaptované a naturálne rozhrania

Bioadaptované rozhrania sa delia na: (od najstarších po najnovšie)

• mechanické (najstaršie), ktoré sa delia na:

• mechanické prevodové (ozubené kolieska)

• mechanicko-gyroskopické

• Bowdenove (tiahla, lanká)

• indukčné a magnetické

• vibračné a ultrazvukové

• tepelné a piezoelektrické

• infračervené a laserové

• optické a kamerové (najnovšie)

toto rozhranie zahŕňa

• Senzorické rozhrania

• Bio-senzoricke rozhrania

Naturálne rozhrania

• kopírujú alebo sú najbližšie k reálnym ľudským vnemom. hlavné 3 (vizual, sluch, hmat)

Podsystémy, ktoré sú naznačené, nemusia byť jediné, ktoré sa využívajú pri prirodzených rozhraniach; sú iba najčastejšie používané .

Rozdiel medzi naturálnymi a bioadaptovanými rozhraniami:

Naturálne mimikujú to, čo je človeku prirodzené (napr. gestikulácia, ako zoom 2 prstami, atď) zatiaľ čo bioadaptované vedia merať ľudské funkcie (tlak, atď)..

Využitie:

• Naša CAVEa to má čo sme tam boli

• VR headset

obrazok self-explanatory

toto rozhranie zahŕňa

• dotykové rozhranie/ovladače

• hmatové rozhranie/ovladače

• rozhranie gestikulácie rúk

• Adaptívne rozhrania XR systémov a proces adaptácie vstupov a výstupov

Aby sme mohli mať rozhranie adaptívne, tak musíme vedieť o 2 častiach , o tom či aktivita ktorá prebieha cez toto rozhranie je:

• statického charakteru - krátka časová udalosť napr. stlačenie tlačidla, staticke gestá

• ● dynamického charakteru - aktivita je vykonávaná v časovom priebehu

  • dynamika sa dosahuje kombináciou kde závisí na poradí sub aktivít aby som dosiahol celkové rozpoznanie dynamickej aktivity napr. pohyb ktorý naznačuje nejaku aktivitu ako napríklad prikaz policajta “poď” pri ktorom kontinuálne hýbe rukou

• Interakčné techniky používateľov ovládania virtuálneho prostredia

• Selekcia - často spájané so statickou vstupnou aktivitou

  • základná forma interakcie

• Manipulácia - je to spojené s dynamikou

  • aktivity viazané na prácu s objektmi napr. otáčanie, škálovanie, deformácie

  • manipuláciu je možné vykonávať iba s objektom ktorý VLASTNÍM

• Lokomócia - hovorí o tom ako je riadený pohľad používateľa do virtuálneho sveta (manipulácia s kamerou, s ktorou ja, ako používateľ nemanipulujem)

Zistí sa o aký typ aktivity ide a potom sa to adaptuje na interakciu - napríklad používam ak klávesnicu aj joystick, alebo že sa uspôsobí jas podľa svetla v miestnosti, atď.

NOTE: tento cely uvod sa da povedat aj v 23 .

Adaptívne rozhranie má schopnosť prispôsobiť si svoje ovládanie vzhľadom na TYP zariadenia a na TYP použivateľa.

Adaptívne rozhrania môžu byť:

• parametricky nastavitelné - pozadie na pc, farba lišty….

• môže obsahovat prvky AI, kde sa systém naučí preferencie použivateľa a bude mu prispôsobovať záležitosti

takže v skratke ku obrázku.

1. začínam vo “VSTUP” predstavím si to ako “W”

2. rozpozná sa aký systém/podsystém to je.

3. potom pokračujem a rozpoznávam ten môj vstup že “aha použivateľ stlačil W”

4. ďalej sa adaptuje ten vstup, kde sa mu priradí funckionalita (pohyb rovno) funkcionalít môže byť viac preto obojstranná šípka!!! (veľmi dôležité)

5. následne sa aplikuje funkcionalita (toto bude robit hento tamto)

6. môže/nemusí sa vytvorit “Spätná väzba” - reálne nepovedal co je Spätná väzba ale myslím si ja, že to je vlastne ten koncept adaptácie

7. mám výstup

23. Adaptívne rozhrania XR systémov podľa účelu nasadenia

• Viacpoužívateľské adaptívne rozhrania XR systémov

• najdôležitejšia časť je určenie hierarchie o tom či sa jedná o podstatné interagovanie alebo nie

• adaptácia je parametrická ( klávesnica sa prispôsobí pisaniu )

• čo sa týka spravnej synchronizácie a plynutia času tak je najlepšia VR z dôvodu že rozhranie dovoľuje uplne “odstrihnutie” od reálneho sveta

• adaptívne rozhrania XR podsystémov

• to sa priamo netýka používateľa ale skôr hardvérových zariadení pre rôzne typy aktivít

• prostredie ktoré komunikuje s týmto rozhraním posiela aj dotazy na procesné jadro adaptívneho rozhranie podsystémov

24. XR a bio-senzorické rozhrania

eXtended Reality – Cross-Reality (XR, Virtual+Augmented+Mixed=eXtended)

• nie je to ďalšia kategória reality, ale je to zjednotená aplikačná platforma, ktorá môže používať rôzne prvky z tých 3 realít na dosiahnutie imerzie, percepcie a interakcie

Senzorické rozhrania - spracováva senzorické dáta do pochopitelnej formy pre človeka a VR/XR systém, môžu byť:

• pasívne - len posielajú dáta, nespracúvavajú ich

• aktívne - vedia poslať Raw data ale vedia ich aj spracovať

Senzorické rozhrania EEG - ElektroEncefaloGrafia

• snímanie aktivity mozgu používateľa

• podpora ovládania mimickými vzormi

• problém - nejednoznačné vzory, tiež nepresné meranie u ľudí v vlasmi (najlepšie výsledky pri plešatých ľuďoch)

• dá sa rozpoznať silná a slabá mozgová aktivita

Senzorické rozhrania EOG - ElektroOkuloGram

• sníma svalovú aktivitu očí používateľa

tieto veci tam spadajú medzi tie bio-senzoricke rozhrania ^^^^^^^^^^^^

Využitie

• priame získavanie fyziologických vstupov produkovaných používateľom

• využitie v systémoch pre kontrolu fyziologického stavu používateľa

• vysoká adaptivita (primerané reakcie systému) podľa nameraných vstupov z Biosenzorov

• Virtualizačný reťazec a jeho realizácia, práca s virtuálnym svetom, vizualizačný subsystém, Po sledovanie polohy, zobrazovacie systémy, 3D tlač a vytváranie reálnych objektov

Spolu s VR sa používa tento reťazec

• v týchto piatich krokoch je možne hovoriť že pracujú systémy VR a snažia sa nám sprostredkovať virtuálny priestor

• 3D tlač

• tlačenie 3D objektov ktoré boli vytvorené v nejakom softvéri

Potrebujem mať Vizualizačné procesné jadro, ktoré je súčasťou celkového procesného jadra VR systému a všetky ostatné podsystémy s nim spolupracujú. Proces je nasledovný:

1. vstupuje virtuálny priestor

2. prebehne formalizácia

3. prebehne to cez procesné jadro

4. rasterizácia

5. kompozícia obrazu (rendering)

6. výstupné zariadenie

NOTE: povedal že sme to mali na PG, takže preto tak málo je k tomu.

zobrazovacie systémy sa delia na:

• stereoskopické (pasívne/aktívne/autostereoskopické),

• priestorové displejové,

• holografické,

• projekcia na očnú sietnicu,

• stimulovanie vizualizačných častí mozgu

Zobrazovacie systémy:

• Veľkoplošné zobrazovanie - viac monitorov pri sebe = veľký monitor

• AMD grafické karty majú “eyefinity” na monitor setup

• • intel také nemá

• CAVE - virtuálna jaskyňa

• Vizualizácia, vykresľovanie, vizualizačné jadrá a grafické architektúry

Vizualizácia je proces transformácie popisu virtuálneho sveta do výstupného obrazu na zobrazovacom zariadení, toto zariadenie môže byť jednoduché ako napríklad mobil, alebo zložité ako napríklad CAVE

Vrstvy vizualizačného procesu

1. Definovanie/formalizácia modelu/scény

2. Transformácia nad objektami

3. Riešenie viditeľnosti

4. Tieňovanie - na samotnom objekte

5. Osvetľovanie - celej sceny (+vplyv objektov na seba nazvájom)

6. Realistické zobrazovanie

7. Kompozícia a Vykresľovanie (rendering)

problém pri VR rozhraniach z hladiska vizualizácie

• potrebujeme to plniť v reálnom čase

• snažíme sa to tvoriť čo najrýchlejšie a zároveň najviac realisticky. Čím viac realistický výstup tým viac času to trvá

Vykreslovanie je proces tvorby obrazu pomocou algoritmov alebo tiež oblasť štúdia zaoberajúceho sa syntézou obrazov z modelov sveta vo výpočtovom systéme

grafické architektúry

1. ARCHITEKTÚRA S TRIEDENÍM NA ZAČIATKU - triedenie 3D primitiv

2. ARCHITEKTÚRA S TRIEDENÍM V STREDE - triedenie 2D primitiv

3. ARCHITEKTÚRA S TRIEDENÍM NA KONCI - triedenie fragmentov

4. ARCHITEKTÚRA S KOMPOZÍCIOU OBRAZU

5. ARCHITEKTÚRA S VIACNÁSOBNÝM TRIEDENIM

6. Paralelné vykresľovanie (paralelný rendering), koncepcie paralelných algoritmov Definícia: využitie viac procesných jednotiek pre urýchlenie výpočtu scény - doslova pps

7. dôvody pre paralelizmus

8. komplexnosť scény

9. kvalita výstupného obrazu

10. odozva v realnom čase

NOTE : tu neviem co viac asi budem hovorit dalsiu otazku.

1. Paralelizmus v grafických architektúrach Tu patria 3 typy paralelizmu

2. funkcionálny

3. proces výpočtu bol rozdelený do jednoznačných funkcií (zvlášť modul na transformáciu, zvlášť modul na rotáciu,....)

4. ak jedna procesná jednotka odpovedá jednej funkcií, a tok údajov je smerovaný z jednej jednotky, získame prúdový výpočet (MISD) - viac inštrukcií rovnaké dáta

○

• doslova ptm začal toto vravieť čo hurtuk nám na cvičení, (máme výrobnú linku pre autá, do prvého boxu pride “podvozok” kde sa namontuje “motor”, potom sa to posunie do druhého boxu, a hneď počas toho ako sa niečo vykonáva v druhom boxe, tak ďalší “podvozok” vstúpi do prvého boxu……)

• výhody:

  • pre spracovanie polygónov a plôch v aplikáciách

• nevýhoda:

  • celková rýchlosť je limitovaná najpomalšou z nich

  • limitovaný počet funkčných jednotiek

• údajový

• každá jednotka vytvára ten istý program, len majú iné data (SIMD)

• výsledky sa potom spájajú v zásobníku snímkov príklad (8 jadier ráta niečo a ptm to “master” pospája dokopy)

• problém s cloudom

• rozdelenie do tried:

  • objektový paralelizmus - spracovanie objektov v scéne - TOTO CELE JE Transformačná fáza

    • geometrická transformácia

    • vyraďovanie odvrátených primitív

    • výpočty svetelných zdrojov

    • pohľadová transformácia

    • orezanie

  • obrazový paralelizmus - tvorba obrazu - TOTO CELE JE Rasterizačná fáza

    • výpočet osvetlenia

    • interpolácia

    • kompozícia

    • riešenie viditeľnosti

• závislosti od:

  • zložitosti vstupnej scény - môže rásť exponenciálne (veľmi dôležité)!!!

  • stupňa vzorkovania - na koľko “dlaždíc” rozdelim počitanie scény - toto rastie lineárne

  • rozlíšenia výstupného obrazu - čím vyššie rozlíšenie tým tahšie na výpočet

• časový

• v animovaných filmoch, kde sú vyžadované veľké počty obrázkov, a sú počítané opakovane, tak celkový čas je možne skracovať “nasadením viacerých robotníkov” - závislosť je lineárna

ich použitie závisí od úlohy, kt. idem riešiť. Dajú sa používať aj viac naraz v “hybridných paralelizmoch”

Súvislosti kde si môžem dovoliť spúšťať paralelizmus

• snímková - podobnosť pixelov medzi snímkami

• riadková - podobnosť pixelov medzi riadkami

• span - súvislosť v intervale, podobnosť pixelov v ramci riadku

• lúčová - ray tracing

• Klasifikácia grafických architektúr a ich porovnanie

• po klasifikujú sa podľa: ● reprezentácie , použitej na popis prostredia ~~|~~ ○ čím je jazyk(programovací) viac prístupný človeku, tým je to horšie pre systém. Nie ~~|~~ je dôležité aby tomu rozumel človek, ale aby to vedel výpočtový systém čo ~~5~~ najrýchlejšie spracovať

• hii ● algoritmu , použitého na vytvorenie obrazov ~~|~~ ○ množina algoritmov ktoré kaskádovo riešia výstup tak aby som ho dostal pre VR

TOTO ma on v prednáške ako Klasifikacia grafickych vypoctovych systemov, nvm ci to je toto, ak niekto vie dajte tento highlight prec prosim, alebo odstrante celu tuto cast

1. ARCHITEKTÚRA S TRIEDENÍM NA ZAČIATKU

2. triedi 3D primitíva

3. uzol, do ktorého uzla primitívum patrí

4. uzly potom vykonávajú zvyšok renderovania

5. triedenie primitív pred ich transformáciou a rasterizáciou

6. výhody

   • vhodné pre statické scény s veľkým počtom objektov

7. nevýhody

   • neefektívne rozdelenie práce medzi uzlami

   • zložité pri dynamických scénach

2. ARCHITEKTÚRA S TRIEDENÍM V STREDE

• triedi 2D primitíva

• rasterizácia sa vykonáva až po triedení

• vyvážené zaťaženia procesorov

• potreba výmeny transformovaných dát medzi uzlami

• ARCHITEKTÚRA S TRIEDENÍM NA KONCI

• triedi fragmenty

• každý procesor má takmer celú renderovaciu rúru

• všetky uzly počítajú pixely svojej časti scény, ktoré sú následne podľa hĺbky spojené do finálneho obrazu

• výhody

  • výborná škálovateľnosť počtu objektov (stačí pridať ďalší pr.)

  • každý procesor môže spracovať celú scénu nezávisle

• nevýhody

  • nevhodné pre vysoké rozlíšenie

• ARCHITEKTÚRA S KOMPOZÍCIOU OBRAZU

• kombinuje pixely až po výpočtoch

• rozdelenie až v procese zobrazenia

• ARCHITEKTÚRA S VIACNÁSOBNÝM TRIEDENÍM

• umožňuje viacúrovňové triedenie v rôznych fázach rúry

OTÁZKY 30 - 37 ‼‼‼‼‼‼‼‼‼‼

su na inom pdfku

Marosove peklo 4 Eletric boogaloo!

38. Priestorové zobrazovanie - stereoskopické videnie a jeho proces, vlastnosti oka, rozlišovacia schopnosť, zorné pole, akomodácia a konvergencia, faktory priestorového videnia

Stereoskopické videnie je také videnie kde dvomi očami vnímame svet okolo nás, kde každé oko poskytuje obraz z trochu inej pozície čo náš mozog(zátylková časť) spracuje a tak vnímame nielen 2D obraz ale aj hĺbku obrazu.

Multiskopia je videnie, ktoré používa viac pohľadov ako dve (ak dve tak to je stereoskopia uwu).

Samotné oko je len snímač/kamera a časti oka, ktoré majú najväčší vplyv na stereoskopiu je šošovka a sietnica. Šošovka usmerňuje odrazené svetlo na mriežku receptorov na sietnici . Obraz, ktorý vnímame je iny ako obraz, ktorý vidíme tým pádom naše ľudské spracovanie obrazu bude odlišne od technického spracovania obrazu.

Medzi základné vlastnosti oka patria Rozlišovacia schopnosť

• Zorné pole

Rozlišovacia schopnosť je najzákladnejšou schopnosťou oka. Množina senzorov na seitnici je uložená v šesť uholníkovom tvare a ide o najmenšiu uhlovú vzdialenosť dvoch bodov tak aby sme ich ešte rozlišovali od seba. Akonáhle sa táto vzdialenosť zmenší pod najmenšiu uhlovú vzdialenosť tak tieto body zažnú splývať v jeden. Monokulárna rozlišovacia medza oka je okolo 60”.

Zorné pole je ďalšou základnou vlastnosťou oka a zodpovedá priestoru, ktorý zachytávame okom bez toho aby sme zmenili smer pohľadu . Zo zorného poľa zachyteného okom vidíme ostro len malú časť a to tú, ktorá je zobrazená do fovey. *Fovea je stred žltej škvrny sietnice.

Časti zorného poľa delíme na tri:

1. Centrálna časť - v nej oko vidí najlepšie keď sa namieri na nejaký cieľ. Šírka tohto uhla je závislá od rýchlosti, ktorou sa hýbe človek alebo jeho prostredie a čím je rýchlosť vyššia

tak tý je uhol tohto poľa menší. Pri svetelnej rýchlosti je vraj tento uhol 0° ale to je len teória. Normálne je tento uhol 30° pre oko, čo je dohromady pre obe oči 60° .(Mozog ovplyvnuje sirku tohto uhla rychlostou spracovanie. Tento uhol vie znizit choroba alebo zranenie ale aj staroba a naopak mladý ľudia ho majú vyšší, plus piloti tréningom rozširujú tento uhol.)

1. Blízke/stredné periférne videnie je také videnie ktoré už neposkytuje ostrý obraz ale poskytuje zas spracovanie farieb, predmetov a má okolo 90° .

2. Periférne videnie je už tretia a posledná časť nášho videnia a táto už registruje len pohyb,zmenu jasu alebo zmenu farby. Má 140° na oko.

Celkové periférne videnie je okolo 180° , zdravý človek vidí relatívne ostro v 90°a to kombináciou centálnej a blízkej časti periférneho videnia.

Akomodácia je automaticke prispôsobenie oka pri zmene jasu alebo pri zmene vzdialenosti, do ktorej sa pozerame. Toto prispôsobenie obvykle chvíľku trvá.

Konvergencia je pohyb očí smerom k sebe alebo od seba, keď sa pozeráme na rôzne vzdialené objekty. Vyjadruje sa uhlom medzi osami pohľadu oboch očí – čím bližší objekt, tým väčší uhol. Môžeme vidieť ostro aj na veľkú vzdialenosť (napr. 4 km), ale oči vtedy takmer nekonvergujú – sú takmer paralelné.Naše schopnosti odhadnúť vzdialenosť pomocou konvergencie fungujú najlepšie od cca 30 cm do 220 m . Vnímanie hĺbky cez konvergenciu závisí aj od vzdialenosti medzi očami – muži ju majú priemerne väčšiu ako ženy.

Akomodáciu (zaostrenie) aj konvergenciu vieme ovládať vedome , ale bežne fungujú automaticky a reflexívne .

Faktory priestoroveho zobrazenia

2D náznaky (2D cues) sú vizuálne efekty, ktoré vytvárajú dojem vzdialenosti objektu od pozorovateľa. Vzdialenejšie objekty sú menšie, sú zobrazené vyššie, farby na ich povrchu majú znížený kontrast, jas a saturáciu. Medzi tieto techniky patrí aj tieňovanie a prekrytie objektov (viditeľnosť, alfa).

Pohybová paralaxa (motion parallax) je možnosť pozorovať scénu z rôznych pohľadov. Posunutím pozorovacieho miesta hore, dole, doprava či doľava vidíme predtým skrytú časť pozorovaných objektov

Lineárna paralaxa nekonečna (LPN) určuje maximálne posunutie oboch obrazov, t.j. vzájomné posunutie objektov v jednom a druhom zobrazovacom poli bude menšie alebo rovné LPN, a to tak, že s narastajúcou vzdialenosťou od objektívov kamier (očí) sa toto posunutie zmenšuje

Binokulárna disparita (binocular disparity) poukazuje na skutočnosť, že svet pozorujeme prostredníctvom dvoch navzájom posunutých očí. Každé z očí vidí svet z mierne odlišnej perspektívy.

Hĺbková disparita (depth disparity) označuje fakt, že priestorovú informáciu o umiestnení objektov získavame taktiež z fyzickej vzdialenosti pozorovaných objektov od miesta pozorovania. Mozog interpretuje natočenie očí (konvergencia), ktoré je závislé na vzdialenosti objektu, na ktorý je práve zameraná pozornosť. Zaostrenie a natočenie očí na pozorovaný predmet je iné pre bližšie(zväčšuje) a iné pre vzdialenejšie(zmenšuje) predmety

2,5D(Dva a pol D) projekcia nie je to 3D technika a je vacsinou oznacovana ako 2,5D technika. Ide o 2D obrazky zachycujúce 3D scénu, rešpektuje iba 2D náznaky.

39. Priestorové zobrazovanie - technológie stereoskopického a priestorového zobrazovania, KPI FEI TU Košice Systémy virtuálnej reality 2

• Anaglyfy

• Stereogram

• Datove prilby a VR headsety

• Prizmova mriezka

• Lentikulárny raster

• Holografia

• Riadenie hĺbkovou mapou

• 3D led displeje

• Volumetrické zobrazovanie

• Obrazovkou

• Laserom

• Holografia

• 3D tlač ako vystupna technológia

Na Tuke máme tú jaskyňu ktorá obsahuje monitory s stereoskopiou kde potrebujeme okuliare cize nie je to autostereoskopia no neviem aka to je teraz. Potom tam máme monitor B (AKA TECHNOLOGIA TAM JE TO NAISTO NEVIEM ALE PAMATAM SA LEN TO ČO OKOLO TOHO TOČIL!!!) s autoskopiou kde sa používa kombinácia prizmatickej mriežky a lentikulárneho rastra čo sú šošovky, ktoré elektrickým prúdom. Taktiez je tam hlbkova mapa.

40. Stereogramy

Stereogramy (vrátane stereopárov) využívajú binokulárnu disparitu ( rozdiel medzi obrazmi vnímanými ľavým a pravým okom ) spolu so schopnosťou mozgu rozpoznávať drobné rozdiely medzi nimi. Vďaka tomu je v mozgu vytváraná ilúzia trojrozmerného (3D) povrchu .

Najznámejšou a najzákladnejšou technikou je stereogram náhodných bodiek ( random dot stereogram ), ktorú vyvinul Béla Julesz . Tento typ stereogramu neobsahuje žiadne rozpoznateľné tvary alebo vzory, no po správnom zaostrení vytvára jasný 3D obraz.

Na správne generovanie stereogramu je ideálne mať k dispozícii hĺbkovú mapu obrazu (tzv. depth map ), prípadne mapu skrytých hrán alebo povrchov , ktoré určujú priestorové rozloženie objektov.

40 a ¾

Tu je len vysvetlenie o typoch stereoskopickej projekcie….

Stereoskopická projekcia je spôsob zobrazovania, ktorý do každého oka sprostredkuje iný obraz , čím sa vytvára ilúzia trojrozmernosti (3D) . Tento princíp využíva binokulárnu disparitu , teda rozdiel v uhle pohľadu medzi ľavým a pravým okom.

Existujú dva základné princípy podľa spôsobu prenosu obrazu do očí:

Tesne viazaný

Obraz je premietaný prostredníctvom zariadení, ktoré sú priamo upevnené na pozorovateľovi

(napr. na hlave alebo očiach). Tieto zariadenia zabezpečujú, že každé oko dostane svoj vlastný obraz a často vyžadujú, aby boli pevne nasadené na používateľovi.

Príklady zariadení: Anaglyfové okuliare , Polarizačné okuliare , Aktívne (synchronizované) okuliare pre 3D televízory alebo projektory, VR headsety a dátové prilby , Stereoskopy .

Voľne viazaný

Systém nie je pripevnený priamo na pozorovateľa, ale je umiestnený v okolí (napr. na monitore, pred obrazovkou alebo v priestore). Využíva optické alebo sledovacie techniky, ktoré rozdeľujú obraz medzi oči bez potreby nosiť zariadenie.

41. Stereoskopia – anaglyfické zobrazenie

Anaglyf je zalozeny na farebnej separacii RGB farebnom priestore pre kazde oko zvlast .

Výhodou je , že to je pomerne efektívne pri nízkych nákladoch.

Nevýhodou je , že vyžaduje pomôcky, výrazne limituje viditeľný farebný priestor, okuliare a stereoskop spôsobujú bolesť očí. Nerešpektuje súvislosť akomodácie a konvergencie oka a vzdialenosti predmetu od pozorovateľa.

Typy : Podľa vlastnosti výstupu

• Farebne

• V odtieňoch šedej využitím len separovaných farebných vrstiev(len hĺbkový vnem)

Podľa použitých zložiek

• Red-Cyan(Green+Blue) Najčastejšie používaný typ.

• Red-Green

• Red-Blue

• Yellow(Red+Green)-Blue

Pre vytvorenie anaglyfického obrazu potrebujeme zobrať dve obrázky objektu s malým horizontálnym posunom. Z ľavého obrázku necháme len červenú farbu a z pravého len tyrkysovú.

Ide o využitie binokularnej disparity a pôsobením okuliarov dojde k tomu, že mozog sa pokusi spojiť hrany a vytvára tak efekt 3D. Anaglyfický obraz je možné sledovať na papieri, projektore a aj monitore.

42. Stereoskopia – polarizácia, infitec, autostereoskopia

Polarizácia

Ide o usmernenie jednotlivých polí elektromagnetického vlnenia v spektre viditeľného svetla. Najčastejšia polarizácia je pravouhlá, najlepšie sa ňou získavajú jednotlivé plochy na seba kolmé. Polarizátor umožní vidieť jedným okom vertikálnu vrstvu a druhým horizontálnu vrstvu, čím dôjde k binokulárnej disparite.

Typy

- Lineárna

• Kruhová – jednotlivé vrstvy sú rozdelené do kruhu, môže mať rôzne počty a väčšinou sa používa pri optických sieťach.

• Eliptická je podobná, ale umožňuje o trochu lepší dosah optického prúdu. Dosahuje stabilnejší a

• robustnejší prenos svetelného signálu.

Infitec

Infitec je technológia ktorú sme videli v zvolene.

Infitec je pokročilá 3D zobrazovacia technológia, ktorá funguje na princípe interferenčných filtrov . Na rozdiel od klasického anaglyfu nepoužíva len jednu vlnovú dĺžku na oko, ale prepúšťa úzke spektrálne pásma , čo umožňuje takmer verné farebné zobrazenie (až 95 % farieb originálu) . Technológia si však vyžaduje špeciálne okuliare a opačné filtre v projektoroch , je nákladná a používa sa najmä v profesionálnych 3D systémoch.

Dátové prilby a VR headsety

Oculus, HoloLens, Meta…

Dátové prilby majú výpočtovú techniku už v prilbe samotnej.

Autostereoskopia

Je to technológia, ktorá sa venuje zobrazovaniu 3D obrazu bez použitia pomocných zariadení.

Môže mať niekoľko typov:

• Bez aktívnej masky

• S prizmovou mriežkou

• Pomocou šošovkového rastra

• Pomocou riadenia s aktívnou maskou

*Podla otazok potiaľ ide tato odpoved nizsie su rozpisane stereoskopicke pristroje pre autostereoskopiu neviem ci sa na to bude pytat mozno hej precitajte si to. Here be dragons!

Autostereoskopický displej bez aktívnej masky

Výhody

• Nevyžaduje okuliare a iné pomôcky

Nevýhody

• Len pre nízky počet pozorovateľov

Prizmová mriežka

Je to štandardná mriežka nad displejom, do ktorej sú dierky vyvŕtané takým spôsobom, aby sme jedným okom videli len pravé stĺpce a druhým len ľavé stĺpce.

Lentikulárny raster

Ide o pasívny spôsob zobrazenia 3D obrazu , ktorý najčastejšie využíva lentikulárny raster – teda sústavu malých šošoviek usporiadaných v mriežke , ktoré rozdeľujú obraz pre ľavé a pravé oko.

• Tieto šošovky môžu byť riadené elektrickým poľom (napr. pre prepínanie alebo ladenie zobrazenia).

• Niekedy sa kombinujú s prizmovou mriežkou , kde sú v otvoroch (dierkach) umiestnené šošovky, čím sa zvyšuje presnosť rozdelenia obrazu.

Riadenie s aktívnou maskou

Toshiba má túto technológiu, a spočíva to v tom, že kamera rozpoznáva, z ktorej strany sa pozeráme na displej, vypočíta polohu očí a určí, ako bude riadiaca maska preložená cez displej, aby prepúšťala ľavý a pravý obraz.

Riadenie s hĺbkovou mapou

Ide o autostereoskopickú technológiu , ktorú vyvíja spoločnosť Philips od roku 2002 . Systém využíva hĺbkovú mapu (depth map) – teda 2D obraz doplnený o informácie o vzdialenosti každého bodu od pozorovateľa. Na základe tejto mapy sa generuje viacero pohľadov na scénu

(tzv. multiview ), ktoré sú následne zobrazené tak, aby pozorovateľ vnímal priestorový (3D) obraz bez nutnosti nosiť okuliare .

Najčastejšie sa používa spolu s lentikulárnymi alebo prizmatickými rastrami , ktoré rozdeľujú pohľady do rôznych smerov podľa polohy očí diváka.

3D LED displeje

Veľké „hovado“ – je to kocka s LEDkami v mriežke, čiže doslova a do písmena vytvára obraz v 3D priestore.

Je to technológia, ktorá nespôsobuje nevoľnosť a nepotrebuje žiadne pomôcky. Lenže problémom je vysoká cena a konštrukčná náročnosť.

Volumetricke zobrazovanie

Volumetrické zobrazovanie

Prvá verzia

Máme 2D obrazovku, ktorá rotuje vo veľkej rýchlosti, a obraz sa mení na základe toho, v akom

uhle sa nachádza matrica „lediek“. Rotáciu nakoniec oko nedokáže vnímať (okrem svetla), čím to vytvára dojem hologramu.

Druhá možnosť

Používa umiestnenie laserových projektorov, ktoré sú buď pravouhlo umiestnené, alebo sú protibežné. Funguje na princípe vrhania laserových lúčov z oboch projektorov – tam, kde sa pretínajú, vznikne obraz v priestore.

Dalsi typ autostereoskopie

Ďalší typ autostereoskopie

Holografia

Bola známa po druhej svetovej vojne, ale až po roku 1960 sa po objavení laseru podarilo spojazdniť pravú holografiu. Potrebujeme presný laser a zrkadlá, kde sa lúč rozdelí na dva – jeden zobrazuje prostredie a druhý lúč je ovplyvňovaný objektom, ktorý chceme zobraziť. Ak sa tieto lúče stretnú, vznikne zobrazenie v 3D priestore. Toto môže ionizovať vzduch.

Technicky je to veľmi náročné.

Fun fact v roku 2008 princ charles vystúpil pred publikom ako plnohodnotny hologram…

Ďalšia technológia holografie PYRAMÍDA!

Rozbitie obrazu na niekoľko iónov – je to neškodné, nič nepoškodí a je to polohologram. Používa sa polarizačný filter na jednotlivých stenách pyramídy, na ktorej špici sa nachádza monitor. Ten je rozdelený na 4 časti, kde sa premieta obraz z každého pohľadu – ide teda o multiskopiu , a keď sa pozeráme na obraz z hociktorej strany vnútri pyramídy, vidíme 3D obraz.

43. Priestorové zobrazovanie – hĺbkový vnem, problémy zobrazovania v datových prilbách, stereoskopická súradnicová sústava, virtuálne kamery

Hĺbkový vnem

Hĺbkový vnem nie je totožný s vnemom ostrosti, resp. vnemom konvergencie očí. Človek priestorovo vníma v rozmedzí 0,3 m – 220 m pri vzdialenosti očí okolo 65 mm a nulovej rýchlosti voči okolitému prostrediu. So zvyšujúcou sa rýchlosťou sa interval skracuje.

Toto je vzorec pre stereoskopické rozlíšenie oka.

Problém konvergencie a akomodácie pri použití dátových prilieb.

Efekt na obrázku

V dátových prilbách máme obrazovky veľmi blízko, a aj napriek použitiu optiky máme stále obraz cca len 5 cm od očí, a napriek tomu sa pokúšame zobraziť objekt v diaľke.

Pixelizácia je problém, kde za istých okolností sa oči a mozog dokážu fixovať len na displeje dátových prilieb a začnú rozlišovať pixely v monitoroch dátových prilieb, a strácame ten efekt. Dá sa to „refreshnúť“ tým, že si dáme od prilby pokoj a po čase skúšame prilbu nasadiť znovu. Pocit pixelizácie je výraznejší pri prilbách typu Oculus, je menší ako pri rozšírenej realite.

Princíp zobrazenia a parametre virtuálnej kamery

• f – ohnisková vzdialenosť

• 2t – stereoskopická základňa pre získanie obrazov

• C – vzdialenosť najbližšej zobrazovacej roviny

• e – lineárna paralaxa nekonečna

Týmto vzorcom sa dá vraj odhadnúť problém pixelizácie a platí tu, že čím sú oči bližšie k sebe, tým skôr môže nastať problém pixelizácie.

Princíp zobrazenia a určenie ohniskovej vzdialenosti

Tu je problém rozdelený v prípade, ak máme dve obrazovky, alebo – ako na obrázku vidíme – pri jednej obrazovke, kde sa obrazovka „splituje“, alebo rozdeľuje.

Pri ľuďoch nosiacich okuliare môže nastať problém s pixelizáciou a softvérové korigovanie nemusí byť úspešné, dokonca ani pri šošovkách dátových prilieb.

Stereoskopická súradnicová sústava- Je priestorový súradnicový systém, v ktorom sa definujú pozície a smery pohľadu dvoch virtuálnych kamier.

44. Stereoskopické zobrazovacie systémy

Podľa umiestnenia zdroja

• Priama (dátové prilby)

• Spätná

Podľa spôsobu vytvárania efektu

• Pasívny (napríklad anaglyf, lineárna polarizácia, cirkulárna polarizácia, eliptická polarizácia, Infitec)

• Aktívny( Pravdepodobne myslel taky sposob kde sa premieta striedavo na platno alebo sa zobrazuje na monitore striedavo obraz ktory patri bud pre prave alebo lave oko. Aktívnym prvkom su napriklad okuliare ktore maju technologiu taku ze dokazu blokovat svetlo v takej frekvencii ze nas oslepuju akurat ten moment ked sa prepína medzi pohľadmi obrazu. Táto metóda sa prestala ale používať lebo spôsobovala nežiadúce vedľajšie účinky, akými bola epilepsia.) Toto je podla mojho usudenia lebo neskor az spomenul tu technologiu.

Monitory a TV

Pasívne:

• Anaglyf

• Polarizácia

• Lineárna

• Kruhová

• Eliptická

• Infitec (toto sme pozreli v zvolene)

• Zdrojový tvar obrazu: ľavý/pravý horizontálny

Aktívne:

• Polarizácia bez priamej podpornej polarizácie

• Synchronizácia: IrDa, RF, BT, USB

• Zdrojový tvar obrazu:

• ľavý/pravý horizontálny

• Ľavý/pravý časovo prekladaný

Autostereoskopické

• Polarizácia bez priamej podpornej polarizácie

• Technológia:

• Prizmatická mriežka

• Lentikulárna

• Aktívne riadenie

• Zdrojový tvar obrazu:

• Ľavý/Pravý horizontálny

• Obraz + hĺbková mapa

Priama projekcia je najlacnejšia verzia stereoskopickej projekcie, musí byť upravená, aby nesvietili projektory na obecenstvo.

Spätná projekcia – pri nej je potrebná dvojica projektorov s filtrami pre Infitec pre optiku projektorov. Používajú sa projektory so skrátenou optikou.

Pasívny stereoskopický systém

Vyžaduje polarizačné filtre na projektoroch, ale aj na okuliaroch.

Mrzí ma, ale nemám šajnu, čo tam chce povedať…

Je ale jedno, či sa v tomto prípade používa dopredná alebo spätná projekcia.

Aktívny stereoskopický systém – zdroj je len jeden, buď monitor alebo projekčné plátno, ale tým, že výpočtový systém posiela striedavo obraz na to plátno (striedavo pravý alebo ľavý), a synchronizuje vysielač, ktorý zaslepuje aktívne okuliare, tak ako na obrázku.

Okuliare majú v sebe nejakú elektroniku a majú ako keby LCD obrazovky s jednou elektródou – pixelom, čiže binárne sa dá cez šošovky binárne prepúšťať svetlo.

DynaSight a NVIDIA

Sú to staršie technológie aktívneho typu stereoskopickej projekcie.

NVIDIA 3D Vision – v tej dobe vedeli podporovať tie okuliare, ale časom sa to vyradilo, lebo aktívne stereoskopické systémy mali problémy. EPILEPSIA

Veľkoplošné zobrazovacie systémy

Napríklad pri veľkom plátne musí nastať prekrytie obrazu viacerými projektormi a to robí problémy. Napríklad pri SSC2, kde sa prekrývajú kamery, tak tam treba riešiť prekryv projektorov. Dá sa to dobre spraviť, ale len s niektorými projektormi.

Do týchto zariadení patrí aj naša CAVE, kde sme vyriešili tento problém tým, že používame displeje.

Stereoskopické snímanie

3D tlač ako priestorový výstup

Máme tlačiareň, čo vrství prášok lepený farebným lepidlom a vytvára farebné 3D modely. ( 3D skenery sú samo vysvetľujúce, dajte mi s tým pokoj – nič k tomu nepovedal… )

45. Kolízie vo virtuálnych scénach, typy kolíznych senzorov, modely kolíznych objektov, dôvody riešenia kolízií

Typy kolízií vo virtuálnych scénach

• Kolízia medzi avatarom (kamerou) a virtuálnym svetom – to je najčastejšie

• Kolízia medzi avatarom a dynamickými objektmi

• Kolízie medzi avatarmi – zriedkavé

• Kolízie medzi dynamickými virtuálnymi objektmi a virtuálnou scénou (príklad: schopnosť hýbať kocky v hre Portal)

• Kolízie medzi dynamickými virtuálnymi objektmi

Niekedy sa kolízie nepočítajú priamo modelom avatara alebo objektu, ale colliderom, čo je jednoduchší tvar.

Dôvody riešenia kolízií

• Detekcia kolízie a následné zastavenie pohybu

• Detekcia pohybu a následná zmena trajektórie pohybu

• Aby sa neprechádzalo kamerou cez objekty scény

• Využíva sa pri senzorickom systéme na vykreslenie textu na obrazovku pri vstupe do senzorickej oblasti

46. Detekcia kolízie, algoritmy detekcie kolízie, fázy detekcie kolízie

Poznáme dve akcie spojené s kolíziami , a to sú detekcia kolízie a reakcia na kolíziu.

Detekciu kolízie delíme na 4 atribúty:

• Vznik kolízie – indikácia

• Forma kolízie

• Objekty kolízie

• Čas kolízie

Reakcia na kolíziu je zase odpoveď na kolíziu:

• Správanie sa objektov podľa fyzikálnych zákonov

• Deformácia objektov

• Animačné efekty

Typy kolíznych senzorov

• Vertikálny senzorový polygón – určený na detekciu z pohľadu zobrazovača s napojením na definovaný typ ukazovacieho zariadenia, ktoré používa pozorovateľ (napr. myš alebo dátová rukavica). Po zistení polohy a stlačení definovaného aktivačného prvku (napr. tlačidla myši) sa napr. zobrazia príslušné informácie.

• Horizontálny senzorový polygón – určený na detekciu polohy kamery a aktivuje sa automaticky pri zistení kolízie. Jedná sa v princípe o polohový senzor.

• Pohľadový senzor – určený na detekciu ihlana pohľadu kamery a aktivuje sa v prípade, ak sa objekt dostane do zorného poľa kamery. V tomto prípade je nutné ešte detekovať najbližší objekt k osi pohľadu, pretože v ihlane pohľadu sa môže nachádzať viacero objektov.

Spracovanie modelov objektov

• Polygónalne

• Štruktúrované – konvexné alebo nekonvexné

• Neštruktúrované – polygóny, ktoré nie sú pospájané a nemajú informáciu o topológii

Najťažšie sú nepolygónalne , napríklad výsledok určitej funkcie – implicitné resp. parametrické plochy. Tu je potrebné implementovať algoritmy pre rozpoznávanie obrazu – nie je to najľahšia úloha na splnenie.

Algoritmy detekcie kolízie

Podľa reprezentácie kolízie:

• Detekčné – je len true alebo false a hovoria nám, či bola, alebo nebola kolízia detekovaná.

• Určujúce – majú true a false hodnotu, ale vracajú aj ďalšie informácie, napríklad kde. Často využité vo fyzikálnych hrách. Často je zahrnutý aj čas kolízie – teda kedy došlo ku kolízii a ako dlho kolízia trvala.

Podľa počtu objektov, ktoré sa vyskytujú pri výpočte detekcie kolízie:

• N-body systém – výpočet detekcie sa robí naraz so všetkými pohybujúcimi sa objektmi a zisťuje sa čas, kedy ku kolízii dôjde pri známej rýchlosti objektov.

• 2-body systém – výpočet sa robí len s dvoma objektmi, bez ohľadu na to, či sa objekty pohybujú alebo nie. A niekedy proste dlho bude trvať, kým sa zistí, čo s čím sa zrazilo.

Najčastejšie sa používa N-body systém .

N-body vyžaduje viac pamäte a výpočtovej sily, no je efektívnejší a rýchlejší ako 2-body systém. Na rozdiel od vyberania, čo s čím bude mať kolíziu… čo je lepšie a čo horšie, to je na individuálnom programátorovi a jeho preferenciách.

Fázy detekcie kolízie

Častokrát nie sú naplnené všetky fázy – závisí to od typu colliderov, detekcie a podobne, ale približne detekcia kolízie vyzerá nejako takto:

• Výber objektov na detekciu kolízie

• Utriedenie objektov na detekciu kolízie, vybratie vhodného algoritmu

• Použitie vhodného algoritmu detekcie kolízie

• Test vylúčenia

• Výpočet kolízie medzi objektmi

• Indikácia kolízie medzi objektmi

46-47 ???

47. Algoritmy riešenia kolízií vo virtuálnych scénach

Typy algoritmov riesenia kolizii

Hierarchia ohraničujúcich gúľ (BSH – Bounding Spheres Hierarchy ) – Pozostáva iba z

hierarchie ohraničujúcich gúľ (každá guľa je definovaná stredom a polomerom). Kolízia objektov sa zistí, ak je vzdialenosť medzi dvoma stredmi gúľ kratšia ako súčet ich polomerov (pozri aj Hausdorfovu dimenziu).

Osovo-orientované ohraničujúce kvádre (AABB – Axis Aligned Bounding Boxes ) – Pozostáva z množiny minimálnych/m maximálnych hodnôt na osiach X, Y, Z alebo zo stredového bodu objektu a troch vektorov určujúcich vzdialenosť ohraničujúcich stien (zarovnaných vzhľadom na osi súradnicovej sústavy scény) od tohto stredového bodu.

Objektovo-orientované ohraničujúce kvádre (OBB – Object-Oriented Bounding Boxes ) – Skladá sa zo šiestich polygónov pevne zviazaných s objektom, ktorý ohraničuje (v rámci SSO). Je to reprezentované maticou orientácie, stredovým bodom objektu a tromi vektormi určujúcimi vzdialenosť ohraničujúcich stien (nemusia byť zarovnané vzhľadom na osi súradnicovej sústavy) od stredového bodu objektu.

Systém konvexných obálok (CHs – Convex Hull ( envelope system )) – Je to najkomplikovanejšie, ale najpresnejšie riešenie. Skladá sa z konvexných mnohouholníkov, ktoré čo najlepšie (čo najtesnejšie) obklopujú celý objekt.

Hierarchia ohraničujúcich gúľ: Výpočet detekcie kolízie

Technika ohraničujúcich gúľ, každý objekt je uzavretý do ohraničovacej gule, kde každá guľa je D útvar reprezentovaný svojím stredom a polomerom. Ak chceme zistiť kolíziu dvoch objektov, porovnávajú sa ich guľové colidery. „Pomocou Pytagorovej vety“ sa vypočíta vzdialenosť stredov gúľ a potom sa porovnáva táto vzdialenosť so súčtom polomerov.

Ak vo všetkých vrstvách dostaneme ÁNO, ku kolízii dochádza, ak nie, tak nedochádza.

Proces detekcie v 3D pohľade

Hierarchia v 2D pohlade

Zisťujeme postupne, na ktorej úrovni dochádza ku kolízii. Ak sa nachádza vo všetkých vrstvách, tak ide o kolíziu.

AABB – Osovo orientované ohraničujúce kvádre

Proces detekcie v 2D

Ak v jednom stĺpci dôjde ku kolízii pri všetkých pohľadoch x y z, tak došlo ku kolízii.

OBB – Objektovo orientované ohraničujúce kvádre , vidíme, že jednotlivé úseky sú uzavreté v jednotlivých kvádroch.

Spôsob vyhodnocovania je ekvivalentný ako v prípade gúľ, len tu máme k dispozícii kvádre, ktoré sú tesne fixované na objekt.

Toto je len príklad, nemusí to takto vyzerať ako je to vpravo.

Vzťah OBB a systému konvexných obálok

Použitím kovariačnej metódy sa model aproximuje na sled vrcholov (vrátane zistenia/definovania stredového vrcholu). Zistením min. a max. hodnôt osí modelu (v rámci SSO) sa získa OBB obálka.

V ďalšom kroku sa degeneruje konvexná obálka do formy kvádra, rozšíria sa tie hrany, ktoré sa nedotýkajú modelu. Použitím konvexnej obálky sa tak získa najtesnejšie spojenie, neskôr sa degraduje táto obálka na OBB strom.

48. Pohyby modelov, tvorba kinematického reťazca

Pohyb modelov – Kinematický reťazec

Pohyb v priestore má zmysel len ak zmena jeho polohy je definovaná voči nejakému inému objektu, najlepšie v rámci konkrétnej súradnicovej sústavy.

V kĺbovej štruktúre sa musí nachádzať statický kĺb a zároveň aj kĺb, ktorého zmenu v priestore sledujeme.

Kinematický reťazec skladáme z troch častí:

• Statický kĺb je označený ako báza

• Dynamický je označovaný ako koncový efektor

• A tretí je štandardný kĺb

TOTO JE KINEMATICKÝ REŤAZEC – TIETO TRI ČASTI HO TVORIA

Podľa počtu osí, podľa ktorých je možné daný kĺb rotovať, tak je možné hovoriť o stupňoch voľnosti. Každý kĺb má stupeň voľnosti daný kĺbom alebo jeho sústavou.

Tvorba kinematického modelu

Je to najčastejšie reprezentácia acyklickým grafom, kde tento graf je najčastejšie strom, kde uzly sú kĺby a spojnice/hrany grafu sú kosti. Vo VR využívame tri základné spôsoby: keď je koncový efektor potomkom bázy, keď je báza potomkom koncového efektora a posledné je, keď sa efektor a báza nachádzajú v rozdielnych podstromoch… príklad: keď chceme preskočiť plot a jednou rukou sa chytíme plota a prenesieme váhu na ruku, aby sme preskočili plot, čiže jedna ruka sa stane bázou a celý kinematický reťazec sa prenesie na efektor, čo je buď ďalšia ruka alebo noha – a nekončí a ani nezačína to v koreni stromu.

Typy kinematiky

PRIAMA , známa ako dopredná alebo „forward kinematic“ kinematika – zadaný je počiatočný stav a predpis pohybu. Jeho aplikáciou sa objekt dostane do cieľového stavu. Často sa takýmto spôsobom riadi robotický pohyb.

INVERZNÁ kinematika – je omnoho zložitejšia, ale omnoho prirodzenejšia a spravidla sa v súčasnosti aplikuje na pohyb ľudí ako chôdza a podobne. Tu vieme polohu, v akej štartujeme, vieme, ako vyzerá cieľ, ale nepoznáme trajektóriu, cez ktorú chceme prejsť a nevieme, ako nastaviť uhly kĺbov. Preto to zisťujeme výpočtom inverznej funkcie k polohe efektora.

Pri inverznej kinematike je nepríjemné to, že môže existovať viacero trajektórií, ktoré môžu dostať nás do koncového bodu a nie všetky z nich sú prirodzené/efektívne, čiže sú požadované.

49. Pohyby modelov, kĺbová štruktúra, priama kinematika

Tu mám skeletálnu entitu – tá sa skladá z kĺbu K a kosti d , z týchto entít vyrobíme kinematický reťazec , buď ako to vidíte v 3D alebo 2D projekcii na obrázku. Vynásobením jednotlivých rotačných matíc.

Toto je lepšie, ale stále robotické, a ak sú kroky maličké, tak to vyzerá plynulo.

Máme popísanú trajektóriu z bodu A do bodu B a následne výsledkom bude to, že hodnoty ako d1, d2 a podobne poznáme, a tým je daná celková trajektória. Priama kinematika nepatrí medzi zložité výpočty a existuje pomerne veľa knižníc. Pre inverznú kinematiku, ktorá sa používa pre pohyb zvierat a ľudí, je typická inverzná kinematika. Priama je ľahká na implementáciu, ale pre ľudí sa neodporúča.

Priama kinematika je komutatívna v zmysle koncového bodu, v tom, že stále sa do koncového bodu dostaneme, nech to robíme hocijako. Myslí sa len hodnotová komutatívnosť, nie maticová – a to v tom zmysle, že ak pôjdeme podľa náhodných uhlov, tak hocijak ten koncový bod bude rovnaký v zmysle výpočtu. Komutatívna nie je z hľadiska trajektórie kĺbov a trajektórie koncového pohybu.

50. Pohyby modelov, kĺbová štruktúra, inverzná kinematika

Inverzná kinematika – analytické metódy a numerické metódy

Analytické metódy nemusia mať zaručený výsledok – nevedia predikovať existenciu inverznej funkcie. Omnoho častejšie sa používajú numerické metódy, ktoré sú menej presné a sú pomalšie, ale sú iteratívne a v každom subkroku sa vyhodnocuje stav a tým pádom sa stále prehodnocuje funkcia a postupne prechádza jednotlivými kĺbmi.

Z tohto obrázku vidíme, že vieme, kde je B, ale nepoznáme trajektóriu… Ak by sme to rozmenili na drobné, tak polohový vektor v B-čku je známy v zmysle polohy bodu B, a je známa aj poloha bodu A. Poznáme známe hodnoty dĺžky kĺbov, ktoré sa nemenia, a jedinú vec, ktorú potrebujeme vypočítať, sú zvýraznené neznáme hodnoty – alfa 1 v bode d, alfa 2 v bode d, atď.

Komutatívnosť výpočtu

CCD

Najčastejšia metóda je CCD – Cyclic Coordinate Descent ( Cyklický prechod kĺbov resp. kostí )

Začína sa od efektora a efektor sa presunie najbližšie ku spojnicu, aneb koncovému bodu C, potom nastáva presunutie vyššieho bodu R, ktorý rotuje v bode r a ten sa posunie a znova sa otočí kĺb tak, aby efektor sa dostal lineárne na najbližšiu spojnicu.

A wild Bongus has appeared! Blessing for easy pass on finals received!

ULTRA MEGA VYCUC:

1.Virtuálna realita, historické nadväznosti, základné pojmy, atribúty a technológie, avatar

VR = interaktívny systém, vytvárajúci ilúziu neexistujúceho len syntetizovaného priestoru atribúty : imerzia (pocit že naozaj som v prostredí), percepcia (vnímanie), interakcia pojmy : VR, fuzzy reality, AR (mixed), CVR/CXR, XR, hyper reality, cyberspace (= virtuálny priestor), avatar

technológie : telerobotika, teleprezentacia, teleriadenie, virtualizovaná realita, MR, AR, enriched reality, augmented virtuality, CVR, metaverzum

avatar = zástupca pozorovateľa vo virtuálnom prostredí

2. Kategorizácia VR systémov podľa úrovne technických prostriedkov a na základe

dynamiky pozorovateľa a prostredia

kategorizácia podľa úrovne V/V prvkov : entry, basic, medium, immersive VR

kategorizácia podľa dynamiky prostredia a pozorovateľa : SESO, DESO, SEDO,

DEDO(DEDSHO/DEDMNO)

3. VR systém a jeho podsystémy, interakcia vo VR systémoch

podsystémy: vizualizačný, akustický, statokinematický/kinematický, hmatový, čuchový, ostatné

• interakcia pomocou V/V zariadení (?)

4. X-realita (XR), Hyper-realita, adaptabilita rozhraní XR systémov

XR = cross reality, zjednotenie VR, MR, AR na aplikačnej úrovni

hyper-realita = nad XR, realita a fikcia sa prelínajú tak, že používateľ to nevie rozlíšiť (jaskyna) adaptabilita = prispôsobujú sa používateľovi, prostrediu alebo situácii (auto zmena jasu keď vyjdem s okuliarmi von)

5. Technológia digitálneho dvojčaťa

dvojča = akokeby avatar, ale má iné vlastnosti ktoré vieme pozorovať pri simuláciách - imitácia reálneho objektu pre skúmanie

6. Zmiešaná realita, funkcia systému ZR, klasifikácie ZR

ZR = je oblasť počítačového výskumu zaoberajúca sa kombináciou reálneho sveta a počítačom generovaných dát (virtuálnej reality), kde počítačom generované syntetické objekty sú vmiešavané do reálneho prostredia a naopak, v reálnom čase

charakteristiky ZR : kombinuje reálne a virtuálne prvky, je interaktívna, procesy prebiehajú v reálnom čase, systém pracuje v 3D

klasifikácie ZR:

Milgramovo continuum - os, realita -> AR -> MR -> AV -> virtualita

Mannova klasifikácia - graf, technológia mení naše vnímanie reality, vyjadruje ako je realita technologicky “sprostredkovaná” (mediated)

• augmentácia (pridanie info), modifikácia (zmena reality)

7. Typy ZR a možnosti ich využitia

typy:

podľa vizuálneho vnemu:

• MR s nepriamym sprostredkovaným pohľadom (neprehľadný displej, pozerám cez kameru)

• MR s priamym sprostredkovaným pohľadom (priehľadný displej)

podľa synchronizácie virtuálnej a reálnej scény/objektov:

• systémy s exaktnými značkami (markered systems) - objects marked

• systémy bez (exaktných) značiek (semimarkerless, markerless systems) - item recognition

• podľa prostredia: interiérové, exteriérové, kombinované

podľa synchronizácii v priestore:

• enriched reality (pr. menu overlay na smart glasses)

• augmented reality - prvky majú geometrickú väzbu s reálnym svetom (pokémon go)

• využitie: výskum, komerčné (hry), armádne pomôcky, medicína, priemysel

8. Proces práce aplikácie ZR, implementácia značkovanej AR

proces aplikácie ZR:

• inicializácia: kamera, predlohy, 3D model

• cyklus: video snímka -> detekcia objektu -> výpočet SSO -> vykreslenie 3D objektu

• ukončenie: vypnutie kamery

• -> dá sa paralelizovať (SIMD)

implementácia značkovanej AR:

hľadanie značky -> nájdenie značky (vieme polohu a orientáciu) -> identifikovanie značky -> pozícia a orientácia objektu (na značku) -> zobrazenie 3D objektu v obraze

9. Metódy detekcie v ZR systémoch

SIFT = algoritmus na detekciu príznakov v obraze, odolný voči zmene mierky, rotácií, jasu a niekedy aj deformáciám

• algoritmus: detekcia extrémov v mierkovej oblasti -> presná lokalizácia bodov -> určenie orientácie -> vytvorenie deskriptorov

• SURF = metóda dokáže popísať obrázok pomocou deskriptorov, rýchlejšia než SIFT ale môže byť menej presná, tiež odolná voči mierke, rotácii atď

• algoritmus: detekcia bodov záujmu -> výpočet orientácie -> popis príznakov - deskriptory

10. Kolaboratívna XR/VR, definícia, vlastnosti, klasifikácia, typy, využitie

definícia : založený na technológií VR za účelom sprostredkovať spoločne zdieľané virtuálne prostredie medzi viacerými používateľmi v reálnom čase.

• rozdiel medzi kolaboratívnou a zdielanou = kolaboratívna - podanie objektu niekomu, zdielaná - neviem podať objekt niekomu

vlastnosti

• podpora aktivít s integráciou skupiny používateľov - teams

• zdieľanie virtuálneho kolaboratívneho prostredia - teams meet

• zámer - prednáška

• kombinácia viacerých V/V v reálnom čase

• interaktívna komunikácia v zdieľanom kooperatívnom prostredí

klasifikácia

• účel využitia

• viacúčelové - dajú sa využiť na hocičo

• prostredia so špecifickým účelom - technicky kvalitnejšie

• dostupnosť - lokálne/globálne

• koncepcie aplikačnej architektúry - peer-to-peer….

• modely konzistencie - centralizovaný, aktívna replikácia….

11. Lokálne a globálne zdieľané systémy

lokálne zdieľané virtuálne prostredia

• rovnaký fyzický priestor

• prístup

• centralizovaný - CAVE

• oddelený - oculus

globálne zdieľané virtuálne prostredia

• implementačne náročnejšie

• využíva internet

• podporuje vzdialenú kolaboráciu a rozsiahle skupiny ľudí

• potrebný avatar - lebo user neni fyzicky prítomný

riadenie vizualizácie

• jeden používateľ - lokálne zdieľaných systémoch s centralizovaným prístupom

• každý používateľ - lokálne zdieľaných systémoch s oddeleným prístupom

12. Koncepcie aplikačnej architektúry kolaboratívnej XR/VR

klient-server

• server (cloud) - centrálny system

• veľký nápor výpočtov na server

• klient - obojstranná komunikácia so serverom

• centralizovaný prístup

peer-to-peer

• absencia servera

• záťaž na sieťové prepojenie

• menej zabezpečené prostredie - lebo všetko ide cez sieť

• oddelený prístup

distribuovaná serverová architektúra

• v popredí kvôli paralelizmu

• primárny server - client-server server

• sekundárny server (servery) - spracovávanie špecifických podsystémov

13. Zdieľané virtuálne prostredia, ich konzistencia a modely

Narušenia konzistencie môžu nastať pri vykonávaní rôznych aktivít v zdieľanom prostredí modifikácia zdieľaného obsahu - 1 vec chcu 2 ľudia urobit

modely konzistencie pre virtuálne prostredia

• centralizované - zmena od klienta ide na server - update pre každého

• aktívne replikované - aktívne updaty aj keď zmena nenastala

• distribuované - to isté ako centralizované len viac serverov

• zdieľanie vlastníctva údajov - len vlastník vie narábať s objektom

• akcie vlastníka objektu

  • získanie

  • odovzdanie

  • odstúpenie

14. Vlastníctvo údajov a virtuálnych objektov v systémoch zdieľanej XR/VR, mechanizmy replikácie údajov, objektov a scén

len vlastník vie narábať s objektom

• akcie vlastníka objektu

• získanie

• odovzdanie

• odstúpenie

synchrónna replikácia údajov

• vždy je dané čo kto ako robí príslušné veci

• vykoná sa požiadavka - žiadateľ čaká na spätnú odpoveď od systému

• prístup je zvyčajne riadený cyklicky (naprv má user1, ptm user2, atď)

• pri prístupe nenastanú prerušenia

• napr. prihlasujem sa do lobby v hre (neovplyvňujem ostatných ľudí v lobby týmto, oni si robia svoje veci)

asynchrónna replikácia údajov

• vykonanie súbežných aktivít

• druhy aktivít: pohyb v priestore, zasielanie komunikačných správ

• prístup napr. ako zásobník (FIFO)

• napr. movement - ostatní ćakaju kým sa movement vypočíta tiež pre ostatných

15. Interakcia používateľov v systémoch zdieľanej XR/VR a viacpoužívateľský prístup, mechanizmy riadenia, bezpečnosť viacpoužívateľského prístupu.. mechanizmus riadenia interakcie

• mechanizmus kolaborácie s blokovaním viacpoužívateľskej interakcie

• 1 používateľ ovláda 1 vec

• mechanizmus kolaborácie s riadením voľnej interakcie používateľov

• používatelia konkurujú o prístup

• zabezpečenie viacpoužívateľského prístupu

• podla identifikácie usera

• podla hierarchie

16. Základné implementačné stupne XR systému

stupne XR systému

• technické - hardvér

• programové - programy, kód, os

• ostatné - nejaké fancy špecifické veci

17. Koncepcia distribuovaného systému XR .

distribuované je že to je paralelne

základné moduly

• komunikačný

• úložisko

• synchronizačný

• vizualizácia

• prehrávač zvuku

• údaje z polohových senzorov

záťaž na komunikačný uzol čím viac modulov je

18. Základný návrh XR systému na interakčnej báze, jeho rozhranie a bázické

koncepcie

základný návrh postavený na interakcii

• flexibilný systém

• unifikácia

• rozhranie ako transformácia

• interakcia pomocou rozhrania

bázické koncepcie

• tesne-viazané, voľne-viazané, kombinované

• naj podsystém - vizualizačný

19. Proces interakcie v XR systémoch na jednotlivých stupňoch detailnosti. 1. úroveň:

• vychádza zo základného modelu

• sémantická úroveň

2. úroveň:

• vychádza z 1. úrovne

• obsahuje

• množinu zariadení - hw

• syntaktickú množinu - funkcia zariadenia

• sémantickú množinu - kód

3. úroveň detailnosti pre VR

• vychádza z 2. úrovne

• navyše - kombinovať vstupy z viacerých zariadení

• mentálne gesto - kombinácia vstupov

3. úroveň detailnosti pre AR/MR

• AR - viem rekonštruovať scénu

• MR - neviem rekonštruovať scénu

• zložitejšie oproti AR

20. Konštrukcia voľne viazaných, tesne viazaných a kombinovaných XR systémov

voľne-viazané

• CAVE

tesne-viazané

• častokrát využívajú HMD

• majú zabudované výpočtový systém

• podľa typu zobrazovačov

• zabudované

• mobil

kombinované

• niektoré časti systému sú voľne-viazané, niektoré sú tesne-viazané

21. Rozhrania XR systémov, rozhranie ako transformácia, bioadaptované a naturálne rozhrania

• input od usera/zariadenie pomocou rozhraní -> preklad do input system -> výpočty v jadre -> výsledok cez output system -> preklad výstupu na rozhranie

unifikácia = preklad medzi rozhraním a jeho príslušným podsystémom

rozhranie ako transformácia = preklad, kedy sa zachováva/prekladá sémantika

• dôležité sú 3 časti: sémantická množina, množina zariadení a syntaktická množina

• vstup O prejde cez rozhranie R a vyjde ako O’

bioadaptované rozhrania:

• mechanické: mechanické prevodové, mechanicko-gyroskopické, Bowdenové

• indukčné a magnetické

• vibračné a ultrazvukové

• tepelné a piezoelektrické

• infračervené a laserové

• optické a kamerové

naturálne rozhrania = kopírujú ľudské vnemy (vizual, sluch, hmat) - dotykové, hmatové, gestikulácie rúk, atď

22. Adaptívne rozhrania XR systémov a proces adaptácie vstupov a výstupov

adaptívne rozhranie = má schopnosť prispôsobiť ovládanie vzhľadom na typ zariadenia/používateľa

• parametricky nastaviteľné, môže obsahovať AI prvky

23. Adaptívne rozhrania XR systémov podľa účelu nasadenia

adaptívne rozhrania = sú kontextovo inteligentné (podľa oblasti integrácie)

• V/V sa adaptuje podľa použitej technológie/zariadenia, podľa hw/sw podsystému

• pr. pri vzdelávaní - rozhranie sa prispôsobí úrovni znalostí (jednoduché UI pre beginners, advanced pre expertov)

24. XR a bio-senzorické rozhrania

Senzorické rozhrania

• pasívne - posielajú dáta

• aktívne - vedia ich spracovať

Senzorické rozhrania EEG - ElektroEncefaloGrafia

• snímanie aktivity mozgu používateľa

• podpora ovládania mimickými vzormi

• problém - nejednoznačné vzory, tiež nepresné meranie u ľudí v vlasmi

• dá sa rozpoznať silná a slabá mozgová aktivita

Senzorické rozhrania EOG - ElektroOkuloGram

• sníma svalovú aktivitu očí používateľa

Využitie

• získavanie fyziologických vstupov používateľom

• kontrola fyziologického stavu používateľa

• vysoká adaptivita

25. Virtualizačný reťazec a jeho realizácia, práca s virtuálnym svetom, vizualizačný subsystém, sledovanie polohy, zobrazovacie systémy, 3D tlač a vytváranie reálnych objektov

vizualizačný podsystém

Potrebujem mať Vizualizačné procesné jadro, ktoré je súčasťou celkového procesného jadra

VR systému a všetky ostatné podsystémy s nim spolupracujú. Proces je nasledovný

1. vstupuje virtuálny priestor

2. prebehne formalizácia

3. prebehne to cez procesné jadro

4. rasterizácia

5. kompozícia obrazu (rendering)

6. výstupné zariadenie

zobrazovacie systémy sa delia na :

• stereoskopické (pasívne/aktívne/autostereoskopické),

• priestorové displejové,

• holografické,

• projekcia na očnú sietnicu,

• stimulovanie vizualizačných častí mozgu

3D tlač

• tlačenie 3D objektov ktoré boli vytvorené v nejakom softvéri

26. Vizualizácia, vykresľovanie, vizualizačné jadrá a grafické architektúry

Vizualizácia je proces transformácie popisu virtuálneho sveta do výstupného obrazu na zobrazovacom zariadení

Vrstvy vizualizačného procesu

1. Definovanie modelu

2. Transformácia nad objektami

3. Riešenie viditeľnosti

4. Tieňovanie

5. Osvetľovanie

6. Realistické zobrazovanie

7. Kompozícia a Vykresľovanie (rendering)

problém pri VR rozhraniach z hladiska vizualizácie

• treba v IRL čase

• treba detailné a treba hneď - bije sa to

Vykresľovanie(rendering) je proces tvorby obrazu pomocou algoritmov alebo tiež oblasť štúdia zaoberajúceho sa syntézou obrazov z modelov sveta vo výpočtovom systéme

grafické architektúry

1. ARCHITEKTÚRA S TRIEDENÍM NA ZAČIATKU - triedenie 3D primitiv

2. ARCHITEKTÚRA S TRIEDENÍM V STREDE - triedenie 2D primitiv

3. ARCHITEKTÚRA S TRIEDENÍM NA KONCI - triedenie fragmentov

4. ARCHITEKTÚRA S KOMPOZÍCIOU OBRAZU

5. ARCHITEKTÚRA S VIACNÁSOBNÝM TRIEDENIM

rendering pipeline:

27. Paralelné vykresľovanie (paralelný rendering), koncepcie paralelných algoritmov

Definícia: využitie viac procesných jednotiek pre urýchlenie výpočtu scény

dôvody prečo

• komplexnosť scény

• kvalita výstupného obrazu

• odozva v irl čase

28. Paralelizmus v grafických architektúrach

• 3 typy paralelizmu

• funkcionálny

  • a. rozdelené do jednoznačných funkcií

  • b. MISD

  • c. Hurtuk toto čo vravel s výrobnou linkou

  • d. nevýhoda:

    • i. celková rýchlosť je limitovaná najpomalšou z nich

  • ii. limitovaný počet funkčných jednotiek

• údajový

• a. SIMD

• b. výsledky sa na konci spájaju - princíp ako CAVE monitory

• c. rozdelenie do tried

i. objektový paralelizmus

     1. geometrická transformácia

     2. vyraďovanie odvrátených primitív

     3. výpočty svetelných zdrojov

     4. pohľadová transformácia

     5. orezanie

  - ii. obrazový paralelizmus

     1. výpočet osvetlenia

     2. interpolácia

     3. kompozícia

     4. riešenie viditeľnosti

1. časový

2. a. v animovaných filmoch

3. b. veľké výpočty

4. c. viac workerov - rýchlejšie

ich použitie závisí od úlohy, kt. idem riešiť

29. Klasifikácia grafických architektúr a ich porovnanie

1. ARCHITEKTÚRA S TRIEDENÍM NA ZAČIATKU

2. a. triedenie 3D primitiv

3. b. uzol, do ktorého uzla primitívum patrí

4. c. uzly potom vykonávajú zvyšok renderovania

5. d. triedenie primitív pred ich transformáciou a rasterizáciou

6. ARCHITEKTÚRA S TRIEDENÍM V STREDE

7. a. triedi 2D primitíva

8. b. rasterizácia sa vykonáva až po triedení

9. c. vyvážené zaťaženia procesorov

10. d. potreba výmeny transformovaných dát medzi uzlami

11. ARCHITEKTÚRA S TRIEDENÍM NA KONCI

12. a. triedi fragmenty

13. b. každý procesor má takmer celú renderovaciu rúru

14. c. všetky uzly počítajú pixely svojej časti scény - ptm sa spoja

15. ARCHITEKTÚRA S KOMPOZÍCIOU OBRAZU

16. a. kombinuje pixely až po výpočtoch

17. b. rozdelenie až v procese zobrazenia

18. ARCHITEKTÚRA S VIACNÁSOBNÝM TRIEDENIM

19. a. umožňuje viacúrovňové triedenie v rôznych fázach rúry

- 30. Technológia GPGPU základné pojmy, architektúra, rozvoj, prostriedky

GPU = paralelný prúdový procesor typu SIMD

architektúra GPU = má jadro (jadrá) pre výpočty, pamäťovú hierarchiu (VRAM, cache), riadiace jednotky

rozvoj:

• 1.gen = neprogramovateľné karty GPU, výpočty na CPU a GPU len rasterizáciu

• 2.gen = basics programovateľné na GPU, vertex transformácie a geometrie výpočty na GPU

• 3.gen = zavedenie fragment transformácii, programovanie shading

• 4.gen = plne programovateľné, metajazyky špeci pre GPU

• 5.gen = “unified shader” = programovanie vykonávacích jednotiek

• technológie : CUDA, OpenCL, Microsoft

31. Programová implementácia XR systému a jej hierarchia

• data flow/ control flow riadenie

• V/V rozhrania, simulácia riešenej problematiky, vizualizácia, vzťahy medzi objektami, parametre objektov

• slučka interakcie VR systém + virtualizačný reťazec

hierarchia:

1. popis logického jadra - záujmové oblasti, na základe požiadaviek na systém

2. modelovanie VR/XR - spracovanie deskriptívnych prostriedkov do virtuálneho priestoru

3. vizualizácia/simulácia - výsledkom je rozhranie pre komunikáciu medzi človekom a systémom

32. Postup spracovania požiadaviek na XR systém

1. Definovanie oblasti záujmu - aký systém, aké funkcionality, kto bude používať

2. Určenie parametrov - interné/externé (dôležité pri tvorbe virt. dvojčaťa)

3. Otypovanie parametrov - identifikátory, logické hodnoty, číselné hodnoty, množiny hodnôt

4. Definovanie vzťahu medzi parametrami

5. Určenie typov pre vzťahy v systéme - priamoúmerne závislé, nepriamoúmerne závislé alebo podmienene závislé

33. Virtuálny priestor a jeho parametre

virtuálny priestor = entita, v ktorej sa realizuje virtuálny dej

• charakteristika: dimenzia, súradnicová sústava, definičná úroveň (formálny opis, objekty), dynamika

parametre:

• typ dimenzie - celočíselné / neceločíselné, topologická, Hausdorffova, fraktálna atď

• charakter priestoru - translačný, rotačný, kombinovaný

• štruktúra dimenzií - homogénna, heterogénna

• stupeň voľnosti - jednosmerné, obojsmerné

34. Reprezentácia a popis virtuálneho sveta a objektov, elementy, vlastnosti, vzťahy,

modely, formalizačné prostriedky opisu virtuálneho sveta

reprezentácia modelovania telies

• hraničná (vrchol, hrana, stena, plocha)

• konštruktívna geometria telies

• definovaná údajovou štruktúrou stromu - strom tvoria: listy (definujú atomárne elementy tvoriace objekt); uzly (definujú operácie medzi listami); hrany (definujú transformácie medzi listami); koreňom stromu je definovaný celý objekt

reprezentácia objektov a popis:

• 0 points clouds - množina bodov

• 1 wire frame model

• 2 surface model

• 3 solid model

reprezentácia virtuálneho sveta:

virtuálna scéna =

• textúra + farba = materiál

• geometria + materiál = objekt

• kamera + objekt + sveto = scéna

elementy = zoznamy:

• mapy, terény, povrchy

• senzory, kamery, colliders

• virtuálne objekty (statické/dynamické)

• objekty iného typu údajov

vlastnosti = globálne / lokálne, špecifické podľa logického rámca - vizualizačný, akustický, atď

prostriedky:

• deskriptívne pre opis virtuálneho priestoru, objektov a scén (VRML, XML, OpenInventor)

• skriptovacie pre popis transformácií virtuálnych priestorov, objektov, scén (RUBY, Python, LUA, XML)

35. Súradnicové sústavy, súradnicové sústavy vyšších rádov, vzťahy priestorov,

transformácie

SS vyššieho rádu = disfenoid

súradnicová sústava:

(SSTextury -＞)SS objektu -> globálna transformácia -> univerzálna SS -> normalizovaná SS -> pohľadová transformácia-> SS kamery -> zobrazovacia transformácia-> SS zariadenia (logická) -> orezávacia transformácia-> SS zariadenia (fyzická - čo je výsledne na obrazovke)

- 36. Quaternióny súradnicový systém, Eulerove uhly, Eulerov teorém, základné pojmy

• quaternión definovaný ako komplexné číslo tvorene 4 zložkami:

• číslom popisujúcim veľkosť zmeny mierky;

• číslo popisujúce veľkosť uhla (v stupňoch);

• dve čísla označujúce rovinu, v ktorej sa vektor bude otáčať

37. Quaternióny a rotácia, rotácia okolo všeobecnej priamky, gimbal lock, definícia

• quaternión definovaný ako komplexné číslo tvorene 4 zložkami:

• číslom popisujúcim veľkosť zmeny mierky;

• číslo popisujúce veľkosť uhla (v stupňoch);

• dve čísla označujúce rovinu, v ktorej sa vektor bude otáčať

gimbal lock - existuje postupnosť rotácii, že vo výslednej rotácii stratíme jeden stupeň voľnosti

otáčanie okolo priamky videjko (30sec) na pochopenie:

https://www.youtube.com/watch?v=75o5pmeXUMo

38. Priestorové zobrazovanie - stereoskopické videnie a jeho proces, vlastnosti oka, rozlišovacia schopnosť, zorné pole, akomodácia a konvergencia, faktory

priestorového videnia

Stereoskopické videnie je videnie kde každé z dvoch očí poskytuje obraz, ktoré potom mozog spracuje a tak vnímame nielen 2D obraz ale aj hĺbku obrazu.

(Multiskopia je videnie, ktoré používa viac pohľadov ako dve.)

vlastnosti oka: rozlišovacia schopnosť a zorné pole

rozlišovacia schopnosť = schopnosť vnímať dva body ako oddelené - rozpoznávanie detailov v priestore

zorné pole = cone of vision(cca 180° pre zdravého človeka), delenie:

• centrálna časť (60° obe oči dokopy)

• blízke/stredné periférne videnie (90°)

• periférne videnie (140°)

akomodácia = automatické prispôsobenie oka pri zmene jasu, vzdialenosti

konvergencia = pohyb očí smerom k sebe(na blízko)/od seba(do diaľky), keď pozeráme na rôzne vzdialené objekty (30cm do 220m)

Faktory priestoroveho zobrazenia

• 2D náznaky (2D cues) sú vizuálne efekty, ktoré vytvárajú dojem vzdialenosti objektu od pozorovateľa. napr. tieňovanie a prekrytie objektov (viditeľnosť, alfa).

• Pohybová paralaxa (motion parallax) je možnosť pozorovať scénu z rôznych pohľadov.

• Lineárna paralaxa nekonečna (LPN) určuje maximálne posunutie oboch obrazov, t.j. vzájomné posunutie objektov v jednom a druhom zobrazovacom poli bude menšie alebo rovné LPN, a to tak, že s narastajúcou vzdialenosťou od objektívov kamier (očí) sa toto posunutie zmenšuje.

• Binokulárna disparita (binocular disparity) obrazy videné očami sú posunuté/odlišné.

• 2,5D(Dva a pol D) projekcia 2D obrazky zachycujúce 3D scénu, rešpektuje iba 2D náznaky.

39. Priestorové zobrazovanie - technológie stereoskopického a priestorového zobrazovania, KPI FEI TU Košice Systémy virtuálnej reality 2

• Anaglyfy

• Stereogram

• Datove prilby a VR headsety

• Prizmova mriezka

• Lentikulárny raster

• Holografia

• Riadenie hĺbkovou mapou

• 3D led displeje

• Volumetrické zobrazovanie

• Obrazovkou

• Laserom

• Holografia

• 3D tlač ako vystupna technológia

40. Stereogramy

Stereogramy využívajú binokulárnu disparitu spolu so schopnosťou mozgu rozpoznávať drobné rozdiely medzi nimi. Vďaka tomu je v mozgu vytváraná ilúzia trojrozmerného (3D) povrchu .

Na správne generovanie stereogramu treba hĺbkovú mapu obrazu alebo mapu skrytých hrán alebo povrchov , ktoré určujú priestorové rozloženie objektov.

– 41. Stereoskopia anaglyfické zobrazenie

Anaglyf je zalozeny na farebnej separacii RGB farebnom priestore pre kazde oko zvlast.

Typy : Podľa vlastnosti výstupu

• Farebne

• V odtieňoch šedej

Typy: Podľa použitých zložiek

• Red-Cyan(Green+Blue) Najčastejšie používaný typ.

• Red-Green

• Red-Blue

• Yellow(Red+Green)-Blue

– 42. Stereoskopia polarizácia, infitec, autostereoskopia

Polarizácia je usmernenie kmitania svetelných vĺn. V 3D zobrazovaní sa využíva tak, že každé oko vidí iný obraz – pomocou polarizačných filtrov

Typy polarizácie

• Lineárna

• Kruhová

• Eliptická

Infitec (technologiu sme videli v Zvolene)

Infitec je pokročilá 3D technológia využívajúca interferenčné filtre na presné rozdelenie farieb pre každé oko. Umožňuje takmer verné farby, no vyžaduje špeciálne okuliare a drahé vybavenie.

Dátové prilby a VR headsety

Oculus, HoloLens, Meta…

Dátové prilby majú výpočtovú techniku už v prilbe samotnej.

Autostereoskopia

Je to technológia, ktorá sa venuje zobrazovaniu 3D obrazu bez použitia pomocných zariadení.

typy:

• Bez aktívnej masky

• S prizmovou mriežkou

• Pomocou šošovkového rastra

• Pomocou riadenia s aktívnou maskou

Autostereoskopický displej bez aktívnej masky

Výhody- Nevyžaduje okuliare a iné pomôcky

Nevýhody- Len pre nízky počet pozorovateľov

Prizmová mriežka - Je to štandardná mriežka nad displejom, do ktorej sú dierky vyvŕtané takým spôsobom, aby sme jedným okom videli len pravé stĺpce a druhým len ľavé stĺpce.

Lentikulárny raster - využíva sústavu malých šošoviek usporiadaných v mriežke, ktoré rozdeľujú obraz pre ľavé a pravé oko.

Riadenie s hĺbkovou mapou - využíva hĺbkovú mapu (depth map) – teda 2D obraz doplnený o informácie o vzdialenosti každého bodu od pozorovateľa.

Riadenie s aktívnou maskou - kamera rozpoznáva smer pohľadu na displej a, vypočíta polohu očí. Potom určí, ako bude riadiaca maska preložená cez displej, aby prepúšťala ľavý a pravý obraz.

43. Priestorové zobrazovanie – hĺbkový vnem, problémy zobrazovania v datových prilbách, stereoskopická súradnicová sústava, virtuálne kamery

Hĺbkový vnem - Človek priestorovo vníma v rozmedzí 0,3 m – 220 m pri vzdialenosti očí okolo 65 mm a nulovej rýchlosti voči okolitému prostrediu. So zvyšujúcou sa rýchlosťou sa interval skracuje. Problém konvergencie a akomodácie pri použití dátových prilieb - Pixelizácia je problém, kde zacneme vnimat jednotlivé pixely displejov.

Stereoskopická súradnicová sústava- Je priestorový súradnicový systém, v ktorom sa definujú pozície a smery pohľadu dvoch virtuálnych kamier.

Virtuálne kamery- V 3D grafike sú to simulované pohľady do scény – každé „oko“ má svoju vlastnú kameru

44. Stereoskopické zobrazovacie systémy

Podľa umiestnenia zdroja

• Priama

• Spätná

Podľa spôsobu vytvárania efektu

• Pasívny (anaglyfy, stereogramy)

• Aktívny prepína sa frame by frame obraz pre lave a prave oko a okuliare striedavo prepustaju obraz do praveho a laveho oka.

45. Kolízie vo virtuálnych scénach, typy kolíznych senzorov, modely kolíznych

objektov, dôvody riešenia kolízií

Typy kolízií vo virtuálnych scénach

• Kolízia medzi avatarom (kamerou) a virtuálnym svetom – to je najčastejšie

• Kolízia medzi avatarom a dynamickými objektmi

• Kolízie medzi avatarmi – zriedkavé

• Kolízie medzi dynamickými virtuálnymi objektmi a virtuálnou scénou (príklad: schopnosť hýbať kocky v hre Portal)

• Kolízie medzi dynamickými virtuálnymi objektmi

Niekedy sa kolízie nepočítajú priamo modelom avatara alebo objektu, ale colliderom, čo je jednoduchší tvar. Dôvody riešenia kolízií

• Detekcia kolízie a následné zastavenie pohybu

• Detekcia pohybu a následná zmena trajektórie pohybu

• Aby sa neprechádzalo kamerou cez objekty scény

• Využíva sa pri senzorickom systéme na vykreslenie textu na obrazovku pri vstupe do senzorickej oblasti

46. Detekcia kolízie, algoritmy detekcie kolízie, fázy detekcie kolízie

Detekciu kolízie delíme na 4 atribúty:

• Vznik kolízie – indikácia

• Forma kolízie

• Objekty kolízie

• Čas kolízie

Reakcia na kolíziu :

• Správanie sa objektov podľa fyzikálnych zákonov

• Deformácia objektov

• Animačné efekty

Algoritmy detekcie kolízie

Podľa reprezentácie kolízie:

• Detekčné – je len true alebo false a hovoria nám, či bola, alebo nebola kolízia detekovaná.

• Určujúce – majú true a false hodnotu, ale vracajú aj ďalšie informácie, napríklad kde došlo ku kolizii.

Podľa počtu objektov, ktoré sa vyskytujú pri výpočte detekcie kolízie:

• N-body systém – výpočet detekcie sa robí naraz so všetkými pohybujúcimi sa objektmi a zisťuje sa čas, kedy ku kolízii dôjde pri známej rýchlosti objektov.

• 2-body systém – výpočet sa robí len s dvoma objektmi, bez ohľadu na to, či sa objekty pohybujú alebo nie. A niekedy proste dlho bude trvať, kým sa zistí, čo s čím sa zrazilo.

Najčastejšie sa používa N-body systém .

Fázy detekcie kolízie

Častokrát nie sú naplnené všetky fázy – závisí to od typu colliderov, detekcie a podobne, ale približne detekcia kolízie vyzerá nejako takto: NEMAZ TOTO Z TADIAL DOLEZITE!!!!

• Výber objektov na detekciu kolízie

• Utriedenie objektov na detekciu kolízie, vybratie vhodného algoritmu

• Použitie vhodného algoritmu detekcie kolízie

• Test vylúčenia

• Výpočet kolízie medzi objektmi

• Indikácia kolízie medzi objektmi

47. Algoritmy riešenia kolízií vo virtuálnych scénach

Typy algoritmov riesenia kolizii

Hierarchia ohraničujúcich gúľ (BSH – Bounding Spheres Hierarchy ) – Pozostáva iba z

hierarchie ohraničujúcich gúľ (každá guľa je definovaná stredom a polomerom). Kolízia objektov sa zistí, ak je vzdialenosť medzi dvoma stredmi gúľ kratšia ako súčet ich polomerov

Osovo-orientované ohraničujúce kvádre (AABB – Axis Aligned Bounding Boxes ) – Pozostáva z množiny minimálnych/m maximálnych hodnôt na osiach X, Y, Z alebo zo stredového bodu objektu a troch vektorov určujúcich vzdialenosť ohraničujúcich stien (zarovnaných vzhľadom na osi súradnicovej sústavy scény) od tohto stredového bodu.

Objektovo-orientované ohraničujúce kvádre (OBB – Object-Oriented Bounding Boxes ) –

Skladá sa zo šiestich polygónov pevne zviazaných s objektom, ktorý ohraničuje (v rámci SSO). Je to reprezentované maticou orientácie, stredovým bodom objektu a tromi vektormi určujúcimi vzdialenosť ohraničujúcich stien od stredového bodu objektu.

Systém konvexných obálok (CHs – Convex Hull ( envelope system )) – Je to

najkomplikovanejšie, ale najpresnejšie riešenie. Skladá sa z konvexných mnohouholníkov, ktoré čo najlepšie (čo najtesnejšie) obklopujú celý objekt.

48. Pohyby modelov, tvorba kinematického reťazca

Pohyb modelov- Pohyb v priestore má zmysel len ak zmena jeho polohy je definovaná voči nejakému inému objektu, najlepšie v rámci konkrétnej súradnicovej sústavy.

Kinematický reťazec skladáme z troch častí:

• Statický kĺb je označený ako báza

• Dynamický je označovaný ako koncový efektor

• A tretí je štandardný kĺb

Tvorba kinematického modelu- Je to najčastejšie reprezentácia acyklickým grafom, kde tento graf je najčastejšie strom, kde uzly sú kĺby a spojnice/hrany grafu sú kosti.

49. Pohyby modelov, kĺbová štruktúra, priama kinematika

Pohyby modelov: sú robotické/neprirodzené

Kĺbová štruktúra: Model má kostru zloženú z kĺbov a kostí, ktoré sú hierarchicky prepojené (napr. rameno → lakeť → zápästie). Pohyb jedného kĺbu ovplyvňuje podriadené časti.

Priama kinematika: určuje polohu koncového bodu (napr. ruky) na základe známych uhlov a dĺžok jednotlivých kĺbových častí (napr. d1, d2...). Je hodnotovo komutatívna – ak zadáme rovnaké uhly, výsledná poloha bude rovnaká, bez ohľadu na poradie výpočtu . NIE je však komutatívna z hľadiska trajektórie – teda dráha, ktorou sa kĺby pohybujú, sa môže líšiť.

50. Pohyby modelov, kĺbová štruktúra, inverzná kinematika

Pohyby modelov: modely sa pohybujú pomocou vnútornej kostry, ktorá riadi ich deformáciu a polohu.

Inverzná kinematika (IK – Inverse Kinematics)

• Zadáme požadovanú pozíciu koncového bodu (napr. kde má byť ruka).

• Systém vypočíta potrebné uhly kĺbov , aby sa tam končatina dostala.

• Používa sa pri realistickej animácii postáv a zvierat (napr. chôdza, uchopenie objektu).

• Výpočet je náročnejší , často sa rieši numerickými metódami.

Kĺbová štruktúra (skelet)

• Model má kostru zloženú z kĺbov (bones/joints) prepojených do hierarchie.

• Pohyb v jednom kĺbe ovplyvňuje všetky podriadené (napr. rameno → lakeť → ruka).

• Umožňuje realistické ohýbanie a animáciu.

Spat hore