Quick Links¶
1.Virtuálna realita, historické nadväznosti, základné pojmy, atribúty a technológie, avatar¶
Navigation¶
- Virtuálna realita, historické nadväznosti, základné pojmy, atribúty a technológie, avatar
- Kategorizácia VR systémov podľa úrovne technických prostriedkov a na základe
- VR systém a jeho podsystémy, interakcia vo VR systémoch
- X-realita (XR), Hyper-realita, adaptabilita rozhraní XR systémov
- Technológia digitálneho dvojčaťa
- Zmiešaná realita, funkcia systému ZR, klasifikácie ZR
- Typy ZR a možnosti ich využitia
- Proces práce aplikácie ZR, implementácia značkovanej AR
- Metódy detekcie v ZR systémoch
- Kolaboratívna XR/VR, definícia, vlastnosti, klasifikácia, typy, využitie
- Lokálne a globálne zdieľané systémy
- Koncepcie aplikačnej architektúry kolaboratívnej XR/VR
- Zdieľané virtuálne prostredia, ich konzistencia a modely
- Vlastníctvo údajov a virtuálnych objektov v systémoch zdieľanej XR/VR, mechanizmy replikácie údajov, objektov a scén
- Interakcia používateľov v systémoch zdieľanej XR/VR a viacpoužívateľský prístup, mechanizmy riadenia, bezpečnosť viacpoužívateľského prístupu.. mechanizmus riadenia interakcie
- Základné implementačné stupne XR systému
- Koncepcia distribuovaného systému XR .
- Základný návrh XR systému na interakčnej báze, jeho rozhranie a bázické
- Proces interakcie v XR systémoch na jednotlivých stupňoch detailnosti. 1. úroveň:
- Konštrukcia voľne viazaných, tesne viazaných a kombinovaných XR systémov
- Rozhrania XR systémov, rozhranie ako transformácia, bioadaptované a naturálne rozhrania
- Adaptívne rozhrania XR systémov a proces adaptácie vstupov a výstupov
- Adaptívne rozhrania XR systémov podľa účelu nasadenia
- XR a bio-senzorické rozhrania
- Virtualizačný reťazec a jeho realizácia, práca s virtuálnym svetom, vizualizačný subsystém, sledovanie polohy, zobrazovacie systémy, 3D tlač a vytváranie reálnych objektov
- Vizualizácia, vykresľovanie, vizualizačné jadrá a grafické architektúry
- Paralelné vykresľovanie (paralelný rendering), koncepcie paralelných algoritmov
- Paralelizmus v grafických architektúrach
- Klasifikácia grafických architektúr a ich porovnanie
- Technológia GPGPU základné pojmy, architektúra, rozvoj, prostriedky
- Programová implementácia XR systému a jej hierarchia
- Postup spracovania požiadaviek na XR systém
- Virtuálny priestor a jeho parametre
- Reprezentácia a popis virtuálneho sveta a objektov, elementy, vlastnosti, vzťahy,
- Súradnicové sústavy, súradnicové sústavy vyšších rádov, vzťahy priestorov,
- Quaternióny súradnicový systém, Eulerove uhly, Eulerov teorém, základné pojmy
- Quaternióny a rotácia, rotácia okolo všeobecnej priamky, gimbal lock, definícia
- Priestorové zobrazovanie - stereoskopické videnie a jeho proces, vlastnosti oka, rozlišovacia schopnosť, zorné pole, akomodácia a konvergencia, faktory
- Priestorové zobrazovanie - technológie stereoskopického a priestorového zobrazovania, KPI FEI TU Košice Systémy virtuálnej reality 2
- Stereogramy
- Stereoskopia anaglyfické zobrazenie
- Stereoskopia polarizácia, infitec, autostereoskopia
- Priestorové zobrazovanie – hĺbkový vnem, problémy zobrazovania v datových prilbách, stereoskopická súradnicová sústava, virtuálne kamery
- Stereoskopické zobrazovacie systémy
- Kolízie vo virtuálnych scénach, typy kolíznych senzorov, modely kolíznych
- Detekcia kolízie, algoritmy detekcie kolízie, fázy detekcie kolízie
- Algoritmy riešenia kolízií vo virtuálnych scénach
- Pohyby modelov, tvorba kinematického reťazca
- Pohyby modelov, kĺbová štruktúra, priama kinematika
- Pohyby modelov, kĺbová štruktúra, inverzná kinematika
VR = interaktívny systém, vytvárajúci ilúziu neexistujúceho len syntetizovaného priestoru atribúty : imerzia (pocit že naozaj som v prostredí), percepcia (vnímanie), interakcia pojmy : VR, fuzzy reality, AR (mixed), CVR/CXR, XR, hyper reality, cyberspace (= virtuálny priestor), avatar
technológie : telerobotika, teleprezentacia, teleriadenie, virtualizovaná realita, MR, AR, enriched reality, augmented virtuality, CVR, metaverzum
avatar = zástupca pozorovateľa vo virtuálnom prostredí
2. Kategorizácia VR systémov podľa úrovne technických prostriedkov a na základe¶
dynamiky pozorovateľa a prostredia¶
kategorizácia podľa úrovne V/V prvkov : entry, basic, medium, immersive VR
kategorizácia podľa dynamiky prostredia a pozorovateľa : SESO, DESO, SEDO,¶
DEDO(DEDSHO/DEDMNO)
3. VR systém a jeho podsystémy, interakcia vo VR systémoch¶
podsystémy: vizualizačný, akustický, statokinematický/kinematický, hmatový, čuchový, ostatné
- interakcia pomocou V/V zariadení (?)
4. X-realita (XR), Hyper-realita, adaptabilita rozhraní XR systémov¶
XR = cross reality, zjednotenie VR, MR, AR na aplikačnej úrovni
hyper-realita = nad XR, realita a fikcia sa prelínajú tak, že používateľ to nevie rozlíšiť (jaskyna) adaptabilita = prispôsobujú sa používateľovi, prostrediu alebo situácii (auto zmena jasu keď vyjdem s okuliarmi von)
5. Technológia digitálneho dvojčaťa¶
dvojča = akokeby avatar, ale má iné vlastnosti ktoré vieme pozorovať pri simuláciách - imitácia reálneho objektu pre skúmanie
6. Zmiešaná realita, funkcia systému ZR, klasifikácie ZR¶
ZR = je oblasť počítačového výskumu zaoberajúca sa kombináciou reálneho sveta a počítačom generovaných dát (virtuálnej reality), kde počítačom generované syntetické objekty sú vmiešavané do reálneho prostredia a naopak, v reálnom čase
charakteristiky ZR : kombinuje reálne a virtuálne prvky, je interaktívna, procesy prebiehajú v reálnom čase, systém pracuje v 3D
klasifikácie ZR:¶
Milgramovo continuum - os, realita -> AR -> MR -> AV -> virtualita
Mannova klasifikácia - graf, technológia mení naše vnímanie reality, vyjadruje ako je realita technologicky “sprostredkovaná” (mediated)
- augmentácia (pridanie info), modifikácia (zmena reality)
7. Typy ZR a možnosti ich využitia¶
typy:¶
podľa vizuálneho vnemu:
-
MR s nepriamym sprostredkovaným pohľadom (neprehľadný displej, pozerám cez kameru)
-
MR s priamym sprostredkovaným pohľadom (priehľadný displej)
podľa synchronizácie virtuálnej a reálnej scény/objektov:¶
-
systémy s exaktnými značkami (markered systems) - objects marked
-
systémy bez (exaktných) značiek (semimarkerless, markerless systems) - item recognition
-
podľa prostredia: interiérové, exteriérové, kombinované
podľa synchronizácii v priestore:¶
-
enriched reality (pr. menu overlay na smart glasses)
-
augmented reality - prvky majú geometrickú väzbu s reálnym svetom (pokémon go)
-
využitie: výskum, komerčné (hry), armádne pomôcky, medicína, priemysel
8. Proces práce aplikácie ZR, implementácia značkovanej AR¶
proces aplikácie ZR:¶
-
inicializácia: kamera, predlohy, 3D model
-
cyklus: video snímka -> detekcia objektu -> výpočet SSO -> vykreslenie 3D objektu
-
ukončenie: vypnutie kamery
-
-> dá sa paralelizovať (SIMD)
implementácia značkovanej AR:¶
hľadanie značky -> nájdenie značky (vieme polohu a orientáciu) -> identifikovanie značky -> pozícia a orientácia objektu (na značku) -> zobrazenie 3D objektu v obraze
9. Metódy detekcie v ZR systémoch¶
SIFT = algoritmus na detekciu príznakov v obraze, odolný voči zmene mierky, rotácií, jasu a niekedy aj deformáciám
-
algoritmus: detekcia extrémov v mierkovej oblasti -> presná lokalizácia bodov -> určenie orientácie -> vytvorenie deskriptorov
-
SURF = metóda dokáže popísať obrázok pomocou deskriptorov, rýchlejšia než SIFT ale môže byť menej presná, tiež odolná voči mierke, rotácii atď
-
algoritmus: detekcia bodov záujmu -> výpočet orientácie -> popis príznakov - deskriptory
10. Kolaboratívna XR/VR, definícia, vlastnosti, klasifikácia, typy, využitie¶
definícia : založený na technológií VR za účelom sprostredkovať spoločne zdieľané virtuálne prostredie medzi viacerými používateľmi v reálnom čase.
- rozdiel medzi kolaboratívnou a zdielanou = kolaboratívna - podanie objektu niekomu, zdielaná - neviem podať objekt niekomu
vlastnosti¶
-
podpora aktivít s integráciou skupiny používateľov - teams
-
zdieľanie virtuálneho kolaboratívneho prostredia - teams meet
-
zámer - prednáška
-
kombinácia viacerých V/V v reálnom čase
-
interaktívna komunikácia v zdieľanom kooperatívnom prostredí
klasifikácia¶
-
účel využitia
-
viacúčelové - dajú sa využiť na hocičo
-
prostredia so špecifickým účelom - technicky kvalitnejšie
-
dostupnosť - lokálne/globálne
-
koncepcie aplikačnej architektúry - peer-to-peer….
-
modely konzistencie - centralizovaný, aktívna replikácia….
11. Lokálne a globálne zdieľané systémy¶
lokálne zdieľané virtuálne prostredia¶
-
rovnaký fyzický priestor
-
prístup
-
centralizovaný - CAVE
-
oddelený - oculus
globálne zdieľané virtuálne prostredia¶
-
implementačne náročnejšie
-
využíva internet
-
podporuje vzdialenú kolaboráciu a rozsiahle skupiny ľudí
-
potrebný avatar - lebo user neni fyzicky prítomný
riadenie vizualizácie¶
-
jeden používateľ - lokálne zdieľaných systémoch s centralizovaným prístupom
-
každý používateľ - lokálne zdieľaných systémoch s oddeleným prístupom
12. Koncepcie aplikačnej architektúry kolaboratívnej XR/VR¶
klient-server¶
-
server (cloud) - centrálny system
-
veľký nápor výpočtov na server
-
klient - obojstranná komunikácia so serverom
-
centralizovaný prístup
peer-to-peer¶
-
absencia servera
-
záťaž na sieťové prepojenie
-
menej zabezpečené prostredie - lebo všetko ide cez sieť
-
oddelený prístup
distribuovaná serverová architektúra¶
-
v popredí kvôli paralelizmu
-
primárny server - client-server server
-
sekundárny server (servery) - spracovávanie špecifických podsystémov
13. Zdieľané virtuálne prostredia, ich konzistencia a modely¶
Narušenia konzistencie môžu nastať pri vykonávaní rôznych aktivít v zdieľanom prostredí modifikácia zdieľaného obsahu - 1 vec chcu 2 ľudia urobit
modely konzistencie pre virtuálne prostredia¶
-
centralizované - zmena od klienta ide na server - update pre každého
-
aktívne replikované - aktívne updaty aj keď zmena nenastala
-
distribuované - to isté ako centralizované len viac serverov
-
zdieľanie vlastníctva údajov - len vlastník vie narábať s objektom
-
akcie vlastníka objektu
-
získanie
-
odovzdanie
-
odstúpenie
-
14. Vlastníctvo údajov a virtuálnych objektov v systémoch zdieľanej XR/VR, mechanizmy replikácie údajov, objektov a scén¶
len vlastník vie narábať s objektom
-
akcie vlastníka objektu
-
získanie
-
odovzdanie
-
odstúpenie
synchrónna replikácia údajov¶
-
vždy je dané čo kto ako robí príslušné veci
-
vykoná sa požiadavka - žiadateľ čaká na spätnú odpoveď od systému
-
prístup je zvyčajne riadený cyklicky (naprv má user1, ptm user2, atď)
-
pri prístupe nenastanú prerušenia
-
napr. prihlasujem sa do lobby v hre (neovplyvňujem ostatných ľudí v lobby týmto, oni si robia svoje veci)
asynchrónna replikácia údajov¶
-
vykonanie súbežných aktivít
-
druhy aktivít: pohyb v priestore, zasielanie komunikačných správ
-
prístup napr. ako zásobník (FIFO)
-
napr. movement - ostatní ćakaju kým sa movement vypočíta tiež pre ostatných
15. Interakcia používateľov v systémoch zdieľanej XR/VR a viacpoužívateľský prístup, mechanizmy riadenia, bezpečnosť viacpoužívateľského prístupu.. mechanizmus riadenia interakcie¶
-
mechanizmus kolaborácie s blokovaním viacpoužívateľskej interakcie
-
1 používateľ ovláda 1 vec
-
mechanizmus kolaborácie s riadením voľnej interakcie používateľov
-
používatelia konkurujú o prístup
-
zabezpečenie viacpoužívateľského prístupu
-
podla identifikácie usera
-
podla hierarchie
16. Základné implementačné stupne XR systému¶
stupne XR systému¶
-
technické - hardvér
-
programové - programy, kód, os
-
ostatné - nejaké fancy špecifické veci
17. Koncepcia distribuovaného systému XR .¶
distribuované je že to je paralelne
základné moduly
-
komunikačný
-
úložisko
-
synchronizačný
-
vizualizácia
-
prehrávač zvuku
-
údaje z polohových senzorov
záťaž na komunikačný uzol čím viac modulov je
18. Základný návrh XR systému na interakčnej báze, jeho rozhranie a bázické¶
koncepcie¶
základný návrh postavený na interakcii¶
-
flexibilný systém
-
unifikácia
-
rozhranie ako transformácia
-
interakcia pomocou rozhrania
bázické koncepcie¶
-
tesne-viazané, voľne-viazané, kombinované
-
naj podsystém - vizualizačný
19. Proces interakcie v XR systémoch na jednotlivých stupňoch detailnosti. 1. úroveň:¶
-
vychádza zo základného modelu
-
sémantická úroveň
2. úroveň:¶
-
vychádza z 1. úrovne
-
obsahuje
-
množinu zariadení - hw
-
syntaktickú množinu - funkcia zariadenia
-
sémantickú množinu - kód
3. úroveň detailnosti pre VR¶
-
vychádza z 2. úrovne
-
navyše - kombinovať vstupy z viacerých zariadení
-
mentálne gesto - kombinácia vstupov
3. úroveň detailnosti pre AR/MR¶
-
AR - viem rekonštruovať scénu
-
MR - neviem rekonštruovať scénu
-
zložitejšie oproti AR
20. Konštrukcia voľne viazaných, tesne viazaných a kombinovaných XR systémov¶
voľne-viazané¶
- CAVE
tesne-viazané¶
-
častokrát využívajú HMD
-
majú zabudované výpočtový systém
-
podľa typu zobrazovačov
-
zabudované
-
mobil
kombinované¶
- niektoré časti systému sú voľne-viazané, niektoré sú tesne-viazané
21. Rozhrania XR systémov, rozhranie ako transformácia, bioadaptované a naturálne rozhrania¶
- input od usera/zariadenie pomocou rozhraní -> preklad do input system -> výpočty v jadre -> výsledok cez output system -> preklad výstupu na rozhranie
unifikácia = preklad medzi rozhraním a jeho príslušným podsystémom
rozhranie ako transformácia = preklad, kedy sa zachováva/prekladá sémantika
-
dôležité sú 3 časti: sémantická množina, množina zariadení a syntaktická množina
-
vstup O prejde cez rozhranie R a vyjde ako O’
bioadaptované rozhrania:¶
-
mechanické: mechanické prevodové, mechanicko-gyroskopické, Bowdenové
-
indukčné a magnetické
-
vibračné a ultrazvukové
-
tepelné a piezoelektrické
-
infračervené a laserové
-
optické a kamerové
naturálne rozhrania = kopírujú ľudské vnemy (vizual, sluch, hmat) - dotykové, hmatové, gestikulácie rúk, atď
22. Adaptívne rozhrania XR systémov a proces adaptácie vstupov a výstupov¶
adaptívne rozhranie = má schopnosť prispôsobiť ovládanie vzhľadom na typ zariadenia/používateľa
- parametricky nastaviteľné, môže obsahovať AI prvky
23. Adaptívne rozhrania XR systémov podľa účelu nasadenia¶
adaptívne rozhrania = sú kontextovo inteligentné (podľa oblasti integrácie)
-
V/V sa adaptuje podľa použitej technológie/zariadenia, podľa hw/sw podsystému
-
pr. pri vzdelávaní - rozhranie sa prispôsobí úrovni znalostí (jednoduché UI pre beginners, advanced pre expertov)
24. XR a bio-senzorické rozhrania¶
Senzorické rozhrania¶
-
pasívne - posielajú dáta
-
aktívne - vedia ich spracovať
Senzorické rozhrania EEG - ElektroEncefaloGrafia
-
snímanie aktivity mozgu používateľa
-
podpora ovládania mimickými vzormi
-
problém - nejednoznačné vzory, tiež nepresné meranie u ľudí v vlasmi
-
dá sa rozpoznať silná a slabá mozgová aktivita
Senzorické rozhrania EOG - ElektroOkuloGram
- sníma svalovú aktivitu očí používateľa
Využitie¶
-
získavanie fyziologických vstupov používateľom
-
kontrola fyziologického stavu používateľa
-
vysoká adaptivita
25. Virtualizačný reťazec a jeho realizácia, práca s virtuálnym svetom, vizualizačný subsystém, sledovanie polohy, zobrazovacie systémy, 3D tlač a vytváranie reálnych objektov¶
vizualizačný podsystém¶
Potrebujem mať Vizualizačné procesné jadro, ktoré je súčasťou celkového procesného jadra¶
VR systému a všetky ostatné podsystémy s nim spolupracujú. Proces je nasledovný
-
vstupuje virtuálny priestor
-
prebehne formalizácia
-
prebehne to cez procesné jadro
-
rasterizácia
-
kompozícia obrazu (rendering)
-
výstupné zariadenie
zobrazovacie systémy sa delia na :¶
-
stereoskopické (pasívne/aktívne/autostereoskopické),
-
priestorové displejové,
-
holografické,
-
projekcia na očnú sietnicu,
-
stimulovanie vizualizačných častí mozgu
3D tlač¶
- tlačenie 3D objektov ktoré boli vytvorené v nejakom softvéri
26. Vizualizácia, vykresľovanie, vizualizačné jadrá a grafické architektúry¶
Vizualizácia je proces transformácie popisu virtuálneho sveta do výstupného obrazu na zobrazovacom zariadení
Vrstvy vizualizačného procesu
-
Definovanie modelu
-
Transformácia nad objektami
-
Riešenie viditeľnosti
-
Tieňovanie
-
Osvetľovanie
-
Realistické zobrazovanie
-
Kompozícia a Vykresľovanie (rendering)
problém pri VR rozhraniach z hladiska vizualizácie
-
treba v IRL čase
-
treba detailné a treba hneď - bije sa to
Vykresľovanie(rendering) je proces tvorby obrazu pomocou algoritmov alebo tiež oblasť štúdia zaoberajúceho sa syntézou obrazov z modelov sveta vo výpočtovom systéme
grafické architektúry
-
ARCHITEKTÚRA S TRIEDENÍM NA ZAČIATKU - triedenie 3D primitiv
-
ARCHITEKTÚRA S TRIEDENÍM V STREDE - triedenie 2D primitiv
-
ARCHITEKTÚRA S TRIEDENÍM NA KONCI - triedenie fragmentov
-
ARCHITEKTÚRA S KOMPOZÍCIOU OBRAZU
-
ARCHITEKTÚRA S VIACNÁSOBNÝM TRIEDENIM
rendering pipeline:
27. Paralelné vykresľovanie (paralelný rendering), koncepcie paralelných algoritmov¶
Definícia: využitie viac procesných jednotiek pre urýchlenie výpočtu scény
dôvody prečo
-
komplexnosť scény
-
kvalita výstupného obrazu
-
odozva v irl čase
28. Paralelizmus v grafických architektúrach¶
-
3 typy paralelizmu
-
funkcionálny
-
a. rozdelené do jednoznačných funkcií
-
b. MISD
-
c. Hurtuk toto čo vravel s výrobnou linkou
-
d. nevýhoda:
- i. celková rýchlosť je limitovaná najpomalšou z nich
-
ii. limitovaný počet funkčných jednotiek
-
-
údajový
-
a. SIMD
-
b. výsledky sa na konci spájaju - princíp ako CAVE monitory
-
c. rozdelenie do tried
i. objektový paralelizmus
1. geometrická transformácia
2. vyraďovanie odvrátených primitív
3. výpočty svetelných zdrojov
4. pohľadová transformácia
5. orezanie
- ii. obrazový paralelizmus
1. výpočet osvetlenia
2. interpolácia
3. kompozícia
4. riešenie viditeľnosti
-
časový
-
a. v animovaných filmoch
-
b. veľké výpočty
-
c. viac workerov - rýchlejšie
ich použitie závisí od úlohy, kt. idem riešiť
29. Klasifikácia grafických architektúr a ich porovnanie¶
-
ARCHITEKTÚRA S TRIEDENÍM NA ZAČIATKU
-
a. triedenie 3D primitiv
-
b. uzol, do ktorého uzla primitívum patrí
-
c. uzly potom vykonávajú zvyšok renderovania
-
d. triedenie primitív pred ich transformáciou a rasterizáciou
-
ARCHITEKTÚRA S TRIEDENÍM V STREDE
-
a. triedi 2D primitíva
-
b. rasterizácia sa vykonáva až po triedení
-
c. vyvážené zaťaženia procesorov
-
d. potreba výmeny transformovaných dát medzi uzlami
-
ARCHITEKTÚRA S TRIEDENÍM NA KONCI
-
a. triedi fragmenty
-
b. každý procesor má takmer celú renderovaciu rúru
-
c. všetky uzly počítajú pixely svojej časti scény - ptm sa spoja
-
ARCHITEKTÚRA S KOMPOZÍCIOU OBRAZU
-
a. kombinuje pixely až po výpočtoch
-
b. rozdelenie až v procese zobrazenia
-
ARCHITEKTÚRA S VIACNÁSOBNÝM TRIEDENIM
-
a. umožňuje viacúrovňové triedenie v rôznych fázach rúry
- 30. Technológia GPGPU základné pojmy, architektúra, rozvoj, prostriedky¶
GPU = paralelný prúdový procesor typu SIMD
architektúra GPU = má jadro (jadrá) pre výpočty, pamäťovú hierarchiu (VRAM, cache), riadiace jednotky
rozvoj:¶
-
1.gen = neprogramovateľné karty GPU, výpočty na CPU a GPU len rasterizáciu
-
2.gen = basics programovateľné na GPU, vertex transformácie a geometrie výpočty na GPU
-
3.gen = zavedenie fragment transformácii, programovanie shading
-
4.gen = plne programovateľné, metajazyky špeci pre GPU
-
5.gen = “unified shader” = programovanie vykonávacích jednotiek
-
technológie : CUDA, OpenCL, Microsoft
31. Programová implementácia XR systému a jej hierarchia¶
-
data flow/ control flow riadenie
-
V/V rozhrania, simulácia riešenej problematiky, vizualizácia, vzťahy medzi objektami, parametre objektov
-
slučka interakcie VR systém + virtualizačný reťazec
hierarchia:¶
-
popis logického jadra - záujmové oblasti, na základe požiadaviek na systém
-
modelovanie VR/XR - spracovanie deskriptívnych prostriedkov do virtuálneho priestoru
-
vizualizácia/simulácia - výsledkom je rozhranie pre komunikáciu medzi človekom a systémom
32. Postup spracovania požiadaviek na XR systém¶
-
Definovanie oblasti záujmu - aký systém, aké funkcionality, kto bude používať
-
Určenie parametrov - interné/externé (dôležité pri tvorbe virt. dvojčaťa)
-
Otypovanie parametrov - identifikátory, logické hodnoty, číselné hodnoty, množiny hodnôt
-
Definovanie vzťahu medzi parametrami
-
Určenie typov pre vzťahy v systéme - priamoúmerne závislé, nepriamoúmerne závislé alebo podmienene závislé
33. Virtuálny priestor a jeho parametre¶
virtuálny priestor = entita, v ktorej sa realizuje virtuálny dej
- charakteristika: dimenzia, súradnicová sústava, definičná úroveň (formálny opis, objekty), dynamika
parametre:¶
-
typ dimenzie - celočíselné / neceločíselné, topologická, Hausdorffova, fraktálna atď
-
charakter priestoru - translačný, rotačný, kombinovaný
-
štruktúra dimenzií - homogénna, heterogénna
-
stupeň voľnosti - jednosmerné, obojsmerné
34. Reprezentácia a popis virtuálneho sveta a objektov, elementy, vlastnosti, vzťahy,¶
modely, formalizačné prostriedky opisu virtuálneho sveta¶
reprezentácia modelovania telies¶
-
hraničná (vrchol, hrana, stena, plocha)
-
konštruktívna geometria telies
-
definovaná údajovou štruktúrou stromu - strom tvoria: listy (definujú atomárne elementy tvoriace objekt); uzly (definujú operácie medzi listami); hrany (definujú transformácie medzi listami); koreňom stromu je definovaný celý objekt
reprezentácia objektov a popis:¶
-
0 points clouds - množina bodov
-
1 wire frame model
-
2 surface model
-
3 solid model
reprezentácia virtuálneho sveta:¶
virtuálna scéna =
-
textúra + farba = materiál
-
geometria + materiál = objekt
-
kamera + objekt + sveto = scéna
elementy = zoznamy:
-
mapy, terény, povrchy
-
senzory, kamery, colliders
-
virtuálne objekty (statické/dynamické)
-
objekty iného typu údajov
vlastnosti = globálne / lokálne, špecifické podľa logického rámca - vizualizačný, akustický, atď
prostriedky:¶
-
deskriptívne pre opis virtuálneho priestoru, objektov a scén (VRML, XML, OpenInventor)
-
skriptovacie pre popis transformácií virtuálnych priestorov, objektov, scén (RUBY, Python, LUA, XML)
35. Súradnicové sústavy, súradnicové sústavy vyšších rádov, vzťahy priestorov,¶
transformácie¶
SS vyššieho rádu = disfenoid¶
súradnicová sústava:¶
(SSTextury ->)SS objektu -> globálna transformácia -> univerzálna SS -> normalizovaná SS -> pohľadová transformácia-> SS kamery -> zobrazovacia transformácia-> SS zariadenia (logická) -> orezávacia transformácia-> SS zariadenia (fyzická - čo je výsledne na obrazovke)
- 36. Quaternióny súradnicový systém, Eulerove uhly, Eulerov teorém, základné pojmy¶
-
quaternión definovaný ako komplexné číslo tvorene 4 zložkami:
-
číslom popisujúcim veľkosť zmeny mierky;
-
číslo popisujúce veľkosť uhla (v stupňoch);
-
dve čísla označujúce rovinu, v ktorej sa vektor bude otáčať
37. Quaternióny a rotácia, rotácia okolo všeobecnej priamky, gimbal lock, definícia¶
-
quaternión definovaný ako komplexné číslo tvorene 4 zložkami:
-
číslom popisujúcim veľkosť zmeny mierky;
-
číslo popisujúce veľkosť uhla (v stupňoch);
-
dve čísla označujúce rovinu, v ktorej sa vektor bude otáčať
gimbal lock - existuje postupnosť rotácii, že vo výslednej rotácii stratíme jeden stupeň voľnosti
otáčanie okolo priamky videjko (30sec) na pochopenie:
https://www.youtube.com/watch?v=75o5pmeXUMo
38. Priestorové zobrazovanie - stereoskopické videnie a jeho proces, vlastnosti oka, rozlišovacia schopnosť, zorné pole, akomodácia a konvergencia, faktory¶
priestorového videnia¶
Stereoskopické videnie je videnie kde každé z dvoch očí poskytuje obraz, ktoré potom mozog spracuje a tak vnímame nielen 2D obraz ale aj hĺbku obrazu.
(Multiskopia je videnie, ktoré používa viac pohľadov ako dve.)
vlastnosti oka: rozlišovacia schopnosť a zorné pole
rozlišovacia schopnosť = schopnosť vnímať dva body ako oddelené - rozpoznávanie detailov v priestore
zorné pole = cone of vision(cca 180° pre zdravého človeka), delenie:
-
centrálna časť (60° obe oči dokopy)
-
blízke/stredné periférne videnie (90°)
-
periférne videnie (140°)
akomodácia = automatické prispôsobenie oka pri zmene jasu, vzdialenosti
konvergencia = pohyb očí smerom k sebe(na blízko)/od seba(do diaľky), keď pozeráme na rôzne vzdialené objekty (30cm do 220m)
Faktory priestoroveho zobrazenia¶
-
2D náznaky (2D cues) sú vizuálne efekty, ktoré vytvárajú dojem vzdialenosti objektu od pozorovateľa. napr. tieňovanie a prekrytie objektov (viditeľnosť, alfa).
-
Pohybová paralaxa (motion parallax) je možnosť pozorovať scénu z rôznych pohľadov.
-
Lineárna paralaxa nekonečna (LPN) určuje maximálne posunutie oboch obrazov, t.j. vzájomné posunutie objektov v jednom a druhom zobrazovacom poli bude menšie alebo rovné LPN, a to tak, že s narastajúcou vzdialenosťou od objektívov kamier (očí) sa toto posunutie zmenšuje.
-
Binokulárna disparita (binocular disparity) obrazy videné očami sú posunuté/odlišné.
-
2,5D(Dva a pol D) projekcia 2D obrazky zachycujúce 3D scénu, rešpektuje iba 2D náznaky.
39. Priestorové zobrazovanie - technológie stereoskopického a priestorového zobrazovania, KPI FEI TU Košice Systémy virtuálnej reality 2¶
-
Anaglyfy
-
Stereogram
-
Datove prilby a VR headsety
-
Prizmova mriezka
-
Lentikulárny raster
-
Holografia
-
Riadenie hĺbkovou mapou
-
3D led displeje
-
Volumetrické zobrazovanie
-
Obrazovkou
-
Laserom
-
Holografia
-
3D tlač ako vystupna technológia
40. Stereogramy¶
Stereogramy využívajú binokulárnu disparitu spolu so schopnosťou mozgu rozpoznávať drobné rozdiely medzi nimi. Vďaka tomu je v mozgu vytváraná ilúzia trojrozmerného (3D) povrchu .
Na správne generovanie stereogramu treba hĺbkovú mapu obrazu alebo mapu skrytých hrán alebo povrchov , ktoré určujú priestorové rozloženie objektov.
– 41. Stereoskopia anaglyfické zobrazenie¶
Anaglyf je zalozeny na farebnej separacii RGB farebnom priestore pre kazde oko zvlast.
Typy : Podľa vlastnosti výstupu¶
-
Farebne
-
V odtieňoch šedej
Typy: Podľa použitých zložiek¶
-
Red-Cyan(Green+Blue) Najčastejšie používaný typ.
-
Red-Green
-
Red-Blue
-
Yellow(Red+Green)-Blue
– 42. Stereoskopia polarizácia, infitec, autostereoskopia¶
Polarizácia je usmernenie kmitania svetelných vĺn. V 3D zobrazovaní sa využíva tak, že každé oko vidí iný obraz – pomocou polarizačných filtrov
Typy polarizácie¶
-
Lineárna
-
Kruhová
-
Eliptická
Infitec (technologiu sme videli v Zvolene)¶
Infitec je pokročilá 3D technológia využívajúca interferenčné filtre na presné rozdelenie farieb pre každé oko. Umožňuje takmer verné farby, no vyžaduje špeciálne okuliare a drahé vybavenie.
Dátové prilby a VR headsety¶
Oculus, HoloLens, Meta…¶
Dátové prilby majú výpočtovú techniku už v prilbe samotnej.
Autostereoskopia¶
Je to technológia, ktorá sa venuje zobrazovaniu 3D obrazu bez použitia pomocných zariadení.
typy:¶
-
Bez aktívnej masky
-
S prizmovou mriežkou
-
Pomocou šošovkového rastra
-
Pomocou riadenia s aktívnou maskou
Autostereoskopický displej bez aktívnej masky¶
Výhody- Nevyžaduje okuliare a iné pomôcky
Nevýhody- Len pre nízky počet pozorovateľov¶
Prizmová mriežka - Je to štandardná mriežka nad displejom, do ktorej sú dierky vyvŕtané takým spôsobom, aby sme jedným okom videli len pravé stĺpce a druhým len ľavé stĺpce.
Lentikulárny raster - využíva sústavu malých šošoviek usporiadaných v mriežke, ktoré rozdeľujú obraz pre ľavé a pravé oko.
Riadenie s hĺbkovou mapou - využíva hĺbkovú mapu (depth map) – teda 2D obraz doplnený o informácie o vzdialenosti každého bodu od pozorovateľa.
Riadenie s aktívnou maskou - kamera rozpoznáva smer pohľadu na displej a, vypočíta polohu očí. Potom určí, ako bude riadiaca maska preložená cez displej, aby prepúšťala ľavý a pravý obraz.
43. Priestorové zobrazovanie – hĺbkový vnem, problémy zobrazovania v datových prilbách, stereoskopická súradnicová sústava, virtuálne kamery¶
Hĺbkový vnem - Človek priestorovo vníma v rozmedzí 0,3 m – 220 m pri vzdialenosti očí okolo 65 mm a nulovej rýchlosti voči okolitému prostrediu. So zvyšujúcou sa rýchlosťou sa interval skracuje. Problém konvergencie a akomodácie pri použití dátových prilieb - Pixelizácia je problém, kde zacneme vnimat jednotlivé pixely displejov.
Stereoskopická súradnicová sústava- Je priestorový súradnicový systém, v ktorom sa definujú pozície a smery pohľadu dvoch virtuálnych kamier.
Virtuálne kamery- V 3D grafike sú to simulované pohľady do scény – každé „oko“ má svoju vlastnú kameru
44. Stereoskopické zobrazovacie systémy¶
Podľa umiestnenia zdroja¶
-
Priama
-
Spätná
Podľa spôsobu vytvárania efektu¶
-
Pasívny (anaglyfy, stereogramy)
-
Aktívny prepína sa frame by frame obraz pre lave a prave oko a okuliare striedavo prepustaju obraz do praveho a laveho oka.
45. Kolízie vo virtuálnych scénach, typy kolíznych senzorov, modely kolíznych¶
objektov, dôvody riešenia kolízií¶
Typy kolízií vo virtuálnych scénach¶
-
Kolízia medzi avatarom (kamerou) a virtuálnym svetom – to je najčastejšie
-
Kolízia medzi avatarom a dynamickými objektmi
-
Kolízie medzi avatarmi – zriedkavé
-
Kolízie medzi dynamickými virtuálnymi objektmi a virtuálnou scénou (príklad: schopnosť hýbať kocky v hre Portal)
-
Kolízie medzi dynamickými virtuálnymi objektmi
Niekedy sa kolízie nepočítajú priamo modelom avatara alebo objektu, ale colliderom, čo je jednoduchší tvar. Dôvody riešenia kolízií¶
-
Detekcia kolízie a následné zastavenie pohybu
-
Detekcia pohybu a následná zmena trajektórie pohybu
-
Aby sa neprechádzalo kamerou cez objekty scény
-
Využíva sa pri senzorickom systéme na vykreslenie textu na obrazovku pri vstupe do senzorickej oblasti
46. Detekcia kolízie, algoritmy detekcie kolízie, fázy detekcie kolízie¶
Detekciu kolízie delíme na 4 atribúty:¶
-
Vznik kolízie – indikácia
-
Forma kolízie
-
Objekty kolízie
-
Čas kolízie
Reakcia na kolíziu :¶
-
Správanie sa objektov podľa fyzikálnych zákonov
-
Deformácia objektov
-
Animačné efekty
Algoritmy detekcie kolízie¶
Podľa reprezentácie kolízie:¶
-
Detekčné – je len true alebo false a hovoria nám, či bola, alebo nebola kolízia detekovaná.
-
Určujúce – majú true a false hodnotu, ale vracajú aj ďalšie informácie, napríklad kde došlo ku kolizii.
Podľa počtu objektov, ktoré sa vyskytujú pri výpočte detekcie kolízie:¶
-
N-body systém – výpočet detekcie sa robí naraz so všetkými pohybujúcimi sa objektmi a zisťuje sa čas, kedy ku kolízii dôjde pri známej rýchlosti objektov.
-
2-body systém – výpočet sa robí len s dvoma objektmi, bez ohľadu na to, či sa objekty pohybujú alebo nie. A niekedy proste dlho bude trvať, kým sa zistí, čo s čím sa zrazilo.
Najčastejšie sa používa N-body systém .
Fázy detekcie kolízie¶
Častokrát nie sú naplnené všetky fázy – závisí to od typu colliderov, detekcie a podobne, ale približne detekcia kolízie vyzerá nejako takto: NEMAZ TOTO Z TADIAL DOLEZITE!!!!
-
Výber objektov na detekciu kolízie
-
Utriedenie objektov na detekciu kolízie, vybratie vhodného algoritmu
-
Použitie vhodného algoritmu detekcie kolízie
-
Test vylúčenia
-
Výpočet kolízie medzi objektmi
-
Indikácia kolízie medzi objektmi
47. Algoritmy riešenia kolízií vo virtuálnych scénach¶
Typy algoritmov riesenia kolizii¶
Hierarchia ohraničujúcich gúľ (BSH – Bounding Spheres Hierarchy ) – Pozostáva iba z
hierarchie ohraničujúcich gúľ (každá guľa je definovaná stredom a polomerom). Kolízia objektov sa zistí, ak je vzdialenosť medzi dvoma stredmi gúľ kratšia ako súčet ich polomerov
Osovo-orientované ohraničujúce kvádre (AABB – Axis Aligned Bounding Boxes ) – Pozostáva z množiny minimálnych/m maximálnych hodnôt na osiach X, Y, Z alebo zo stredového bodu objektu a troch vektorov určujúcich vzdialenosť ohraničujúcich stien (zarovnaných vzhľadom na osi súradnicovej sústavy scény) od tohto stredového bodu.
Objektovo-orientované ohraničujúce kvádre (OBB – Object-Oriented Bounding Boxes ) –
Skladá sa zo šiestich polygónov pevne zviazaných s objektom, ktorý ohraničuje (v rámci SSO). Je to reprezentované maticou orientácie, stredovým bodom objektu a tromi vektormi určujúcimi vzdialenosť ohraničujúcich stien od stredového bodu objektu.
Systém konvexných obálok (CHs – Convex Hull ( envelope system )) – Je to
najkomplikovanejšie, ale najpresnejšie riešenie. Skladá sa z konvexných mnohouholníkov, ktoré čo najlepšie (čo najtesnejšie) obklopujú celý objekt.
48. Pohyby modelov, tvorba kinematického reťazca¶
Pohyb modelov- Pohyb v priestore má zmysel len ak zmena jeho polohy je definovaná voči nejakému inému objektu, najlepšie v rámci konkrétnej súradnicovej sústavy.
Kinematický reťazec skladáme z troch častí:
-
Statický kĺb je označený ako báza
-
Dynamický je označovaný ako koncový efektor
-
A tretí je štandardný kĺb
Tvorba kinematického modelu- Je to najčastejšie reprezentácia acyklickým grafom, kde tento graf je najčastejšie strom, kde uzly sú kĺby a spojnice/hrany grafu sú kosti.
49. Pohyby modelov, kĺbová štruktúra, priama kinematika¶
Pohyby modelov: sú robotické/neprirodzené
Kĺbová štruktúra: Model má kostru zloženú z kĺbov a kostí, ktoré sú hierarchicky prepojené (napr. rameno → lakeť → zápästie). Pohyb jedného kĺbu ovplyvňuje podriadené časti.
Priama kinematika: určuje polohu koncového bodu (napr. ruky) na základe známych uhlov a dĺžok jednotlivých kĺbových častí (napr. d1, d2...). Je hodnotovo komutatívna – ak zadáme rovnaké uhly, výsledná poloha bude rovnaká, bez ohľadu na poradie výpočtu . NIE je však komutatívna z hľadiska trajektórie – teda dráha, ktorou sa kĺby pohybujú, sa môže líšiť.
50. Pohyby modelov, kĺbová štruktúra, inverzná kinematika¶
Pohyby modelov: modely sa pohybujú pomocou vnútornej kostry, ktorá riadi ich deformáciu a polohu.
Inverzná kinematika (IK – Inverse Kinematics)¶
-
Zadáme požadovanú pozíciu koncového bodu (napr. kde má byť ruka).
-
Systém vypočíta potrebné uhly kĺbov , aby sa tam končatina dostala.
-
Používa sa pri realistickej animácii postáv a zvierat (napr. chôdza, uchopenie objektu).
-
Výpočet je náročnejší , často sa rieši numerickými metódami.
Kĺbová štruktúra (skelet)¶
-
Model má kostru zloženú z kĺbov (bones/joints) prepojených do hierarchie.
-
Pohyb v jednom kĺbe ovplyvňuje všetky podriadené (napr. rameno → lakeť → ruka).
-
Umožňuje realistické ohýbanie a animáciu.