VR se chystá navždy změnit filmování

Hollywood mluví o virtuální realitě. Na konferenci Oculus Connect minulý měsíc hovořil celý panel hollywoodských kamenů o technologii a jejích aplikacích ve filmové tvorbě.

Mezitím se začnou vážit těžcí hitters v průmyslu. James Cameron to nenávidí. David Attenborough o tom připravuje dokument. Nedávný (vynikající) film Interstellar měl VR zkušenosti s jeho propagací.

Virtuální realita je nový způsob komunikace s vaším divákem a mnoho lidí s tradičním filmovým zázemím shledává možnosti vzrušující. Virtuální realita, nikoli jen poskytování okna do nového světa, umožňuje režisérům převzít kontrolu nad celým světem kolem diváka.

Co můžete dělat s fotoaparátem VR?

Vzrušení z myšlenky na fotoaparáty VR není příliš náročné. Filmaři mohli doslova přivést diváky tváří v tvář svým postavám a ponořit je do velkolepých, bizarních světů. Fotografové mohli zachytit celé scény, zmrazené v čase, aby si je někdo mohl prohlížet kdokoli na světě.

Dokumentaristé mohli posílat diváky na místa, která by jinak nikdy nemohli navštívit. Mohli poslat VR kameru na dno oceánu a nechat diváky stát uprostřed potopené taneční sály Titanicu. Dokumenty přírody by mohly manipulovat s časem a prostorem, zařadit uživatele mezi mravence o velikosti psů nebo vytvořit pohlcující časosběrné sekvence. NASA mohla namontovat VR kameru na Mars rover a umožnit milionům lidí stát na červené planetě.

Existují samozřejmě i více běžných aplikací:

Jedním z klíčů k úspěchu VR u zákazníků budou stereoskopická panoramatická videa pro kočky.

- John Carmack (@ID_AA_Carmack) 6. listopadu 2014

Live VR video může být také velmi přesvědčivé. Sportovních her bylo možné se zúčastnit na dálku, VR kamery by každému daly dvorní sedadla. Dokonce i cestovní ruch by mohl být virtuální.

Uživatelé si mohli pronajmout jednoduchého telepresenčního robota (snad Segway s kamerou VR sedící na řídítkách) a pilotovat ho kdekoli na světě. Segway by streamovala své video zpět živě, což by turistům umožnilo virtuálně “teleport” sebe přes planetu, aby prozkoumala kdekoli. Zdá se bezpečné říci, že VR se změní svět Proč technologie virtuální reality vyfukuje vaši mysl za 5 let Proč technologie virtuální reality vyfukuje vaši mysl za 5 let Budoucnost virtuální reality zahrnuje sledování hlavy, očí a výrazů, simulované dotyky , a mnohem víc. Tyto úžasné technologie vám budou k dispozici do 5 let nebo méně. .

VR filmování však má mnoho výzev. Jak mohou režiséři pohybovat fotoaparátem a zároveň udržovat prohlížeč pohodlný? Jak režiséři stříhají film, aniž by diváka sledovali? Jak se ujistí, že se divák dívá správným směrem, aby zachytil důležité události spiknutí? Do detailů dávají smysl?

Možná jsou však největší problémy praktické: jak zaznamenáváte obsah pro virtuální realitu? Vykreslování živého obsahu VR pro hry je výpočetně náročné, ale koncepčně jednoduché. Naproti tomu zaznamenávání skutečného života představuje vážné výzvy.

Panoramatická kamera

Nejjednodušším řešením (a v současné době jediným široce používaným) je jednoduché panoramatické snímání videa. V tomto schématu se k záznamu videa ve všech směrech používá koule konvenčních kamer a výsledky jsou sešity spolu se softwarem pro vytvoření plynulé sféry videa. Jsou to podobné panoramatům, které pořídíte 5 tipů pro pořizování panoramatických fotografií pomocí smartphonu 5 tipů pro pořizování panoramatických fotografií pomocí smartphonu Panoramatické snímky ohromující krajiny vypadají téměř vždy úžasně, ale je obtížné je vytvořit. Pomocí smartphonu existují různé techniky a triky, které můžete použít k dosažení nejlepších výsledků. e pomocí telefonu, ale zaznamenané současně ve formátu videa. Výstup procesu vypadá takto:

To je jednoduché a levné. Můžete si předobjednat panoramatický fotoaparát za zhruba 700 $, ale má omezení. Nejdůležitější je nedostatek hloubky: panoramata se vykreslí na nekonečně velkou kouli, takže paralaxa mezi vašimi očima je nulová, a to i pro části obrazu, které by skutečně měly mít hloubku, jako osoba stojící vedle vás.

I přes tento nedostatek je zážitek z panoramatického videa stále překvapivě cool, zejména u obsahu, který se odehrává na dálku (letecký snímek je dobrým příkladem). Asi před týdnem jsem postavil aplikaci Oculus Rift, která ve videu nahoře vykresluje virtuální kokpit, a výsledky jsou přesvědčivé: je to jako kdybych jezdil v ponorce obklopené mořskými želvami o velikosti malých budov..

Myslete na tento druh obsahu VR jako na osobní super-IMAX divadlo, ve kterém stojíte zavěšeno uprostřed obrovského sférického displeje. Smysl místa, který poskytuje sférické video, je již u tradičních nástrojů pro tvorbu filmu nemožný. I s jeho omezeními to bude pravděpodobně to, co většina VR videí bude vypadat v nejbližší budoucnosti. Dokument Richarda Attenborough (“Dobytí nebe“) se střílí v tomto formátu.

Stereo panoramatická kamera

Řekněme, že režisér není spokojen s omezením monoskopických panoramat. Jedním zřejmým rozšířením technologie je uvedení technologie 3D vedle sebe. Old-Time Fun: Jak vytvořit 3D obrázky pro prohlížení bez brýlí Old-Time Fun: Jak udělat 3D obrázky pro prohlížení bez brýlí Věřte tomu nebo ne, ve skutečnosti nepotřebujete 3D brýle, abyste zažili přesvědčivě realistické 3D obrazy (nebo filmy). Jen se musíte nechat jít “crosseyed”. V podstatě se podíváte na dva obrázky a úmyslně…. K tomu potřebuje hardware dvě paralelní kamery směřující do každého směru, posunuté asi o 6,3 cm. Fotoaparát poté pomocí softwaru spojí dva panoramatické snímky: jeden pro levé oko a druhý pro pravé. Rozdíl mezi nimi vytváří iluzi hloubky. Produkty, které tuto zkušenost podporují, jsou k dispozici, i když jsou drahé (995 $ plus náklady na deset GoPro kamer).

Ve snaze učinit tento druh obsahu běžnějším, společnost Samsung nedávno oznámila “Project Beyond”, stereofonní panoramatická kamera VR pro mobilní náhlavní soupravu Oculus-Samsung Gear VR. Aktuální prototyp má tvarový faktor malého puku, používá 17 HD kamer a vykresluje gigapixel za sekundu dat.

Při rychlosti 30 snímků za sekundu to funguje na panoramatických rámcích, které jsou asi 15 megapixelů na oko nebo asi 50 000 pixelů na oko na vizuální stupeň. Informace o cenách jsou stále něčím tajemným a společnost Samsung zdůrazňuje, že se nejedná o hotový projekt. Jejich náhledové video si můžete prohlédnout níže.

Stereo panoramata jsou jednoznačně lepším zážitkem než jejich monosskopičtí bratři - velké věci vypadají velké, malé věci vypadají malé, objekty mají hloubku a polohu a je to mnohem více jako být tam. To znamená, že zážitek není zdaleka dokonalý. Jak John Carmack popisuje ve své hlavní řeči Oculus Connect, stereo panoramata mají spoustu problémů.

“… Stereoskopická panoramata, ať už fotografie nebo videa, jsou naprosto hack. Existuje - víme, co je správné a to není správné. To, co dělají, je, že máte plátky pořízené z více kamer, takže přímo vpřed je to správná stereofonie pro para-moudrou a pak tady je to pro to vhodné. Ale to znamená, že pokud se díváte na to, co je tu pro oči správné, ale díváte se na roh vašeho oka, rozhodně to není v pořádku. Není to ten správný rozdíl pro oči.

A ještě horší je, když otočíte hlavu takto (rohlíky), bude to všechno špatné, protože je nastavena přímo pro oči přímo před sebou. Takže to byla zajímavá věc. Máme věci, o kterých v podstatě víme, že to může být otráveno, může to být opravdu špatná zkušenost, pokud lidé, kterým trávíte spoustu času, nechávají na oplátku. […]

To jsou technické problémy, které by mohly být vyřešeny lepším hardwarem. Existuje však hlubší problém: co se stane, když pohnete hlavou? Panoramata pro obě oči jsou stále vykreslována v nekonečnu: fyzický pohyb vaší hlavy bude mít za následek nevolnost, že svět se pohybuje s vámi, zejména pokud jsou blízko vás nějaké předměty. Neexistuje přímý způsob, jak zjistit, jak by stereoskopický obraz vypadal z nového úhlu pohledu.

Přes tato omezení jsou stereo panoramatické zážitky stále přesvědčivé. Platforma Gear VR se zaměří na tyto druhy zkušeností, protože mohou být vytvořeny pomocí moderního hardwaru a zobrazovány bez zdanění schopností vykreslování hardwaru. Stereo panoramata budou pravděpodobně zlatým standardem pro výrobu obsahu VR, alespoň v příštích několika letech.

Hloubkové fotoaparáty

Alternativou k zachycení dvou snímků vedle sebe (jako u tradičních 3D filmů) je zachycení tzv. Hloubkových obrázků: jeden snímek pořízený z jedné perspektivy, který obsahuje další barevný kanál, který ukládá vzdálenost od objektivu dotyčného pixelu.

Pokud to máte, software může simulovat virtuální kamery zobrazující obraz z nových perspektiv, přičemž vždy musí mít nový, správný obraz z každého oka. Je možné generovat panoramatické hloubkové obrazy, které umožňují přirozený pohyb a rotaci hlavy způsobem, který není možný u stereofonních panoramat. Existuje několik technologií, které můžete použít k zachycení těchto hloubkových obrázků.

Čas letu

Verze této technologie, kterou pravděpodobně znáte, je ta, která se používá v Kinectu. Kinect V2 (verze dodávaná s Xbox One) se spoléhá na to, co je známé jako kamera s časem letu.

Teorie je zde přímá: kamery času jsou infračervené kamery, které jsou schopny zaznamenat nejen tam, kde světlo dopadá na senzor, ale také když světlo dopadá na senzor s přesností několika mikrosekund. To je spojeno s barevnou videokamerou a infračerveným zábleskovým světlem. Na začátku každého snímku IR záblesk bliká a scénu velmi krátce osvětlí. Načasováním toho, jak dlouho trvá každý pixel, aby pozoroval blesk, může fotoaparát odvodit z rychlosti světla, jak daleko je každý pixel od fotoaparátu..

Tato technologie je nesmírně výkonná. Hackeři udělali neuvěřitelné věci 5 hacků Microsoft Xbox Kinect, které vám vyhodí mysl 5 Hacks Microsoft Xbox Kinect, které vám vyhodí mysl. Použitím několika Kinectů v překrývající se konfiguraci může být možné vytvořit panorama scény s přesnou hodnotou hloubky pro každý pixel, kterou lze vykreslit ve virtuální realitě a vytvořit tak pohlcující zážitek se správnou hloubkou.

Chcete-li získat představu o různých výsledcích, které tento přístup přináší, podívejte se na toto video ukazující výstup z hloubkové kamery Kinect V2.

Jedná se o vysoce kvalitní obraz hloubky - spousta detailů, čistých hran a příliš mnoho šumu. Existují však určitá omezení: největší upozornění je, že Kinect v tomto příkladu zaznamenává vnitřní scénu s pečlivě kontrolovanými světelnými podmínkami.

Ve scénářích skutečného světa (a zejména ve venkovním prostředí) může rušení okolního IR záření způsobeného přímým a nepřímým slunečním světlem a žárovkami snižovat přesnost. Je zde také zásadnější problém, a to, že doba letových kamer závisí na aktivním osvětlení. Tím jsou stanovena určitá omezení ohledně toho, jak daleko mohou vidět. Rovněž se nezvládají s transparentními a reflexními povrchy. A protože rozlišení hloubky je omezeno přesností načasování, kamery s časem letu nejsou příliš užitečné pro zaznamenávání malých objektů, takže není možné hrát s měřítkem..

Světelné pole

Jiná technologie pro snímání hloubkových obrázků je známá jako „světelné pole“. Lytro světelné pole: Snap Happy or Photo Gimmick? Kamera Lytro Light Field: Snap Happy Nebo Photo Gimmick? Kamera Lytro, označená zaměstnancem jako „první zásadní změna fotografie od doby, kdy byla fotografie vynalezena“, je jistě revolučním zařízením. Fotoaparát otřese věci nahrazením většiny těžkých… .

Funguje to takto: v konvenční fotografii objektiv fotoaparátu zaostřuje přicházející světlo na senzor. Každý prvek senzoru zaznamenává množství dopadajícího světla. Kamery světelného pole používají speciální čidlo, ve kterém každá “pixel” je vlastně malá čočka s mnoha senzory pod ní. To umožňuje fotoaparátu měřit nejen to, kolik světla dopadá na každý pixel, ale také úhel, ve kterém světlo dopadá.

To je užitečné z několika důvodů. Nejjednodušší aplikace je, že změnou způsobu vzorkování tohoto velkého „světelného pole“ mohou koneční uživatelé po vyfotografování znovu zaostřit. Aplikace, která je pro VR zajímavá, je, že kamery s lehkým polem jsou také, mimochodem, hloubkové kamery! Úhel dopadajícího světla od objektu je funkcí toho, jak daleko je objekt od čočky, vzhledem k velikosti clony. Vzdálené objekty produkují světlo, které je téměř kolmé k objektivu. Velmi blízké objekty produkují světlo, které je téměř paralelní. Z toho je možné (velmi přesně) určit hloubkovou mapu obrazu.

Níže můžete vidět některé výsledky z videokamery s časným světelným polem níže a to, jak vypadá obrázek znovu promítnutý z jiného úhlu.

Protože se jedná o pasivní proces, je rozsah rozsahu a prostorová přesnost definována rozlišením a velikostí clony a nic jiného. To znamená, že pomocí objektivů se zvětšením je možné za jakýchkoli podmínek pořídit snímky hloubky světelného pole téměř jakéhokoli objektu v libovolném měřítku. Chcete-li získat příklad toho, co je možné s většími a přesnějšími světelnými poli, podívejte se na toto video, které používá několik snímků z ruční kamery pro simulaci mnohem většího světelného pole. Vytváří z toho docela přesvědčivou 3D geometrii.

Kamery světelného pole jsou mnohem méně vyspělou technologií než čas leteckých kamer (v současné době je na spotřebitelském trhu pouze jedna kamera světelného pole a nepodporuje záznam videa). To znamená, že s větším časem vývoje by kamery v světelném poli měly z dlouhodobého hlediska nabídnout mnohem robustnější zážitek z hloubky videa.

Jednání s rozložením

U hloubkových videí stojí za zmínku jeden hlavní problém: pohyb hlavy. Ano, je možné přeprojektovat hloubková videa do nových perspektiv a všechny pixely se navinou tam, kde by měly být. Hloubkové video vás nezdraví. Bohužel představují nový problém: disokluze.

Když pohybujete hlavou takovým způsobem, že se díváte na část světa, která není v původním obrázku nebo panoramatu viditelná, dostanete nepříjemný vizuální artefakt: stín. Chcete-li získat představu o tom, o čem mluvím, podívejte se na toto video:

V tomto videu programátor napadl Kinect, aby vykreslil hloubkové video toho, co vidí ve vesmíru. Přesunutím virtuální kamery promění scénu z několika perspektiv.

Jedná se o první generaci Kinect, takže video je trochu blbé, ale výsledky jsou docela působivé. Největší nevýhodou, která se projevuje, když se fotoaparát otočí, jsou stíny ve scéně. Část zdi za jeho tělem má z ní vyříznutou obrovskou díru ve tvaru osoby: část, kterou fotoaparát nevidí a nemá k dispozici žádná data. Tyto černé stíny se objeví v hloubkových panoramatech, jakmile se vaše hlava začne pohybovat. Jak tedy VR kamery řeší tyto díry? K tomuto problému existuje několik přístupů:

Více kamer

Nejjednodušší řešení je vlastně jen zaznamenat věci kolem rohů a za okluzivní povrchy. Chcete-li to provést, přidáte více kamer - mnohem více. Aby lidé mohli pohybovat hlavou nahoru, řekněme, jeden metr v libovolném směru, musí být kamera rozšířena tak, aby vytvořila sféru 2 metru širokou, pokrytou kamerami s vysokou hloubkou FOV, aby software mohl syntetizovat jakýkoli úhel pohledu uvnitř koule.

Jedná se o nejdrobnější přístup, ale také nejméně praktický. Dvoumetrová sféra kamer není pěkný, přenosný steadicam, je to instalace a drahá. To by mohlo být praktické pro některé špičkové hollywoodské produkce, ale rozhodně ne pro většinu aplikací v reálném světě. Níže je uveden prototyp této myšlenky, implementovaný ve formě živé 3D telekonferenční aplikace:

Rekonstrukce scény

Jiným přístupem, pokud tvůrce videa primárně zaznamenává několik dynamických objektů na statické pozadí, je použití hloubkové kamery k mapování prostředí před zahájením natáčení a pomocí těchto dat vyplní díry v zaznamenaných obrazech. To lze provést automaticky pomocí techniky zvané SLAM (Simultaneous Location And Mapping), která automaticky spojí mnoho hloubkových obrázků a vytvoří tak úplnou 3D mapu scény. Výsledky vypadají asi takto:

Funguje to docela dobře, ale není to vhodné pro všechny situace. Není těžké si představit pokus o natočení scény na rušném veřejném místě, kde velkou část pozadí tvoří lidé, kteří se pohybují a uzavírají jeden druhého. Zachycení jediné statické verze této scény k vyplnění děr jednoduše není možné. Navíc pro dokumentární, živé video nebo zpravodajské účely nebude praktické předem důkladně mapovat prostředí.

Jen vymýšlím věci

Posledním přístupem k problému je uchýlit se k obvyklé odpovědi v případech, kdy nemáte dostatek údajů: přímé lži.

Insight je, že v reálném životě divák nebude vstávat a pokoušet se chodit po scéně. Budou se posadit a to, co software skutečně potřebuje napravit, jsou malé odchylky v póze, způsobené divákem naklánějícím se a posouvajícím se na svém sedadle - závěry prostě nebudou tak velké. To znamená, že data použitá k vyplnění děr nemusí být ve skutečnosti přesná, musí prostě vypadat věrohodně. Ti z vás, kteří si hráli s výplní obrazů citlivých na obsah Photoshopu (nebo jeho konkurenty. Snapheal pro Mac: Superhrdina Image Healer [prozradí] Snapheal pro Mac: Superhrdina Image Healer [prozradí] SnapHeal pro Mac (14,99 $) je tu, aby vám zachránil vaši fotografie, a udělá to skvělou práci. Tento týden rozdáme 25 kopií Snapheal pro Mac v celkové hodnotě 375 $. Pokud…) víte, kam to jde.

Jak se ukázalo, vědci přišli s několika docela dobrými algoritmy pro vyplnění děr v živých video streamech v reálném čase. Níže si můžete prohlédnout několik příkladů:

Představte si, že rozložíte hloubkový obraz na vrstvy, odečtete je jeden po druhém, abyste viděli, kde by se mohly vyskytovat stíny, a pak pomocí těchto druhů algoritmů pro malování vygenerujte věrohodné obrazy, které vyplní díry.

Je to o něco těžší než jednoduché 2D malování, protože algoritmus musí také vytvořit přiměřené hodnoty hloubky pro díry, ale lze použít mnoho stejných technik. Tyto přístupy nebudou fungovat dokonale ve všech situacích, ale pokud jsou tyto artefakty méně rušivé než velké černé díry na světě, stále se počítá jako vítězství.

Jak dlouho, dokud nebudou hotovy?

S fotoaparáty VR, dokonce více než jiné věci, je dokonalý nepřítel dobra.

I s nejlepšími technologiemi, které peníze mohou koupit a pořizovat záběry pečlivě naplánované, aby se minimalizovaly chyby v uzavření, by výsledky byly stále nedokonalé. Specular highlights, například, jsou body jasu, které se objevují na lesklých površích, které se liší polohou v závislosti na poloze vaší hlavy, protože závisí na odrazu světla ve velmi specifickém úhlu.

Specular highlights zaznamenané i v tom nejlepším VR videu se objeví jako vypálené bílé skvrny na povrchu a během pohybu hlavy nebudou vypadat přímo na okolních objektech. To je omezení, které bude těžké obejít. Kromě toho je obtížné vyplňovat chyby v oblasti okluze ve složitých scénách se spoustou pohybujících se objektů - je to naprosto nemožné a bude to po dlouhou dobu.

Bude to roky a možná i desetiletí, než budou VR kamery schopny poskytnout dokonalý zážitek stejným způsobem, jaký dokáže tradiční 2D film. To je oběť, kterou uděláte, abyste zažili zásadně silnější médium.

Se vším, co bylo řečeno, se v blízké budoucnosti sestouhají některé opravdu skvělé věci. Každá možnost uvedená v tomto článku může vytvořit skutečně cenné zážitky. Oznámení společnosti Samsung o “Project Beyond” je slibná známka toho, co přijde.

Uvedení zařízení Oculus Rift je naplánováno na spuštění někdy v roce 2015 a údaje o obratu v milionech jednotek se nezdají být nataženy. Pokud virtuální realita odstartuje cestu, jak se zdá, mohla by se stát obrovská část technologického pokroku, rychle.

Poptávka po obsahu povede VR kamery k tomu, aby se zlepšily a zmenšily a levněji uspokojily poptávku. Pravděpodobně to nebude mnoho let, než zařízení, které stojí méně než nový telefon a vejde se do vaší dlaně, poskytne působivý a pohodlný záznam VR všeho - a to bude velmi, velmi cool.

Co byste dělali s vlastní VR kamerou? Na jaký obsah jste nejvíc nadšeni? Dejte nám vědět v komentářích!

Image Credits: Brýle concept Via Shutterstock