Vytvořte si vlastní „neurální malby“ pomocí DeepStyle a Ubuntu

Neuronové sítě dokážou dělat spoustu věcí. Mohou interpretovat obrázky, rozumět našim hlasům. 6 Funkce Chytrých karet Google, které změní způsob vyhledávání 6 Chytré funkce Google, které změní způsob vyhledávání, již můžete Chytré karty Google používat na svém zařízení Android, ale dostáváte vše, co můžete to? Znalost těchto malých funkcí může mít velký význam. a překládat konverzace Jak funguje Skype Star Trek Translator Jak funguje Skype Star Trek Translator Nová funkce překladu Skype nabízí něco, o čem se od Star Treku sní - snadný způsob, jak komunikovat napříč jazyky. . Věděli jste ale, že mohou také malovat?

Nedávný výzkumný příspěvek (s názvem “Neurální algoritmus uměleckého stylu“) zahájil online diskusi s několika nápadnými vizuálními příklady. Příspěvek se v podstatě zabývá technikou trénování hluboké neuronové sítě Microsoft vs Google - Kdo vede závod umělé inteligence? Microsoft vs Google - Kdo vede závod umělé inteligence? Vědci v oblasti umělé inteligence dosahují hmatatelného pokroku a lidé o AI opět vážně mluví. Dva titáni, kteří vedou závod v umělé inteligenci, jsou Google a Microsoft. oddělit umělecký styl od struktury obrazu a kombinovat styl jednoho obrazu se strukturou jiného. Výsledkem toho všeho je, že můžete trénovat obrovskou neuronovou síť, ze které se promění fotografie “nervové obrazy” které vypadají, jako by byly namalovány slavnými umělci - “digitální padělky,” abych tak řekl.

Zde je několik příkladů z článku. První obrázek je originál. Pozdější obrazy jsou generované výsledky, přičemž malba, ze které byl styl odebrán, je zobrazena miniaturně.

Původní vědci bohužel svůj kód neuvolnili. Někteří neohrožení programátoři však své výsledky v posledních několika dnech replikovali a jejich kód je k dispozici, otevřený zdroj na internetu. Vše, co potřebujete ke spuštění, je linuxový stroj a trochu trpělivosti.

Dnes vám ukážu, jak to udělat, a ukážu vám některé z mých vlastních výsledků. Můžete to považovat za volné pokračování našeho výukového programu DeepDream Vytvořte si vlastní sny z umělé horečky pomocí programu „DeepDream“ Vytvořte si vlastní sny z umělé horečky pomocí programu „DeepDream“ společnosti Google. Chcete si vytvořit svůj vlastní? Už nehledejte! . Je to poněkud komplikované, ale kdokoli s Linuxovým strojem může následovat - není třeba kódování.

Pomocí #DeepStyle jsem změnil světelný obraz Picasso na obraz ve stylu Picasso! pic.twitter.com/cjkEoIhVcF

- James Blaha (@jamesblaha) 5. září 2015

Nastavení softwaru

Za prvé, pokud nejste ve velkém spěchu nebo nemáte Linuxový stroj, můžete si stále hrát s DeepStyle pomocí robota DeepForger Twitter (pošlete obrázek a styl a nakonec vám odpoví výsledky, které vy chtít). Pokud chcete rychle zpracovat více obrázků (a s větší kontrolou nad výsledky), přečtěte si tento tutoriál.

Nejprve se ujistěte, že máte aktuální kopii Ubuntu (14.04 je to, co jsem použil). Měli byste mít alespoň několik dalších koncertů na pevném disku. Další informace naleznete v našem tutoriálu o systému Ubuntu s duálním spouštěním spolu se systémem Windows Unavený ze systému Windows 8? Jak Dual Boot Windows a Ubuntu unavený Windows 8? Jak Dual Boot Windows a Ubuntu Pokud zjistíte, že Windows 8 není úplně váš šálek čaje a nemáte žádnou možnou cestu k downgrade, může být dobrý nápad duální bootování s Linuxem mít alternativu…. Budete také potřebovat rootová oprávnění, takže se ujistěte, že to budete dělat, než budete pokračovat.

Základní nástroje

Napravo od netopýra, je to open-source projekt, takže budeme chtít mít Git nainstalován. Git je zlatý standard pro software pro správu verzí Co je Git a proč byste měli používat kontrolu verzí, pokud jste vývojář Co je Git a proč byste měli používat kontrolu verzí, pokud jste vývojář Jako vývojáři webu, hodně času máme tendenci pracovat na lokálních vývojových webech a poté, když skončíme, vše nahrát. To je v pořádku, když jste jen vy a změny jsou malé,…. Téměř každý open source projekt, který stojí za poznání, je hostován na Githubu.

Chcete-li stáhnout a nainstalovat Git, stačí otevřít terminál a typ “sudo apt-get install git” a souhlasit s požadavky instalačního technika.

Další: jdeme nastavit některé základní nástroje potřeba, aby software fungoval.

Nejprve nainstalujte Lua. Toto je jazyk, ve kterém je nástroj napsán. Je to docela jednoduché. Stačí napsat “sudo apt-get install lua5.2” a postupujte podle instalačního procesu.

Za druhé, dostaneme Luarockse. Toto je nástroj, který usnadňuje instalaci dalších nástrojů (nemilujete Linux?). U tohoto typu zadejte “sudo apt-get install luarocks” a postupujte podle instalačních kroků.

Za třetí, instalujeme Luajit. Toto je kompilátor pro Lua, který zlepší náš život o trochu jednodušší. Stačí napsat “sudo apt-get install luajit.”

Zatím je vše dobré.

Jsem bot, který vytváří padělky z vašich fotografií ve stylu slavných malířů. Klikněte níže pro pokyny! pic.twitter.com/3MpThDNwRE

- Deep Forger (@DeepForger) 5. září 2015

Rámce

Dále nainstalujeme Torch, vědecký výpočetní a strojový učební rámec, který tvoří páteř aplikace. Toto bohužel nelze nainstalovat pomocí apt-get (standardní správce balíčků Ubuntu).

Naštěstí mají jednořádkový instalační program, který používá magii příkazového řádku. Vraťte se do svého terminálu a zadejte “curl -s https://raw.githubusercontent.com/torch/ezinstall/master/install-all | bash“.

Až skončíte, napište “luajit -ltorch“. Tím se vyvolá rozhraní hořáku a ověří se, že vše bylo správně nainstalované.

Vystoupit z toho.

Nyní se chystáme nainstalovat loadcaffe - balíček specifický pro neuronovou síť. Nainstalujte svou jedinou závislost zadáním “sudo apt-get install libprotobuf-dev protobuf-compiler“. Pak můžete nainstalovat samotný balíček pomocí “sudo luarocks nainstalovat loadcaffe ".

@ Johnicholas Vaše padělání, styl ve škole školy Rembrandta van Rijna. #DigitalArt #StyleNet pic.twitter.com/pf0sZxWkaT

- Deep Forger (@DeepForger) 7. září 2015

Dvojitá kontrola závislostí

Nakonec budeme předběžně aktualizovat některé věci, abychom se ujistili, že všechno jde hladce.

Typ “obrázek instalace sudo luarocks” abyste se ujistili, že váš balíček obrázků je aktuální. Dále zadejte “luarocks install nn” což bude stejné pro váš 'nn' balíček.

Instalace hlubokého stylu

V pořádku! V tuto chvíli jsme připraveni skutečně nainstalovat samotný software. Z důvodu čistoty vytvořte ve svém domovském adresáři novou složku ('mkdir DeepStyle'). Poté zadejte pomocí “cd Deepstyle“. Nyní napište “sudo git clone https://github.com/jcjohnson/neural-style.git ".

Dále musíme model stáhnout. Udělejte si šálek kávy nebo tak něco, bude to chvíli trvat. Zpět na terminál a zadejte “sudo sh models / download_models.sh“. Začne to dlouhý, komplikovaný proces stahování. Pokud selže kvůli chybám oprávnění, zkuste si udělit oprávnění pro čtení a zápis na příslušných složkách pomocí chmod.

@ 44thats44oars si objednalo tento #ProceduralArt #NeuralArt. pic.twitter.com/tbMH7gsvc8

- Deep Forger (@DeepForger) 6. září 2015

Používání hlubokého stylu

Dobře, můžeme jít. Používání softwaru je velmi jednoduché.

Ujistěte se, že jste v Adresář DeepStyle / neural v terminálu. Nyní budete potřebovat nějaké obrázky, na kterých budete pracovat. Stáhněte si je z internetu (nebo cokoli) a poté je zkopírujte do Složka DeepStyle / neural pomocí prohlížeče souborů.

Nyní můžete pomocí příkazového řádku zpracovávat jednotlivé obrázky. Formát je celkem jednoduchý:

th neural_style.lua -style_image YOURPAINTINGHERE.jpg - content_image YOURPHOTOHERE.jpg -gpu -1

(Je zřejmé, že budete muset nahradit bloky v ALL CAPS názvy vašich souborů).

Tím se spustí neuronová síť. Bude to běžet asi hodinu a každých několik minut vyplivne nové částečně konvergované obrázky, dokud nedokončí. -gpu -1 flag zastaví pokus o přístup k vašemu GPU.

Po několika hodinách pokusu (a několikrát ztvárnění operačního systému) jsem nebyl schopen přimět Ubuntu a CUDA hrát pěkně s mým GPU (NVIDIA GTX 970). Pokud s tím budete mít více štěstí, budete chtít nainstalovat CUDA a cudann.torch (další informace najdete v repozitáři github). Pokud ne, je to v pořádku - bude to stále fungovat s využitím vašeho procesoru; bude to jen o něco pomalejší.

Máte-li nějaké problémy s tím, jak to všechno funguje, zeptejte se mě v komentářích a udělám vše pro to, abych vám pomohl.

Výsledek

Zde jsou některé obrázky, které jsem vygeneroval za posledních pár dní. Výsledky jsou smíšené, ale mnoho z nich je docela působivých.

Klikněte zde pro plné rozlišení.

Tohle je můj přítel Zack na turistické cestě do Yellowstonu. Styl pochází z abstraktní malby vytvořené Theresou Paden. Byl jsem zvědavý, jak by systém udělal obraz s absolutně žádnou strukturou. Výsledky jsou velmi elegantní a určitě můžete vidět podobnosti se stylem.

Klikněte zde pro plné rozlišení.

Tento přichází s laskavým svolením jednoho z mých oblíbených umělců Charlese Demutha (viz: Kadidlo nové církve a Obrázek 5 ve zlatě). Zajímavé je, že Demuth je jednou z primárních vizuálních inspirací pro umění Team Fortress 2 Team Fortress 2: Parní hra zdarma k hraní musíte hrát Team Fortress 2: Parní hra zdarma k hraní musíte hrát, je týmová pevnost 2 jen rychlá hra pro testování grafiky a výkonu, nebo je to hra, která stojí za to hrát opakovaně? , jak můžete vidět na obrázku stylu.

Nakrmil jsem mu obrázek Jersey City, který jsem našel na Wikimedia. Výsledky jsou ... docela dobré. Nevztahovalo se k úhlu Demuthova stylu, ale rozhodně to vzalo jemný, texturovaný vzhled a barevnou paletu.

Klikněte zde pro plné rozlišení.

Tohle je pokus o vytvoření syntetického O'Keeffe pomocí docela světského obrázku některých květů, které jsem našel. Výsledky jsou, upřímně, velkolepé. Z estetického hlediska je to jeden z mých oblíbených výsledků. Bohatství barev a tvarů O'Keeffe přichází jasně. Vrstvené okraje okvětních lístků se stávají okraji listů v pozadí. Samy květiny se rozpustí v barvách a stávají se téměř abstraktní.

Pokud by to člověk udělal, byl by to dobrý obraz. Jsem velmi v pokušení strávit pár dní vykreslováním této verze s vyšším rozlišením a mít ji zarámovanou.

Klikněte zde pro plné rozlišení.

Tady je moje kamarádka Shannon ve svém Halloweenském kostýmu, pomocí tisku Picasso. Zajímavé je, že se zařízení rozhodlo malovat spodní část její tváře bíle (podobně jako barevné rozložení Picasso). Nejsem si jistý, jestli to byla náhoda nebo ne, ale výsledky jsou pozoruhodné. Zdá se také, že správně identifikoval Shannonovy vlasy na levé straně a znovu je nakreslil pomocí barvy a linie z vlasů ve stylu obrázku. Ditto pro její klobouk.

Toto je jedna z částí, kde se začínají vyjasňovat omezení techniky. Kdyby Picasso vlastně maloval Shannona, odhodil by strukturu obličeje a zkosil rysy, aby dosáhl požadovaného účinku. Tento systém nerozumí těmto druhům konceptů na vysoké úrovni a je schopen napodobit pouze povrchní aspekty stylu, jako jsou tmavé, úhlové čáry a barevná paleta..

Klikněte zde pro plné rozlišení.

Docela přímočaré: obrázek Eiffelovy věže a Van Gogha jiný Hvězdná noc. Odráží dobrou práci při vykreslování mraku ve stylu Van Gogh-ey, navzdory absenci mraků v původním obrázku. Také to dělá dobrou práci při překládání scény ze dne na noc.

Nebyl jsem si jistý, proč se rozhodl udělat špičku Fiffelovy věže jako ohnivý sloup. Vypadá skvěle, ale ze vstupních dat to není opravdu ospravedlnitelné. Pak jsem si uvědomil, že stylový obraz obsahuje třináct dlouhých, svislých žlutých pruhů v podobě odrazů ve vodě. To je docela masivní klastr, vzhledem k tak malým tréninkovým datům. Špatná věc se pravděpodobně dozvěděla, že jakákoli vertikální hrana s vysokým kontrastem musí být jedním z těchto odrazů. V mracích můžete slabě vidět další vnější svislé pruhy.

Klikněte zde pro plné rozlišení.

Stejná malba Van Gogha, ale tentokrát jsem jí dal nějaké skutečné hvězdy k malování. V tomto případě se jedná o část sloupů mlhoviny orla. Výsledky se mi líbí - i když znovu můžete vidět její posedlost žlutými pruhy. Každá svislá část sloupu se stává jasnou, zvlněnou žlutou čarou. Je to také jasně rozrušeno zelenou, která se neobjevila v tréninkových datech, a snaží se ji zbavit ve prospěch modré a černé.

Technologie

Některé výsledky jsou mimořádně přesvědčivé, i když tato technika má jasná omezení. Některé obrázky mají mizernou skladbu a systém má potíže s abstraktnějšími umělci, jako je Picasso - kteří skvěle rádi zkreslili jeho předmět a rozptýlili jeho rysy. Algoritmus zachytí jeho úhlové čáry a střetavé barvy, ale je stále otrokem hodnot pixelů obrazu. Nemá pochopení, které byste se museli odchýlit příliš daleko od zdrojového materiálu.

To, co mě vzrušuje, je, že si nemyslím, že tato omezení jsou zásadní.

Zde používaný přístup - trénovat síť na jednom obrázku a použít jej k vytvoření jiného - je v zásadě druh hacku. Poskytuje síti velmi málo dat pro práci. Vyspělejší verze této aplikace by používala síť, která má informace o mnoha obrazech a možná i skutečných obrazech, aby jí poskytla spoustu kontextu o obrazu, který se snaží “malovat.”

Hluboká znalost stylu může existovat pouze v širším kontextu. Nemůžete to odvodit z jediného obrázku. Navrhování architektury, která umožňuje systému přístup k širším datům, by mu umožnilo získat více “lidský” pochopení obrazu a toho, jak umělci představují různé prvky skutečného světa. Taková síť by mohla být schopna vytvářet obrazy, které jsou abstraktnější a mají lepší složení. Takové algoritmy by přestaly být skvělou hračkou (jako je tato) a staly by se způsobem, jak vytvořit skutečné, originální umění.

Což je v některých ohledech velmi zvláštní myšlenka.

Vytváření vlastních obrázků

Pokud získáte neuspokojivý výsledek, můžete si trochu pohrát s možnostmi a pokusit se získat přesvědčivější výsledky. Celý seznam je na Githubu. Nejdůležitější jsou

• -content_weight -value Kolik váží termín rekonstrukce obsahu. Výchozí hodnota je 5e0.
• -style_weight -value: Jakou váhu přisuzuje stylu obrázku. Výchozí hodnota je 1e2.
• -style_scale - hodnota: Jak velké obrazové záplaty by měl systém analyzovat (větší se stává abstraktnějším). Výchozí hodnota je 1,0.

Jakmile vše bude fungovat k vaší spokojenosti, zveřejněte své nejzajímavější obrázky do komentářů. Mám opravdu zájem vidět, s čím jste přišli.

Image Credits: malíř mozku přes Shutterstock