Projekt je úspěšně dokončen. Aplikace StableMap umožňuje interaktivní generativní videomapping na libovolné objekty, od interiérů po celé budovy.
+
+
Popis aplikace
+
Aplikace využívá sofistikový proces pro vytváření projekcí v reálném čase. Celý proces je poháněn moderními AI modely a počítačovým viděním.
+
+
Kalibrace a Mapping: Původní nápad využívat pouze homografii byl rozšířen o robustní metodu strukturovaného světla (Gray Codes). Aplikace naskenuje geometrii scény a vytvoří mapu korespondence pixelů. Původní fotografie scény je pomocí této mapy transformována přímo do perspektivy projektoru ještě před začátkem generování.
+
Generování obsahu:
+
+
Se systémem lze interagovat skrze webové rozhraní. Navíc je možné zpřístupnit i veřejné rozhraní pro návštěvníky, které zařazuje prompty do fronty pro schválení.
+
Za pomocí automatické kalibrace, která využívá mobilní telefon pro nafocení kalibračních snímků, se vytvoří hloubková mapa pro zachycení 3D struktury prostředí. (Jde o jednorázový proces pouze na začátku)
+
Obraz lze generovat buď pomocí Stable Diffusion s ControlNetem nebo pomocí Qwen Image, který umožnuje pokročilejší kontrolu a například i generování čitelného textu.
+
Aplikace využívá ComfyUI jako svůj backend. (Značná část kódu je přejata z mého projektu StableGen)
+
+
+
Projekce: Výsledný obraz již není třeba deformovat - jeho geometrie přímo odpovídá pohledu projektoru. Promítání je obohaceno o efektní přechody (např. hloubkové odhalování) a upscaling pro vyšší rozlišení.
+
+
+
Průběh vývoje
+
+
1. Počátky: Homografie a interiérové projekce
+
Prvotní fáze vývoje se soustředila na základní mapping v interiéru pomocí manuální homografie. Testoval jsem projekci na jednoduché plochy a ladil generativní pipeline.
+
+
+
+ Testování mappingu v interiéru
+
+
+
+
+
+
+
+
+ První generované vizualizace
+
+
+
+
2. Pokročilá kalibrace a exteriér (Muzeum Prahy)
+
Implementace Gray Code kalibrace umožnila přesun na členité fasády. Níže uvedená vizualizace ukazuje proces pipeline při projekci na budovu Muzea Prahy.
+
+
+
+
+
+
+
+
+
+
+
+ 1. Kalibrace
+
+
+
→
+
+
+
+
+ 2. Extrakce pohledu
+
+
+
→
+
+
+
+
+ 3. Hloubková mapa
+
+
+
→
+
+
+
+
+
+
+
+
+
+
+ 4. Projekce
+
+
+
+
3. Další experimenty
+
Rodinný dům: Systém byl testován také na rodinném domě. Zde je ukázka tří vygenerovaných projekcí v různých stylech a video s přechodovými efekty.
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
Ukázka přechodových efektů na rodinném domě
+
+
+
Muzeum Prahy: Ukázka z slavnostního otevření Muzea Prahy. (zrychleno)
Projekt je úspěšně dokončen. Aplikace StableMap umožňuje interaktivní generativní videomapping na libovolné objekty, od interiérů po celé budovy.
+
+
Popis aplikace
+
Aplikace využívá sofistikový proces pro vytváření projekcí v reálném čase. Celý proces je poháněn moderními AI modely a počítačovým viděním.
+
+
Kalibrace a Mapping: Původní nápad využívat pouze homografii byl rozšířen o robustní metodu strukturovaného světla (Gray Codes). Aplikace naskenuje geometrii scény a vytvoří mapu korespondence pixelů. Původní fotografie scény je pomocí této mapy transformována přímo do perspektivy projektoru ještě před začátkem generování.
+
Generování obsahu:
+
+
Se systémem lze interagovat skrze webové rozhraní. Navíc je možné zpřístupnit i veřejné rozhraní pro návštěvníky, které zařazuje prompty do fronty pro schválení.
+
Za pomocí automatické kalibrace, která využívá mobilní telefon pro nafocení kalibračních snímků, se vytvoří hloubková mapa pro zachycení 3D struktury prostředí. (Jde o jednorázový proces pouze na začátku)
+
Obraz lze generovat buď pomocí Stable Diffusion s ControlNetem nebo pomocí Qwen Image, který umožnuje pokročilejší kontrolu a například i generování čitelného textu.
+
Aplikace využívá ComfyUI jako svůj backend. (Značná část kódu je přejata z mého projektu StableGen)
+
+
+
Projekce: Výsledný obraz již není třeba deformovat - jeho geometrie přímo odpovídá pohledu projektoru. Promítání je obohaceno o efektní přechody (např. hloubkové odhalování) a upscaling pro vyšší rozlišení.
+
+
+
Průběh vývoje
+
+
1. Počátky: Homografie a interiérové projekce
+
Prvotní fáze vývoje se soustředila na základní mapping v interiéru pomocí manuální homografie. Testoval jsem projekci na jednoduché plochy a ladil generativní pipeline.
+
+
+
+ Testování mappingu v interiéru
+
+
+
+
+
+
+
+
+ První generované vizualizace
+
+
+
+
2. Pokročilá kalibrace a exteriér (Muzeum Prahy)
+
Implementace Gray Code kalibrace umožnila přesun na členité fasády. Níže uvedená vizualizace ukazuje proces pipeline při projekci na budovu Muzea Prahy.
+
+
+
+
+
+
+
+
+
+
+
+ 1. Kalibrace
+
+
+
→
+
+
+
+
+ 2. Extrakce pohledu
+
+
+
→
+
+
+
+
+ 3. Hloubková mapa
+
+
+
→
+
+
+
+
+
+
+
+
+
+
+ 4. Projekce
+
+
+
+
3. Další experimenty
+
Rodinný dům: Systém byl testován také na rodinném domě. Zde je ukázka tří vygenerovaných projekcí v různých stylech a video s přechodovými efekty.
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
Ukázka přechodových efektů na rodinném domě
+
+
+
Muzeum Prahy: Ukázka z slavnostního otevření Muzea Prahy. (zrychleno)
+
+
+
Záznam z projekce na Muzeum Prahy
+
+
+
+
+
+
\ No newline at end of file
diff --git a/projects/stablemap/stablemap.gif b/projects/stablemap/stablemap.gif
new file mode 100644
index 0000000..7fe7cbc
Binary files /dev/null and b/projects/stablemap/stablemap.gif differ
+ 
+ 
+ 
+ 
+ 
+ 
+ 
+ 
+ 
+ 
+ 
+ 
+ 
+ 
+ 
+ 
+ 
+ 
+ 
+ 
+ 
+ 
+ 
+ 
+ 
+ 
+ 2. Extrakce pohledu
+ 
+ 3. Hloubková mapa
+ 
+ 
+ 
+ 
+ 
+ 
+