GANs-models

Данный проект представляет собой исследование и применение генеративных моделей (GANs) для создания высококачественного визуального контента. В основе проекта лежит использование мощных моделей: BigGAN, Stable Diffusion(2.1 Base/2.1/1.5), OpenJourney v4, Dreamlike Photoreal 2.0 и DALL-E 3. Каждая из них интегрируется для достижения уникальных художественных эффектов, комбинирования стилей и улучшения производительности генерации. Проект направлен на предоставление гибкого и масштабируемого инструмента для художников, дизайнеров, исследователей и разработчиков, работающих в области генеративного дизайна и искусственного интеллекта. Подробнее с материалами можно ознакомиться на Hugging Face.

Теория

DALL-E 3 — это мощная генеративная модель от OpenAI, предназначенная для создания реалистичных и детализированных изображений на основе текстовых описаний. Она использует архитектуру трансформеров и сочетает в себе достижения больших языковых моделей (таких как GPT) с диффузионными моделями, которые специализированы на обработке визуальных данных.

Dreamlike Photoreal 2.0 — это продвинутая диффузионная модель, предназначенная для синтеза фотореалистичных изображений на основе текстовых описаний. Модель представляет собой сочетание передовых методов в области вероятностных генеративных моделей, глубинного обучения и межмодального представления данных, что обеспечивает точное соответствие между текстовыми запросами и визуальным результатом.

OpenJourney v4 — это передовая генеративная модель для создания изображений на основе текстовых описаний. Разработанная с использованием методов глубокого обучения и архитектур трансформеров, модель акцентирует внимание на адаптивности, гибкости и высоком уровне соответствия между текстом и визуальным результатом. OpenJourney v4 оптимизирована для работы в разнообразных стилях, что делает её универсальным инструментом в художественной и коммерческой графике.

BigGAN — это мощная архитектура генеративно-состязательной сети (GAN), разработанная для создания высококачественных изображений с учётом заданных классов. Модель сочетает масштабируемую архитектуру, прогрессивные методы регуляризации и стратегические модификации тренировочного процесса, что позволяет достичь выдающихся результатов в генерации изображений высокого разрешения.

Stable Diffusion — это продвинутая генеративная модель, основанная на диффузионных процессах, разработанная для создания высококачественных изображений из текстовых описаний. Эта модель сочетает передовые подходы вероятностного моделирования, глубинного обучения и латентных представлений, что позволяет эффективно генерировать визуально реалистичный контент с высокой степенью гибкости и детализации.

Demo

Prompt №1:"A futuristic city in the clouds where houses are made of crystals and glowing plants, and the sky is painted in shades of pink and purple. In the center of the city, a massive waterfall cascades from the heavens, and winged creatures resembling dragons stroll through the streets. In the distance, floating islands with dense forests and waterfalls can be seen."

Model	Metric (CLIP)	Mechanism	Best Img
Stable Diffusion 2.1 Base	0.3972	EulerAncestralDiscreteScheduler
	0.3938	EulerDiscreteScheduler
	0.3757	DDIMScheduler
Stable Diffusion 2.1	0.3765	EulerAncestralDiscreteScheduler
	0.4023	EulerDiscreteScheduler
	0.3870	DDIMScheduler
Stable Diffusion 1.5	0.3868	EulerAncestralDiscreteScheduler
	0.3924	EulerDiscreteScheduler
	0.4022	DDIMScheduler
Dreamlike Photoreal 2.0	0.3752	EulerAncestralDiscreteScheduler
	0.3954	EulerDiscreteScheduler
	0.3816	DDIMScheduler
OpenJourney v4	0.4055	EulerAncestralDiscreteScheduler
	0.4041	EulerDiscreteScheduler
	0.3768	DDIMScheduler
DALL-E 3	0.3807	?

Prompt №2:"An underwater world with bioluminescent creatures, where corals emit a soft glow and fish float in the water like birds in the sky. In the depths of the ocean, ancient ruins covered in seaweed and inhabited by giant squids can be found. At the heart of this world lies an underwater volcano, erupting bubbles and glowing particles."

Model	Metric (CLIP)	Mechanism	Best Img
Stable Diffusion 2.1 Base	0.3347	EulerAncestralDiscreteScheduler
	0.3370	EulerDiscreteScheduler
	0.3425	DDIMScheduler
Stable Diffusion 2.1	0.3311	EulerAncestralDiscreteScheduler
	0.3464	EulerDiscreteScheduler
	0.3263	DDIMScheduler
Stable Diffusion 1.5	0.3290	EulerAncestralDiscreteScheduler
	0.3457	EulerDiscreteScheduler
	0.2976	DDIMScheduler
Dreamlike Photoreal 2.0	0.3297	EulerAncestralDiscreteScheduler
	0.3394	EulerDiscreteScheduler
	0.3280	DDIMScheduler
OpenJourney v4	0.331	EulerAncestralDiscreteScheduler
	0.3272	EulerDiscreteScheduler
	0.3178	DDIMScheduler
DALL-E 3	0.3288	?

Prompt №3:"An abandoned amusement park where nature has taken over, and trees wrap around carousels, and flowers grow on roller coasters. The park features old rides covered in moss and vines, as well as deserted kiosks with faded signs. At the center of the park, there is a large lake covered in lilies, where swans and ducks swim."

Model	Metric (CLIP)	Mechanism	Best Img
Stable Diffusion 2.1 Base	0.3872	EulerAncestralDiscreteScheduler
	0.3399	EulerDiscreteScheduler
	0.3559	DDIMScheduler
Stable Diffusion 2.1	0.3500	EulerAncestralDiscreteScheduler
	0.3747	EulerDiscreteScheduler
	0.3308	DDIMScheduler
Stable Diffusion 1.5	0.3584	EulerAncestralDiscreteScheduler
	0.3622	EulerDiscreteScheduler
	0.3350	DDIMScheduler
Dreamlike Photoreal 2.0	0.3586	EulerAncestralDiscreteScheduler
	0.3716	EulerDiscreteScheduler
	0.3617	DDIMScheduler
OpenJourney v4	0.3436	EulerAncestralDiscreteScheduler
	0.3771	EulerDiscreteScheduler
	0.3639	DDIMScheduler
DALL-E 3	0.3274	?