Generación, edición y transcripción automatizada de vídeo educativo y científico mediante agentes de Inteligencia Artificial y animaciones programáticas.
video-use es un motor avanzado que combina la potencia de Manim (Mathematical Animation Engine) con pipelines automatizados de transcripción, evaluación de calidad y visualización de timelines. El sistema está diseñado para que agentes autónomos de IA interpreten papers académicos, generen scripts de vídeo, programen animaciones de alta precisión, rendericen los resultados y autoevalúen el contenido final para asegurar la excelencia didáctica y de producción.
El ecosistema de video-use permite automatizar la cadena completa de producción de vídeo técnico y educativo en alta fidelidad:
- Diseño y Planificación de Escenas: A través de guías y referencias estructuradas, los agentes de IA (
AGENTS.md) definen el ritmo, la composición visual y la narrativa matemática. - Generación de Animaciones con Manim: Integración de un motor Manim optimizado (
skills/manim-video/) para renderizar ecuaciones Complejas, gráficos de datos, tracking de objetos 3D y transiciones limpias. - Procesamiento de Audio y Transcripción: Herramientas automatizadas para la transcripción en lote (
transcribe.pyytranscribe_batch.py) y el empaquetado de subtítulos o transcripciones (pack_transcripts.py). - Visualización e Interfaz de Usuario: Representación de timelines visuales (
timeline_view.pyytimeline-view.svg) y un visor interactivo integrado (poster.html) servido mediante un servidor ligero de producción para auditar los vídeos resultantes. - Control de Calidad (Grading): Evaluación automatizada de la calidad técnica y pedagógica del vídeo (
grade.py) antes de su despliegue final.
El proyecto se sustenta sobre un stack tecnológico robusto y especializado en procesamiento multimedia y modelado con IA:
- Python 3.11+: Lenguaje de programación principal del pipeline de datos y scripts de ayuda.
- Manim (Community Edition): Motor de renderizado para animaciones matemáticas y explicaciones dinámicas de alta calidad.
- Mem0: Framework de gestión de memoria a largo plazo para agentes de IA (
mem0.yaml), que permite recordar preferencias de diseño y correcciones pasadas. - Whisper / APIs de Transcripción: Integradas en los módulos de transcripción para la sincronización perfecta de voz y texto.
- Nginx: Servidor web ultraligero utilizado para servir el visor interactivo de vídeos en entornos de producción.
- Docker: Contenerización de todo el pipeline para garantizar que los entornos de renderizado (que requieren dependencias complejas como LaTeX y FFmpeg) sean consistentes en cualquier máquina.
- Biome: Formateador y linter de alta velocidad para el código HTML/JS de la interfaz del visor (
poster.html).
A continuación se detalla la organización de los componentes clave del repositorio:
├── .env.example # Configuración de variables de entorno (claves API, rutas de render)
├── AGENTS.md # Definición de roles y comportamientos de los agentes de IA
├── SKILL.md # Definición de habilidades del sistema y capacidades de ejecución
├── Dockerfile # Configuración de contenedorización multicapa (Build & Nginx)
├── nginx.conf # Configuración de red para servir el visor estático de vídeos
├── poster.html # Panel visual y visor interactivo de los timelines y vídeos
├── pyproject.toml # Gestión de dependencias y empaquetado Python
│
├── helpers/ # Utilidades de automatización del pipeline de vídeo
│ ├── render.py # Orquestador del renderizado de scripts de Manim
│ ├── transcribe.py # Transcriptor individual de ficheros de audio/vídeo
│ ├── transcribe_batch.py # Pipeline de transcripción masiva para producciones largas
│ ├── pack_transcripts.py # Empaquetador de transcripciones para indexación de agentes
│ ├── timeline_view.py # Generador de representaciones visuales SVG del timeline
│ └── grade.py # Módulo de evaluación de calidad del vídeo generado
│
├── skills/manim-video/ # Núcleo de conocimiento y assets para Manim
│ ├── SKILL.md # Habilidades específicas de programación visual en Manim
│ ├── README.md # Guía de uso del módulo de Manim
│ ├── scripts/
│ │ └── setup.sh # Script de inicialización de dependencias del sistema (FFmpeg, LaTeX)
│ └── references/ # Base de conocimiento exhaustiva para el desarrollo de escenas
│ ├── animations.md # Catálogo de animaciones y transformaciones de mobjects
│ ├── camera-and-3d.md # Técnicas de cámara, perspectivas y entornos tridimensionales
│ ├── equations.md # Formateo y renderizado de fórmulas con LaTeX y MathJax
│ ├── mobjects.md # Guía de objetos matemáticos nativos y personalizados
│ ├── production-quality.md# Estándares de calidad de render, resolución y codecs
│ └── updaters-and-trackers.md # Lógica dinámica basada en el tiempo y variables enlazadas
│
└── static/ # Recursos visuales e imágenes estáticas
├── timeline-view.svg # Plantilla/ejemplo de visualización de línea temporal
└── video-use-banner.png # Banner identificativo del proyectoAsegúrate de tener instalado en tu sistema:
- Python 3.11 o superior.
- FFmpeg (necesario para el procesamiento de vídeo y audio).
- LaTeX (opcional, necesario si vas a renderizar ecuaciones avanzadas con Manim de manera local).
- Docker (opcional, para despliegues contenerizados).
- Copia el archivo de variables de entorno y configúralo:
cp .env.example .env
- Instala las dependencias del proyecto usando tu gestor preferido (ej.
pip):pip install -r pyproject.toml
Ejecuta el script de configuración inicial para instalar las dependencias de sistema necesarias para la edición de vídeo:
bash skills/manim-video/scripts/setup.sh- Para renderizar una escena matemática:
python helpers/render.py --scene MiEscenaMatematica
- Para transcribir un vídeo generado y generar subtítulos:
python helpers/transcribe.py --file path/to/output.mp4
- Para evaluar la calidad del material generado:
python helpers/grade.py --file path/to/output.mp4
Puedes levantar la interfaz interactiva local (poster.html y el visualizador de timelines) de forma rápida con Docker:
docker build -t video-use-visor .
docker run -d -p 8080:80 video-use-visorAccede a http://localhost:8080 en tu navegador para interactuar con los resultados de las animaciones y timelines generados.
Este repositorio cuenta con controles estrictos de calidad y automatización para asegurar la integridad del código:
- Validación Local (Lefthook): Se ejecutan git hooks antes de cada commit para asegurar que el código cumple con las directrices del proyecto.
- Linting y Formateo (Biome): Configurado a través de
biome.jsonpara garantizar un estilo impecable en archivos HTML, JSON y Javascript. - Auditorías de Seguridad: Mediante el script
scripts/security_audit.shy la herramienta Bumblebee, se realizan escaneos regulares de vulnerabilidades. - Control de Estado de Integración: El script
scripts/status.shpermite visualizar en tiempo real el cumplimiento de los estándares de desarrollo y la configuración correcta de los proxies de git (no-mistakes).
Megacore - Automatizando y estandarizando la calidad del software en Megasoft.