Gen AI Tech Lead · IA generativa on-device desde Mallorca 🏝️
Entreno LLMs y VLMs para que corran en el móvil y hablen idiomas que los grandes modelos ignoran. Me muevo por todo el recorrido: construir el dataset, hacer el fine-tuning (LoRA, abliteration, destilación), cuantizar y desplegar on-device, y llevarlo hasta una app real.
Creo que la IA más interesante no está en la nube: está corriendo en tu bolsillo, sin enviar tus datos a ningún sitio.
| Proyecto | Qué es | |
|---|---|---|
| 🐉 | EsDrac | El primer LLM que habla mallorquí (es, sa, ses), no solo catalán estándar. Qwen2.5-7B abliterado + LoRA, des-censurado y con tool-calling. Modelo en HF ↗ |
| 🍽️ | Balùa | Cuenta las calorías de un plato desde una foto, 100 % en el móvil. Qwen2.5-VL-3B destilado (7B→3B) corriendo con llama.cpp. Sin nube, sin subir tus fotos. |
| 🍳 | On-Device AI Cookbook | Recetas probadas en la práctica para entrenar y desplegar IA en local: Blackwell, litert-torch, abliteration, cuantización. Con los errores y los fixes reales. |
- Fine-tuning — LoRA, QLoRA, full fine-tune, destilación, merges (SLERP), abliteration.
- On-device — GGUF + llama.cpp, MediaPipe / LiteRT-LM, cuantización int4/int8 para móvil.
- Lenguas minoritarias — llevar el mallorquí (y otras lenguas bajo-recurso) a modelos que las hablen de verdad.
- Hardware de consumo — todo entrenado en una RTX 5070 Ti (Blackwell, 16 GB); peleándome con lo que aún no funciona en GPUs nuevas.
PyTorch · transformers · PEFT / TRL · llama.cpp · Kotlin / Jetpack Compose · Python
- 🌐 Blog y proyectos → marcmayol.com
- 🤗 Modelos y datasets → huggingface.co/natzx94
- 🐦 X → @srmarcmayol
Fet a Mallorca. 🐉