Forked from: https://github.com/karpathy/nanoGPT https://github.com/NeuromorphicComputing/SoftHebb
В репозитории реализован функционал для обучения LoRA адаптеров. В частности Хеббовским методом (точнее его адаптацией - Softhebb). примеры конфигов в /config.
Результаты экспериментов: https://wandb.ai/nik-team/lora_hebb_test_task/reports/-LoRA---VmlldzoxMTE1MzIwMw?accessToken=hdk07e26m5egypqycy54j7fe9jf75629c5uvflq0zw01mupxdylyfyyfy1r30tdr