Cześć Kacper,
Na początek chciałbym Ci podziękować za całą pracę nad vLLM-MoET. Dzięki niej udało mi się uruchomić model na RTX PRO 6000, rozwinąć fork dla tej konfiguracji i udostępnić innym powtarzalną ścieżkę wdrożenia. Bardzo doceniam zarówno sam projekt, jak i ilość praktycznej wiedzy, którą opublikowałeś.
Mam dwa krótkie pytania:
1 - W swoim forku zaadaptowałem kilka poprawek z upstreamowego vLLM, głównie dotyczących parserów, structured output ze speculative decoding oraz kompatybilności KV cache. Nie są to sugestie zmian w kodzie MoET ani krytyka Twoich decyzji projektowych. Czy chcesz przyjmować małe, osobne PR-y z takimi upstreamowymi poprawkami, czy wolisz utrzymywać ten zakres samodzielnie? Nie chcę wysyłać PR-ów, jeśli nie byłyby dla Ciebie przydatne.
2 - Czy planujesz opublikować EXL3 pack builder, o którym wspominałeś? Jestem bardzo zainteresowany przetestowaniem go na mojej konfiguracji, kiedy będzie gotowy.
Poniżej dodałem wersję angielską, żeby rozmowa była dostępna dla wszystkich.
Hi Kacper,
First, thank you for all the work you have put into vLLM-MoET. It allowed me to run the model on an RTX PRO 6000, develop a fork for that configuration, and give other people a reproducible deployment path. I greatly appreciate both the project itself and the practical knowledge you have published.
I have two quick questions:
1 - In my fork, I adapted several fixes from upstream vLLM, mainly covering parser behavior, structured output with speculative decoding, and KV-cache compatibility. These are not suggestions about the MoET code or criticism of your design decisions. Are you interested in small, separate PRs carrying those upstream-derived fixes into your repository, or would you prefer to maintain that scope independently? I do not want to send PRs that would not be useful to you.
2 - Do you plan to release the EXL3 pack builder you mentioned? I am very excited to test it on my configuration when it is ready.
Cześć Kacper,
Na początek chciałbym Ci podziękować za całą pracę nad vLLM-MoET. Dzięki niej udało mi się uruchomić model na RTX PRO 6000, rozwinąć fork dla tej konfiguracji i udostępnić innym powtarzalną ścieżkę wdrożenia. Bardzo doceniam zarówno sam projekt, jak i ilość praktycznej wiedzy, którą opublikowałeś.
Mam dwa krótkie pytania:
1 - W swoim forku zaadaptowałem kilka poprawek z upstreamowego vLLM, głównie dotyczących parserów, structured output ze speculative decoding oraz kompatybilności KV cache. Nie są to sugestie zmian w kodzie MoET ani krytyka Twoich decyzji projektowych. Czy chcesz przyjmować małe, osobne PR-y z takimi upstreamowymi poprawkami, czy wolisz utrzymywać ten zakres samodzielnie? Nie chcę wysyłać PR-ów, jeśli nie byłyby dla Ciebie przydatne.
2 - Czy planujesz opublikować EXL3 pack builder, o którym wspominałeś? Jestem bardzo zainteresowany przetestowaniem go na mojej konfiguracji, kiedy będzie gotowy.
Poniżej dodałem wersję angielską, żeby rozmowa była dostępna dla wszystkich.
Hi Kacper,
First, thank you for all the work you have put into vLLM-MoET. It allowed me to run the model on an RTX PRO 6000, develop a fork for that configuration, and give other people a reproducible deployment path. I greatly appreciate both the project itself and the practical knowledge you have published.
I have two quick questions:
1 - In my fork, I adapted several fixes from upstream vLLM, mainly covering parser behavior, structured output with speculative decoding, and KV-cache compatibility. These are not suggestions about the MoET code or criticism of your design decisions. Are you interested in small, separate PRs carrying those upstream-derived fixes into your repository, or would you prefer to maintain that scope independently? I do not want to send PRs that would not be useful to you.
2 - Do you plan to release the EXL3 pack builder you mentioned? I am very excited to test it on my configuration when it is ready.