Current API don't support max_len=8192 parameter, which can increase the max token limit for laya-multilingual.
For some long context case, the quality of result is quite low. It would be much more helpful if you can add the support of this.
I suppose just add a property in InferenceRequest and add the support here
现在的API不支持 max_len=8192 这个可以让 laya-multilingual 的输入上限增加到8192个token。
现在过长的上下文的结果，质量很低。如果能支持这个参数，估计会有很大改善。
我觉得，只要在 InferenceRequest 里面加一个对此支持的属性，然后再在这个函数调用里加上参数就好了。
非常感谢你做了这个可以直接在Docker里用的image，直接部署非常方便！
Current API don't support
max_len=8192parameter, which can increase the max token limit forlaya-multilingual.For some long context case, the quality of result is quite low. It would be much more helpful if you can add the support of this.
I suppose just add a property in
InferenceRequestand add the support here现在的API不支持
max_len=8192这个可以让laya-multilingual的输入上限增加到8192个token。现在过长的上下文的结果，质量很低。如果能支持这个参数，估计会有很大改善。
我觉得，只要在
InferenceRequest里面加一个对此支持的属性，然后再在这个函数调用里加上参数就好了。非常感谢你做了这个可以直接在Docker里用的image，直接部署非常方便！