Skip to content

建议:优化本地大模型(Local LLM)的格式兼容性 #13

@tale12

Description

@tale12

目前使用本地模型(如通过 LM Studio 运行的 35B 级别模型)时,经常被各种严格的 JSON 格式和校验报错困扰(例如中英文引号混用、字数限制过严、枚举值不匹配等)。

建议方案:
增强容错:在解析 JSON 前,增加对全角标点(“ ”)的自动替换逻辑。
放宽校验:对于非关键字段(如 style, angle 等),建议将严格的枚举或长度限制改为更宽松的校验,避免因细微的格式问题导致整个创作流程中断。
协议兼容:优化对 json_object 模式的支持,减少部分本地服务端对 json_schema 协议不兼容导致的 400 错误。
希望可以对本地部署的用户更友好一些,谢谢!

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions