chore: Add Docker configuration for SenseVoice OpenAI server

[AndersonBY]

效果真的又快又好，打算日常使用，所以增加一个提供 OpenAI 兼容的推理服务接口。

[iflamed]

前几天测试单次推理GPU利用率比较低，能不能支持单次同时推理多个音频文件呢？

[AndersonBY]

前几天测试单次推理GPU利用率比较低，能不能支持单次同时推理多个音频文件呢？

这个得让官方的人来改了，对项目内核的代码我不熟。我只是提供了一个接口兼容的代码，从示例的 webui.py 里改过来的。

[huacilang]

前几天测试单次推理GPU利用率比较低，能不能支持单次同时推理多个音频文件呢？

这个得让官方的人来改了，对项目内核的代码我不熟。我只是提供了一个接口兼容的代码，从示例的 webui.py 里改过来的。

有碰到过内存爆掉的情况吗，比如这个#28 (comment)

[AndersonBY]

有碰到过内存爆掉的情况吗，比如这个#28 (comment)

我自己测试CPU推理的8分钟音频，内存用量维持在 2G，推理耗时大概20秒的样子。

[huacilang]

有碰到过内存爆掉的情况吗，比如这个#28 (comment)

我自己测试CPU推理的8分钟音频，内存用量维持在 2G，推理耗时大概20秒的样子。

请问，有更改过那些参数吗？ 我试过用demo.py推理其他的几秒钟音频是正常的，几分钟的就爆。

[AndersonBY]

请问，有更改过那些参数吗？ 我试过用demo.py推理其他的几秒钟音频是正常的，几分钟的就爆。

没有改过，就用官方示例那个 webui.py 里的。

[huacilang]

请问，有更改过那些参数吗？ 我试过用demo.py推理其他的几秒钟音频是正常的，几分钟的就爆。

没有改过，就用官方示例那个 webui.py 里的。

又试了下，CPU可以推理长语音，换成GPU还是会爆

[LauraGPT]

rename docker as service/python/http

[darvsum]

@AndersonBY 是不是还要增加一个上传音频文件的接口？

[AndersonBY]

@AndersonBY 是不是还要增加一个上传音频文件的接口？

这里直接是直接上传的了

audio_file= open("/path/to/file/audio.mp3", "rb")
transcription = client.audio.transcriptions.create(
  model="iic/SenseVoiceSmall", 
  file=audio_file
)

[riddlegit]

效果真的又快又好，打算日常使用，所以增加一个提供 OpenAI 兼容的推理服务接口。

可以在接口里的file支持传入bytes吗？这样如果有实时采集麦克风的场景也可以用上，这里看openai的api应该也是支持的：
https://community.openai.com/t/openai-whisper-send-bytes-python-instead-of-filename/84786/4

[icowan]

高并发场景下有测试过吗？我用funasr 跑的iic/SenseVoice 无法做到线程安全

[wreric]

似乎长音频会自动切换到CPU？ 我处理了一个60分钟的音频，发现GPU负载0，CPU倒是蹦到44%了。