About video encoding

[jun0wanan]

非常感谢您开源您的工作。想请问一下，视频内容是整个进行编码的吗？可是这样太长流式怎么处理呢，如果用clip编码直接就爆了，你们是一帧帧编码的吗，可是 我看代码是一起编码的。这是怎么做的。希望得到您的回答

[sotayang]

当前几乎所有主流MLLM模型都是用CLIP系列（EVA-CLIP、SigLIP）图像编码器编码，因此我们在评测模型流式能力时会考虑模型的Chat能力和上下文窗口。如果模型具有Chat能力，我们会增量式地输入新视频帧并同步问答，之前的帧和QA会储存在history，如Gemini；如果模型有输入帧数限制，如GPT-4o最多25帧，我们会将history中超过限制的帧删去，但保留QA；如果模型不具备Chat能力且有输入上限N帧，我们每次在0-T的片段中均匀采样N帧，并输入前文的QA作为prompt，如MovieChat。

[jun0wanan]

当前几乎所有主流MLLM模型都是用CLIP系列（EVA-CLIP、SigLIP）图像编码器编码，因此我们在评测模型流式能力时会考虑模型的Chat能力和上下文窗口。如果模型具有Chat能力，我们会增量式地输入新视频帧并同步问答，之前的帧和QA会储存在history，如Gemini；如果模型有输入帧数限制，如GPT-4o最多25帧，我们会将history中超过限制的帧删去，但保留QA；如果模型不具备Chat能力且有输入上限N帧，我们每次在0-T的片段中均匀采样N帧，并输入前文的QA作为prompt，如MovieChat。

测试llavaov那些模型都是采用均匀采样是吗，主要是感觉流式均匀采样这种办法是不是不能用，毕竟真正的流式进来帧你也不知道究竟会有多少帧，不像offline是能够知道视频长度的。

[sotayang]

LLaVA OneVision的chat版本支持增量式输入新帧并进行问答，可以理解为一个32帧的流式窗口。对于没有流式设计的LVLMs，均匀采样是一种流式替代方案（否则没有上文信息）。我们正在开发一个逐帧输入的流式模型，敬请期待！