InteriorGS episodes测评bench的开源计划

[worker16542]

作者你好，这是一篇很棒的论文，我想要复现一下，但是目前我在运行发现没有对应的InteriorGS episodes的bench，请问何时可以开源呢？

[worker16542]

其次我想要复现一下vlnce的测试，这个有测评的脚本吗，非常感谢

[YuehaoHuang]

作者你好，这是一篇很棒的论文，我想要复现一下，但是目前我在运行发现没有对应的InteriorGS episodes的bench，请问何时可以开源呢？

感谢您的关注与认可！
关于 InteriorGS episodes benchmark，由于相关数据属于公司资产，涉及版权问题，目前我们需要等待公司的内部审批。
一旦审批流程通过，我们会尽快开源并在此通知。感谢您的理解与耐心等待！

[YuehaoHuang]

其次我想要复现一下vlnce的测试，这个有测评的脚本吗，非常感谢

关于 VLN-CE 的测试复现，相关的测评脚本已经整理并开源在单独的仓库中。

您可以直接访问以下链接获取并进行复现：
https://github.com/TeleHuman/GN0-VLN-CE

感谢您的支持，如果在复现过程中遇到问题，欢迎随时提出！

[worker16542]

其次我想要复现一下vlnce的测试，这个有测评的脚本吗，非常感谢

关于 VLN-CE 的测试复现，相关的测评脚本已经整理并开源在单独的仓库中。

您可以直接访问以下链接获取并进行复现： https://github.com/TeleHuman/GN0-VLN-CE

感谢您的支持，如果在复现过程中遇到问题，欢迎随时提出！

好的感谢，我在复现过程中发现了，llamafactory这个库依赖py3.10，但是整个库为py3.9，请问你们如何解决的呢

[shikishima510]

其次我想要复现一下vlnce的测试，这个有测评的脚本吗，非常感谢

关于 VLN-CE 的测试复现，相关的测评脚本已经整理并开源在单独的仓库中。
您可以直接访问以下链接获取并进行复现： https://github.com/TeleHuman/GN0-VLN-CE
感谢您的支持，如果在复现过程中遇到问题，欢迎随时提出！

好的感谢，我在复现过程中发现了，llamafactory这个库依赖py3.10，但是整个库为py3.9，请问你们如何解决的呢

这个你disable version check就行，我的启动脚本里面应该都有设置。至于habitatlab依赖，我忘记在readme里面加上了，我现在补充一下

[worker16542]

在Python 3.9环境中，当尝试导入llamafactory库时：
from llamafactory.model import load_tokenizer
from llamafactory.hparams import ModelArguments
出现以下错误：
File "/python3.9/site-packages/llamafactory/extras/constants.py", line 157, in
template: str | None = None,
TypeError: unsupported operand type(s) for |: 'type' and 'NoneType'
str | None这种联合类型语法是Python 3.10+引入的新特性（PEP 604），在Python 3.9中不被支持。

其次我想要复现一下vlnce的测试，这个有测评的脚本吗，非常感谢

关于 VLN-CE 的测试复现，相关的测评脚本已经整理并开源在单独的仓库中。
您可以直接访问以下链接获取并进行复现： https://github.com/TeleHuman/GN0-VLN-CE
感谢您的支持，如果在复现过程中遇到问题，欢迎随时提出！

好的感谢，我在复现过程中发现了，llamafactory这个库依赖py3.10，但是整个库为py3.9，请问你们如何解决的呢

这个你disable version check就行，我的启动脚本里面应该都有设置。至于habitatlab依赖，我忘记在readme里面加上了，我现在补充一下

[worker16542]

我使用AI将llamafactory库里面依赖python3.10的语法进行了修改，目前可以进行测评。这个解决方法可以嘛

[shikishima510]

我使用AI将llamafactory库里面依赖python3.10的语法进行了修改，目前可以进行测评。这个解决方法可以嘛

也行。本来引用这个库只是为了方便用图像processor，你要换成transformers的实现都没问题

[YuehaoHuang]

您好，GN-Matrix中InteriorGS用于评测的轨迹已开源。如果在复现过程中遇到问题，欢迎随时提出！

作者你好，这是一篇很棒的论文，我想要复现一下，但是目前我在运行发现没有对应的InteriorGS episodes的bench，请问何时可以开源呢？

[worker16542]

您好，GN-Matrix中InteriorGS用于评测的轨迹已开源。如果在复现过程中遇到问题，欢迎随时提出！

作者你好，这是一篇很棒的论文，我想要复现一下，但是目前我在运行发现没有对应的InteriorGS episodes的bench，请问何时可以开源呢？

我已经完全跑通测评了，甚至比论文中指标还要高，我认为这篇论文很好，所以我打算基于此模型进行一定的微调，请问这个有训练微调的细节吗？

[YuehaoHuang]

您好，GN-Matrix中InteriorGS用于评测的轨迹已开源。如果在复现过程中遇到问题，欢迎随时提出！

作者你好，这是一篇很棒的论文，我想要复现一下，但是目前我在运行发现没有对应的InteriorGS episodes的bench，请问何时可以开源呢？

我已经完全跑通测评了，甚至比论文中指标还要高，我认为这篇论文很好，所以我打算基于此模型进行一定的微调，请问这个有训练微调的细节吗？

非常感谢您的关注与认可！关于您提到的训练与微调细节，您可以参考以下几点：

1. 训练数据： 我们目前已经开源了用于训练的轨迹数据 InteriorGS_train_seen.parquet 以及所有的轨迹数据 InteriorGS_all.parquet。
2. 视频渲染： 训练所需的视频需要您根据上述训练轨迹自行渲染。在项目 Readme 的 Dataset Rendering 章节中，我们提供了详细的渲染步骤介绍。同时，在渲染数据集时，您可以完全根据自己的实验需求灵活修改渲染参数。
3. 训练策略： 具体的训练细节在我们的论文中有非常详细的叙述。我们在仿真环境中采用了分三阶段的训练方法，包括：离线数据集监督微调（Offline dataset SFT）、基于 DAgger 的监督微调（DAgger-SFT）以及基于 DAgger 的RL（DAgger-DAPO）。此外，用于获取 DAgger 数据的脚本我们也已经开源，您可以根据自己的实际需求来调整和组织数据格式。

希望这些信息能为您的微调工作提供帮助！如果您在后续的训练过程中遇到任何具体问题，欢迎随时交流探讨。祝您的研究顺利！