本项目是一个本地部署 FastVLM 视觉语言模型的 Demo,包含 iOS/macOS 服务端和 Android 客户端。
- Server: Swift 编写的服务端,集成 FastVLM 和 YOLO 目标检测
- Atmos: Android 客户端应用
本项目支持三种不同规模的 FastVLM 模型,可根据设备性能和需求选择:
| 模型规模 | 量化方式 | 下载链接 |
|---|---|---|
| 0.5B | FP16 | 下载 |
| 1.5B | INT8 | 下载 |
| 7B | INT4 | 下载 |
- 根据需要下载上述模型之一
- 解压下载的 zip 文件
- 将解压后的文件夹重命名为
model - 将
model文件夹放置在Server/Server/Module/FastVLM/目录下
最终目录结构应为:
Server/Server/Module/FastVLM/model/
- macOS 或 iOS 设备
- Xcode
- Swift 5.0+
- 按照上述步骤部署 FastVLM 模型
- 打开
Server/Server.xcodeproj - 在 Xcode 中构建并运行项目
- Android Studio
- Gradle
- 打开
Atmos文件夹 - 使用 Android Studio 打开项目
- 同步 Gradle 依赖
- 构建并运行应用
- 本地部署的视觉语言模型推理
- YOLO 目标检测集成
- 跨平台支持(iOS/macOS 服务端 + Android 客户端)