NEO：原生视觉语言模型研究与训练项目

获取下载链全程约 1 分钟

1. 打开微信，搜索「软件教程管家」关注，或长按下方二维码关注
2. 回复关键词 NEO 复制关键词
3. 公众号自动回复网盘链接，点击即可保存下载

打开微信扫一扫关注
或搜索【软件教程管家】

官方渠道：GitHub 仓库

NEO 是 EvolvingLMMs-Lab 推出的原生视觉语言模型研究项目，要验证一件事：不用视觉编码器，能不能把像素和文本统一到同一个稠密模型里做对齐和推理。仓库提供 NEO 系列 2B 与 9B 两个规模的模型权重，以及训练、评测和视觉语言动作（VLA）三套代码，适合想复现原生多模态训练流程的研究团队；如果只是想快速接一个能用的多模态推理服务，先确认它的推理入口与硬件成本再决定。

项目介绍：把像素和文本放进同一个模型

NEO 的技术路线与主流多模态模型不同：主流做法是视觉编码器加语言模型两段拼接，NEO 探索的是无视觉编码器的原生视觉语言模型架构，用一个稠密模型统一处理像素与文本的编码、对齐和推理。项目同时覆盖视觉语言模型训练、评测以及视觉语言动作策略训练，是一套面向原生多模态的研究与工程组合，而不是单个模型权重发布。

仓库按模块组织：NEO 与 NEO-ov 是视觉语言模型本体，NEO-VLA 是视觉语言动作策略方向；训练、评测与动作训练分别放在 VLMTrainKit、VLMEvalKit、VLMEvalKit_ov 与 VLAKit 等子目录中，模型权重与数据集则通过 Hugging Face 发布。想复现的团队可以按模块取用，不必一次性吃下整套代码。

核心功能

• 原生架构探索：将像素与文本处理统一到无视觉编码器的原生视觉语言模型架构中，验证端到端统一建模的可行性。
• 两个规模的模型权重：NEO 系列模型覆盖 2B 和 9B 规模，并区分不同训练阶段的资源，适合比较模型配置与训练路线。
• 训练代码与指南：提供视觉语言模型训练指南和对应训练代码，便于复现实验流程。
• 两套评测代码：NEO 与 NEO-ov 的评测代码覆盖单图、多图、视频和空间理解方向。
• 视觉语言动作策略：NEO-VLA 提供视觉语言动作策略、训练代码以及动作预训练数据集资源。

适用场景

• 研究无视觉编码器的原生视觉语言模型，对比它与编码器拼接路线的差异。
• 复现像素到文本的统一建模方法，验证训练流程与配置细节。
• 训练或评测多模态模型，覆盖单图、多图、视频和空间理解任务。
• 探索视觉语言动作策略，用动作预训练数据做策略训练实验。
• 比较 2B 与 9B 不同规模、不同训练阶段的模型表现，选一条适合自己算力的路线。

上手步骤

1. 先读根目录 README 定方向：确认你要做的是模型训练、模型评测还是动作策略，三条线对应不同的子目录，不要混着看。
2. 克隆仓库并按子目录准备环境：训练、评测与 VLA 分别在 VLMTrainKit、VLMEvalKit、VLMEvalKit_ov 与 VLAKit 中，各自的依赖、权重获取方式与数据准备流程以对应 README 为准。
3. 从 Hugging Face 取模型权重与数据集：仓库链接了 Hugging Face 上的模型、数据集和技术资料，按实验需要的规模（2B 或 9B）与训练阶段取用。
4. 先跑评测复现基线：用评测代码在单图、多图、视频或空间理解任务上跑一遍，确认环境与权重无误，再动训练配置。
5. 再改训练配置做自己的实验：固定可复现实验所需的代码、模型和数据版本，改动配置后重新验证权重、评测脚本与训练配置的兼容性。

注意事项

• 硬件与依赖要自己核对：公开摘要未明确说明完整硬件配置、显存要求、依赖版本和端到端部署步骤，动手前必须分别查看各子目录的 README 或源码确认。
• 它是研究项目，不是推理服务：项目定位偏研究与训练复现，摘要未给出独立推理服务、生产监控或稳定 API 的说明，不要把它当成开箱即用的多模态服务来规划。
• 性能描述缺少可复现的依据：摘要中的性能描述缺少具体评测表、数据集、指标和复现实验条件，不能据此判断实际效果，要以自己跑出的评测结果为准。
• 各模块相互独立：不同模型和工具位于独立子目录中，实际使用方式与兼容关系需结合对应 README 或源码确认，不能假设各模块默认打通。
• 许可证义务先确认：项目采用 Apache-2.0，商用或二次分发前按许可证要求核对义务。

同类对比

一句话取舍：优先选择 NEO 的场景，是团队要研究原生多模态架构、训练方法或视觉语言动作策略，并且能承担模型权重、数据和训练环境的配置成本；如果只需要轻量推理、标准化 API 或明确的生产部署文档，应先核实仓库是否满足这些要求，摘要未明确的能力不能作为选型依据。

适合人群

适合研究原生视觉语言模型、多模态大语言模型、视觉语言动作策略和端到端训练方法的开发者与研究团队。使用者需要具备 Python、深度学习训练、模型权重管理和多模态评测方面的基础，纯新手建议先从评测代码入手，跑通一条评测链路再碰训练。

前往 GitHub 查看 NEO

GitHub 国内访问较慢，如打不开可多刷新几次

推广

关注「软件教程管家」

回复软件名即取即下：网盘下载链接 + 提取码，一步直达，不用再跳转。

相关推荐

开发MLX-VLM 免费下载｜视觉语言模型本地推理工具学习教程Awesome-LLM-RAG：大型语言模型检索增强生成资料索引开发caret：R 语言分类回归训练的建模助手学习教程Open Pictionary：七家视觉模型同台画图猜词开发MiniGUI：嵌入式窗口系统，C 语言跨平台图形界面开发框架开发Babylon Native：将 Babylon.js JavaScript 带入跨平台原生应用