MiniCPM-o翻译站点

MiniCPM-o 2.6 是由面壁智能（OpenBMB）团队开发的一款开源多模态大语言模型（MLLM），以仅 8B 参数量实现了媲美 GPT-4o 的性能，支持文本、图像、语音和视频的实时流式处理，特别适合部署在 iPad、手机等端侧设备上。

MiniCPM-o 2.6 的核心亮点

1. 全模态流式架构，支持多模态实时交互

MiniCPM-o 2.6 采用端到端的全模态架构，能够同时处理文本、图像、音频和视频等多种类型的数据，生成高质量的文本和语音输出。其全模态流式机制支持多模态实时流式交互，能够在 iPad 等终端设备上实现高效的多模态实时流式交互。 

2. 出色的视觉理解能力

该模型支持处理任意长宽比的图像，像素数可达 180 万（如 1344×1344）。在 OpenCompass 评测中，MiniCPM-o 2.6 的单图理解能力获得了 70.2 的平均分，超越了 GPT-4o-202405、Gemini 1.5 Pro 和 Claude 3.5 Sonnet 等主流商用闭源多模态大模型。 

3. 强大的语音处理能力

MiniCPM-o 2.6 支持中英双语实时语音对话，具备情感、语速、风格控制、端到端声音克隆、角色扮演等进阶能力。在自动语音识别（ASR）和语音转文本（STT）翻译方面，其表现优于 GPT-4o-realtime。 

4. 高效的推理能力

该模型在处理图像时，仅需 640 个 token 即可处理 180 万像素的图像，比大多数模型少 75%。这一特性优化了模型的推理速度、首 token 延迟、内存占用和功耗，使其能够在 iPad 等终端设备上高效运行。 

应用场景与部署方式

MiniCPM-o 2.6 适用于多种应用场景，包括但不限于：

• 实时语音助手

• 多模态内容生成

• 图像和视频理解

• 多语言翻译

该模型支持多种部署方式，包括 llama.cpp 支持在本地设备上进行高效的 CPU 推理，int4 和 GGUF 格式的量化模型，vLLM 支持高吞吐量和内存高效的推理，以及通过 LLaMA-Factory 框架针对新领域和任务进行微调。