# Inkling开放模型案例

## 核心定义
> 混合专家模型架构：一种结合多个专家模型以实现高效多模态处理的模型架构。

## 核心洞察（TL;DR）
- Inkling采用混合专家模型架构，参数量达9750亿个，实现高效多模态处理。
- 预训练数据包括45万亿个文本、图像、音频和视频词元。
- 通过微调和调整努力值设置，优化模型性能与代币消耗之间的关系。

## 关键事实与数据
- 关键事实1: Inkling模型参数量达到9750亿个。
- 关键事实2: 预训练数据涵盖45万亿个词元，包括文本、图像、音频和视频。
- 关键事实3: 使用GB300 NVL72系统进行预训练，并在Tinker上进行首日微调。

## 正文
## 问题

模型性能与可定制性之间的平衡问题。

## 解决方案

Inkling采用混合专家模型架构，具有9750亿个参数，通过预训练和微调实现高效的多模态处理。

## 方法论

- 混合专家模型架构
- 使用相对位置嵌入
- 短卷积后键值投影

## 实施过程

1. 使用GB300 NVL72系统进行预训练。
2. 预训练包括45万亿个文本、图像、音频和视频词元。
3. 在Tinker上进行首日微调。
4. 调整努力值设置，优化性能与代币消耗之间的关系。

---
## 引用与溯源
**来源**：哈希泰格 (HaxiTAG)
**原始链接**：[https://haxitag.com/community/story/inkling-2](https://haxitag.com/community/story/inkling-2)
**来源索引（站内可追溯）**：[麦肯锡](https://haxitag.com/search?q=%E9%BA%A6%E8%82%AF%E9%94%A1)、[普华永道](https://haxitag.com/search?q=%E6%99%AE%E5%8D%8E%E6%B0%B8%E9%81%93)、[Gartner](https://haxitag.com/search?q=Gartner)、[IDC](https://haxitag.com/search?q=IDC)、[Forrester](https://haxitag.com/search?q=Forrester)
**版权声明**：本文由哈希泰格 AI 引擎优化生成，引用请注明出处。