2021年6月，北京智源研究院（BAAI）推出了悟道1.0的后续版本悟道2.0，作为中国第一个超大规模智能模型系统。悟道是一个语言模型，旨在在人类层面的思维上超越 OpenAI 的 GPT-3 和谷歌的 LaMDA。经过4.9TB的图像和文本训练，并在9个基准上超过了最先进（SOTA）水平，悟道比任何同行都更接近于实现通用人工智能（AGI）和人类水平的思维。
悟道接受了4.9 TB高质量英文和中文图像和文本的训练：
- 1.2TB中文文本数据
- 2.5TB中文图形数据
- 1.2TB英文文本数据
悟道是基于开源的 MoE 系统 FastMoE 进行训练的。MoE是一种机器学习技术，其工作原理如下：
将预测建模任务划分为子任务，针对每个子任务训练专家（学习者）模型，开发门控模型，该门控模型基于要预测的输入来学习咨询哪个专家，并组合预测。FastMoE使悟道能够并行咨询不同的专家模型，并切换到预测结果最好的模型。例如，如果输入是英文文本，悟道将使用预测模型，该模型可以在英文文本中生成回应。
©️版权声明：除特别注明外，本站所发布的所有文章均为AI一站通原创作品，其版权归AI一站通所有。未经明确授权，任何个人、媒体、网站或团体均不得擅自转载、抄袭或以其他任何形式复制本站内容，亦不得在非AI一站通所属的服务器上设立镜像站点。对于任何违反上述规定的行为，AI一站通将依法保留追究其法律责任的权利。
类似网站
AI一站通收录了国内外数百个不同类型的AI工具，每日更新和添加最新AI工具，AI一站通还推荐了AI学习开发的常用网站、框架和模型，帮助你加入人工智能浪潮，自动化高效完成任务！
Ctrl + D 或 ⌘ + D 收藏本站到浏览器书签栏。
冀ICP备2023003926号-4