【M.2智能推理卡】芯茧M.2智能推理卡简介

【M.2智能推理卡】芯茧M.2智能推理卡简介 圈圈虫 2024-12-10 10:06:27 94

简介

芯茧® 人工智能算力卡是 深圳市云集互联生态科技有限公司 推出的基于 AXCL 软件架构的 M.2 2280 计算卡。

使用场景

  • 算力缺乏的 SBC 算力扩充,如 树莓派5香橙派5FireflyRadxa 5 等平台
  • 部分 Intel or AMD 工控机平台进行算力扩充
  • H264/H265 同编同解转码
  • 解决 Hailo8 M.2卡系列国产化替代以及其不能跑大模型、海外技术支持差等客观现象
  • AIPC 场景探路
  • NVRNAS 存量产品智能化升级改造

支持模型

  • 覆盖绝大多数场景的 CNN 模型,针对 YOLO 系列定制优化
  • 高效率原生支持 Transformer 网路结构,硬件实现大尺寸 Softmax、LayerNorm、Matmul、GeLU 等算子
  • 支持多模态模型:CLIP 等
  • 支持开集目标检测检测:OWL-ViT、YOLO-Worldv2 等
  • 支持大模型/多模态大模型:Llama3.2、Gemma2、Qwen2.5/Qwen2-VL、MiniCPM/MiniCPM-V、InternVL2 等
  • 支持音频大模型:Whisper、MeloTTS 等

产品规格

描述
处理器 Octa-corre Cortex-A55@1.7GHz
内存 4GiB or 8GiB,64bit LPDDR4x
存储 16MiB,Nor Flash
NPU 18TOPs@Int8,72TOPs@Int4
支持 CNN、Transformer 模型部署,支持 LLM、VLM 部署
视频编码 H.264/H.265,16路 1080@30fps 编码
视频解码 H.264/H.265,32路 1080@30fps 解码
Host 适配 支持 Intel、AMD、NXP、Xilinx、Raspberry Pi、Rockchip 等
Host 系统 Ubuntu、Debian、CentOS 等
外形尺寸 M.2 2280,M Key
工作电压 3.3 V
整体系统功耗 <8 w

产品图片

AI Benchmark

Vision Model

Models Input Size Batch 1(IPS) Batch 8(IPS)
Inceptionv1 224 1073 2494
Inceptionv3 224 478 702
MobileNetv1 224 1508 4854
MobileNetv2 224 1366 5073
ResNet18 224 1066 2254
ResNet50 224 576 1045
SqueezeNet11 224 1560 5961
Swin-T 224 342 507
ViT-B/16 224 162 207
YOLOv5s 640 326 394
YOLOv6s 640 282 322
YOLOv8s 640 248 279
YOLOv9s 640 237
YOLOv10s 640 298
YOLOv11n 640 860
YOLOv11s 640 305
YOLOv11m 640 114
YOLOv11l 640 87
YOLOv11x 640 41

Audio Model

Models RTF
Whisper-Tiny 0.03
Whisper-Small 0.18
MeloTTS 0.04

LLM

Models Prompt length(tokens) TTFT(ms) Generate(tokens/s)
Qwen2.5-0.5B 128 188 28

VLM

Models Input Image Image Encoder(ms) Prompt length(tokens) TTFT(ms) Generate(tokens/s)
InternVL2-1B 448*448 4200 320 425 29

与 Hailo8L 的性能对比

价位:<600元

其他资料

相关文档

AXCL在线文档
AXCL-Samples

购买方式

  • 淘宝
  • 通过易百纳的小编联系我

我个人希望易百纳社区也做一款更符合易百纳社区用户群体的版本,例如尺寸更小的 M.2 2260 或者其他算力模组形态

声明:本文内容由易百纳平台入驻作者撰写,文章观点仅代表作者本人,不代表易百纳立场。如有内容侵权或者其他问题,请联系本站进行删除。
红包 点赞 收藏 评论 打赏
评论
0个
内容存在敏感词
手气红包
    易百纳技术社区暂无数据
相关专栏
置顶时间设置
结束时间
删除原因
  • 广告/SPAM
  • 恶意灌水
  • 违规内容
  • 文不对题
  • 重复发帖
打赏作者
易百纳技术社区
圈圈虫
您的支持将鼓励我继续创作!
打赏金额:
¥1易百纳技术社区
¥5易百纳技术社区
¥10易百纳技术社区
¥50易百纳技术社区
¥100易百纳技术社区
支付方式:
微信支付
支付宝支付
易百纳技术社区微信支付
易百纳技术社区
打赏成功!

感谢您的打赏,如若您也想被打赏,可前往 发表专栏 哦~

举报反馈

举报类型

  • 内容涉黄/赌/毒
  • 内容侵权/抄袭
  • 政治相关
  • 涉嫌广告
  • 侮辱谩骂
  • 其他

详细说明

审核成功

发布时间设置
发布时间:
是否关联周任务-专栏模块

审核失败

失败原因
备注
拼手气红包 红包规则
祝福语
恭喜发财,大吉大利!
红包金额
红包最小金额不能低于5元
红包数量
红包数量范围10~50个
余额支付
当前余额:
可前往问答、专栏板块获取收益 去获取
取 消 确 定

小包子的红包

恭喜发财,大吉大利

已领取20/40,共1.6元 红包规则

    易百纳技术社区