技术专栏
【M.2智能推理卡】芯茧M.2智能推理卡简介
简介
芯茧® 人工智能算力卡是 深圳市云集互联生态科技有限公司 推出的基于 AXCL 软件架构的 M.2 2280 计算卡。
使用场景
- 算力缺乏的 SBC 算力扩充,如 树莓派5、香橙派5、Firefly、Radxa 5 等平台
- 部分 Intel or AMD 工控机平台进行算力扩充
- H264/H265 同编同解转码
- 解决 Hailo8 M.2卡系列国产化替代以及其不能跑大模型、海外技术支持差等客观现象
- AIPC 场景探路
- NVR、NAS 存量产品智能化升级改造
支持模型
- 覆盖绝大多数场景的 CNN 模型,针对 YOLO 系列定制优化
- 高效率原生支持 Transformer 网路结构,硬件实现大尺寸 Softmax、LayerNorm、Matmul、GeLU 等算子
- 支持多模态模型:CLIP 等
- 支持开集目标检测检测:OWL-ViT、YOLO-Worldv2 等
- 支持大模型/多模态大模型:Llama3.2、Gemma2、Qwen2.5/Qwen2-VL、MiniCPM/MiniCPM-V、InternVL2 等
- 支持音频大模型:Whisper、MeloTTS 等
产品规格
描述 | |
---|---|
处理器 | Octa-corre Cortex-A55@1.7GHz |
内存 | 4GiB or 8GiB,64bit LPDDR4x |
存储 | 16MiB,Nor Flash |
NPU | 18TOPs@Int8,72TOPs@Int4 |
支持 CNN、Transformer 模型部署,支持 LLM、VLM 部署 | |
视频编码 | H.264/H.265,16路 1080@30fps 编码 |
视频解码 | H.264/H.265,32路 1080@30fps 解码 |
Host 适配 | 支持 Intel、AMD、NXP、Xilinx、Raspberry Pi、Rockchip 等 |
Host 系统 | Ubuntu、Debian、CentOS 等 |
外形尺寸 | M.2 2280,M Key |
工作电压 | 3.3 V |
整体系统功耗 | <8 w |
产品图片
AI Benchmark
Vision Model
Models | Input Size | Batch 1(IPS) | Batch 8(IPS) |
---|---|---|---|
Inceptionv1 | 224 | 1073 | 2494 |
Inceptionv3 | 224 | 478 | 702 |
MobileNetv1 | 224 | 1508 | 4854 |
MobileNetv2 | 224 | 1366 | 5073 |
ResNet18 | 224 | 1066 | 2254 |
ResNet50 | 224 | 576 | 1045 |
SqueezeNet11 | 224 | 1560 | 5961 |
Swin-T | 224 | 342 | 507 |
ViT-B/16 | 224 | 162 | 207 |
YOLOv5s | 640 | 326 | 394 |
YOLOv6s | 640 | 282 | 322 |
YOLOv8s | 640 | 248 | 279 |
YOLOv9s | 640 | 237 | |
YOLOv10s | 640 | 298 | |
YOLOv11n | 640 | 860 | |
YOLOv11s | 640 | 305 | |
YOLOv11m | 640 | 114 | |
YOLOv11l | 640 | 87 | |
YOLOv11x | 640 | 41 |
Audio Model
Models | RTF |
---|---|
Whisper-Tiny | 0.03 |
Whisper-Small | 0.18 |
MeloTTS | 0.04 |
LLM
Models | Prompt length(tokens) | TTFT(ms) | Generate(tokens/s) |
---|---|---|---|
Qwen2.5-0.5B | 128 | 188 | 28 |
VLM
Models | Input Image | Image Encoder(ms) | Prompt length(tokens) | TTFT(ms) | Generate(tokens/s) |
---|---|---|---|---|---|
InternVL2-1B | 448*448 | 4200 | 320 | 425 | 29 |
与 Hailo8L 的性能对比
价位:<600元
其他资料
相关文档
购买方式
- 淘宝
- 通过易百纳的小编联系我
我个人希望易百纳社区也做一款更符合易百纳社区用户群体的版本,例如尺寸更小的 M.2 2260 或者其他算力模组形态
声明:本文内容由易百纳平台入驻作者撰写,文章观点仅代表作者本人,不代表易百纳立场。如有内容侵权或者其他问题,请联系本站进行删除。
红包
点赞
收藏
评论
打赏
- 分享
- 举报
评论
0个
手气红包
暂无数据
相关专栏
-
浏览量:7716次2022-10-10 20:15:42
-
浏览量:3865次2022-03-17 09:01:00
-
浏览量:6270次2022-01-14 14:11:30
-
浏览量:1654次2018-03-20 18:54:26
-
浏览量:1960次2020-07-30 19:17:28
-
浏览量:3090次2021-06-15 09:44:15
-
浏览量:1916次2020-09-23 16:32:22
-
浏览量:5113次2021-07-29 11:53:53
-
浏览量:2656次2022-02-10 09:00:36
-
浏览量:5044次2022-05-10 11:01:46
-
2021-01-16 14:38:27
-
浏览量:33164次2022-06-11 11:06:24
-
浏览量:2540次2022-02-25 15:20:03
-
浏览量:5709次2021-05-11 17:35:27
-
浏览量:3484次2022-02-13 09:00:15
-
浏览量:1499次2023-04-12 18:59:36
-
浏览量:1828次2023-04-12 19:12:22
-
浏览量:2334次2018-05-27 16:57:10
-
浏览量:1581次2023-04-14 10:20:01
置顶时间设置
结束时间
删除原因
-
广告/SPAM
-
恶意灌水
-
违规内容
-
文不对题
-
重复发帖
打赏作者
圈圈虫
您的支持将鼓励我继续创作!
打赏金额:
¥1
¥5
¥10
¥50
¥100
支付方式:
微信支付
打赏成功!
感谢您的打赏,如若您也想被打赏,可前往 发表专栏 哦~
举报反馈
举报类型
- 内容涉黄/赌/毒
- 内容侵权/抄袭
- 政治相关
- 涉嫌广告
- 侮辱谩骂
- 其他
详细说明
审核成功
发布时间设置
发布时间:
请选择发布时间设置
是否关联周任务-专栏模块
审核失败
失败原因
请选择失败原因
备注
请输入备注