Open Format · Deep Learning · 8-Bit/4-Bit Precision
HiFloat: Advanced AI low bit-width floating-point format
HiFloat (HiF8/HiF4/...) 是专为Al计算场景设计优化的高效浮点数据格式,与FP16/BF16和FP8相比,HiFloat在相同硬件约束下提供更高计算效率。
高斯分布随机数量化实验结果,误差表征方法是MSE/SQNR
quantization_error_reduction
−24%
芯片PPA收益在HiF4矩阵算力等于2倍8bit (float8/int8) 格式算力基础下评估
incrementa_chip_area_savings
68%
power_reduction
10%
// HiF4: block floating-point format
- Bit width in average4.5bits/value
- Group Size64
- Special valuesNaN Zero Inf
- FormatE1M2
- Base scaleE6M2
- Dynamic range69binades
- Local dynamic range4.81binades
- Max positive value218× 1.3125
- Min positive value2-50
// HiF8: element-wise floating-point format
- Bit width in average8bits/value
- Group SizeUser-defined
- Special valuesNaN Zero Inf
- FormatDot field
- Base scaleUser-defined
- Dynamic range38binades
- Local dynamic rangeUser-defined
- Max positive value215
- Min positive value2-22
硬件支持
社区活动与会议
社区新闻
共建 HiFloat 生态
25+ partners
学术科研
产业机构
注:按照首字母排序
























