[导读]北京2024年8月23日 /美通社/ -- 近日，海潮信息发布源2.0-M32年夜模子4bit和8bit量化版，机能比肩700亿参数的LLaMA3开源年夜模子。4bit量化版推理运行显存仅需23.27GB，处置每token所需算力约为1.9 GFLOPs，算力耗损仅为划一当量年夜模子L...

北京2024年8月23日 /美通社/ -- 近日，海潮信息发布源2.0-M32年夜模子4bit和8bit量化版，机能比肩700亿参数的LLaMA3开源年夜模子。4bit量化版推理运行显存仅需23.27GB，处置每token所需算力约为1.9 GFLOPs，算力耗损仅为划一当量年夜模子LLaMA3-70B的1/80。而LLaMA3-70B运行显存为160GB，所需算力为140GFLOPs。

源2.0-M32量化版是"源"年夜模子团队为进一步提高模算效力，下降年夜模子摆设运行的计较资本要求而推出的版本，经由过程采取领先的量化手艺，将原模子精怀抱化至int4和int8级别，并连结模子机能根基不变。源2.0-M32量化版提高了模子摆设加载速度和多线程推理效力，在分歧硬件和软件情况中均能高效运行，下降了模子移植和摆设门坎，让用户利用更少的计较资本，就可以获得源2.0-M32年夜模子的壮大能力。

源2.0-M32年夜模子是海潮信息"源2.0"系列年夜模子的最新版本，其立异性地提出和采取了"基在留意力机制的门控收集"手艺，构建包括32个专家（Expert）的夹杂专家模子（MoE），模子运行时激活参数为37亿，在业界主流基准评测中机能周全对标700亿参数的LLaMA3开源年夜模子，年夜幅晋升了模子算力效力。

模子量化（Model Quantization）是优化年夜模子推理的一种主流手艺，它显著削减了模子的内存占用和计较资本耗损，从而加快推理进程。但是，模子量化可能会影响模子的机能。若何在紧缩模子的同时保持其精度，是量化手艺面对的焦点挑战。

源2.0-M32年夜模子研发团队深切阐发当前主流的量化方案，综合评估模子紧缩结果和精度损掉表示，终究采取了GPTQ量化方式，并采取AutoGPTQ作为量化框架。为了确保模子精度最年夜化，一方面定制化适配了合适源2.0-M32布局的算子，提高了模子的摆设加载速度和多线程推理效力，实现高并发推理；另外一方面临需要量化的中心层（inter_layers）进行了严酷评估和挑选，肯定了最好的量化层。从而成功将模子精怀抱化至int4和int8级别，在模子精度几近无损的条件下，晋升模子紧缩结果、增添推理吞吐量和下降计较本钱，使其更容易在摆设到移动装备和边沿装备上。

评测成果显示，源2.0-M32量化版在多个业界主流的评测使命中机能表示凸起，特殊是在MATH（数学比赛）、ARC-C（科学推理）使命中，比肩具有700亿参数的LLaMA3年夜模子。

总之，源2.0-M32年夜模子量化版在连结推理机能的条件下，显著下降了计较资本耗损和内存占用，其采取的GPTQ量化方式经由过程邃密调剂，成功将模子适配至int4和int8精度级别。经由过程定制化算子优化，源2.0-M32量化版实现了模子布局的深度适配和机能的显著晋升，确保在分歧硬件和软件情况中均能高效运行。将来，跟着量化手艺的进一步优化和利用场景的拓展，源2.0-M32量化版有望在移动装备和边沿计较等范畴阐扬更普遍的感化，为用户供给更高效的智能办事。

上海2024年8月23日 /美通社/ -- 近日，富士胶片第二十七届戈壁绿化步履再度出发，由富士胶片（中国）投资有限公司（以下简称 富士胶片（中国） ）工会倡议，工会会员和联系关系公司员工构成的戈壁绿化志...

6月25日，HKCERT公布全新“中国香港收集平安变乱调和中间”并进行启动仪式，新名称更能彰显HKCERT的办事主旨和规模，借以晋升中国香港各界，特殊是中小企和市平易近对HKCERT的熟悉。