字节最新深度思考模型,在数学、代码等多项推理任务中超过DeepSeek-R1了?而且参数规模更小。
对比DeepSeek-R1的671B总参数和37B激活参数,可以算得上轻量级了。
字节Seed团队聚焦大规模强化学习,并从三个角度提升了推理表现:数据、RL算法和RL基础设施。
从数据开始说起,字节团队把RL训练数据分为两个部分,具有明确答案的可验证问题和没有明确答案的不可验证问题,采用不同的奖励建模方法。
可验证问题包括问题与答案配对的STEM问题、附带单元测试的代码问题,以及适合自动验证的逻辑推理问题(24点、迷宫、数独等)。
不可验证问题主要包括根据人类偏好评估的非推理任务,如创意写作、翻译、知识QA、角色扮演等。
对于不可验证问题,字节团队丢弃了样本分数方差低、难度低的数据。此类数据可能过于简单或已在数据集中大量表示。离线实验表明,过度优化此类样本会导致模型的探索空间过早崩溃并降低性能。
当前的推理模型通常使用AIME作为评估数学推理能力的首选基准,但该基准每年只发布30个问题,有限的规模可能会导致高方差的评估结果,难以有效区分最先进的推理模型。
字节与数学专家合作,根据既定的比赛形式开发原创问题。通过结构修改和情景重新配置来系统地调整现有的比赛问题,确保不会发生直接重复。此外还确保答案不是容易猜的数值(例如问题陈述中明确提到的数字),以减少模型在没有适当推理的情况下猜出正确答案的机会。
针对这个问题,团队提出了VAPO和DAPO两个RL框架,分别从基于价值和无价值的RL范式出发来稳定训练。
此外,在Seed-Thining-v1.5中,还借鉴了之前学术界工作中的很多关键技术:
在Long-CoT生成过程中,字节团队观察到各种提示词之间的响应长度差异较大,在生成过程中出现大量GPU空闲时间。
为了缓解长尾响应生成的滞后问题,提出了SRS(流式Rollout系统),一种资源感知型调度框架,可战略性地部署独立的流式计算单元,将系统约束从内存绑定转换为计算绑定。
为了有效地大规模训练,团队还设计了一个混合分布式训练框架,集成高级并行策略、动态工作负载平衡和内存优化:
并行机制:将TP (张量并行)/EP (专家并行)/CP (上下文并行)与全分片数据并行 (FSDP) 组合在一起,具体来说,将TP/CP 应用于注意力层,将EP应用于 MoE 层。序列长度平衡:DP等级之间的有效序列长度可能不平衡,导致计算工作量不平衡和训练效率低下。利用KARP算法在一个mini-batch内重新排列输入序列,使它们在micro-batch之间保持平衡。内存优化:采用逐层重新计算、激活卸载和优化器卸载来支持更大micro-batch的训练,以覆盖FSDP引起的通信开销。自动并行:为了实现最佳系统性能,开发了AutoTuner 自动调整系统,按照基于配置文件的解决方案 对内存使用情况进行建模。然后估计各种配置的性能和内存使用情况以获得最优配置。检查点:使用ByteCheckpoint支持从不同的分布式配置中以最小的开销恢复检查点,弹性训练以提高集群效率。
Seed-Thinking-v1.5在SimpleQA上的表现不太理想。但团队认为,该基准测试预训练模型规模的相关性更强,而不是考验推理能力。
从技术报告的口径来看,该模型与目前豆包中的Doubao-1.5 Pro并不是一回事。
但从作者名单看,这是由字节Seed团队负责人吴永辉带队,主要成员都参与的大项目。
精神文明工作取得“大丰收”。深入学习贯彻《公民道德实施纲要》,积极配合开展星级文明城市竞赛活动,结合保持共产先进性教育活动,开展了机关作风“三优、一满意”活动及文明单位、文明行业、文明窗口的创建活动,涌现出一大批先进单位和个人,其中房屋产权交易登记中心被团市委授予“青年文明号”称号;园林处被评为“年自治区五四红旗团委标兵”;系统有两名参加了“乌海十大杰出青年”的评选;市建委系统被自治区党委、政府、军区联合授予“文明单位”称号。充分发挥人大、政协的参政议政作用,认真办理人大建议和政协提案,圆满办结了市人大建议件,市政协提案件,被市委、市政府、市人大、市政协评为五届人大政协建议提案办理先进单位。
04月08日,Keep与OPPO达成战略合作,智能硬件+AI大模型赋能运动健康领域,
而且,他还曾遭血貂、以及以金属为食物的可怕鼠王的袭杀,创伤不轻,令身体虚弱了很多,致使毒素加速扩散,难以遏制。
“大娘……”小不点仰着小脸,挂满泪水,伸出一双小手,带着哀求,想要减轻这种剧痛。
“快看,那里有一条怪蛇,怎么一个头,两个身体?”小布袋内扯了扯一位师兄的袖子,示意朝前看。
04月08日,中央精神文明建设办公室发布2024年第三季度“中国好人榜”,
有人下了命令,暂时将小不点困住了,他们派出一队人马,要去解救被俘的强者。
毛球比划,那意思像是说,给你补身体。事实上是,它自己的口水已经哗哗地了,都落在了独角兽的背上。
近年来,我镇精神文明建设取得显著成绩,但也存在不少问题,一些村的黄赌现象时有发生。在民主与法制建设方面,存在一些薄弱环节,社会治安尚不尽人意,有的村干部民主意识不浓,法制观念淡薄,因而严重挫伤了群众的积极性,影响了党群干群关系。要彻底改变这一状况,必须加强对村干部的教育培训,加强政策法制教育,全面理解领会各项方针政策和法律要求,进一步增强执行政策和法律的自觉性和严肃性,从而发挥村居干部的模范带头作用,促进社会风气的好转,为我镇的改革和发展创造良好的环境。
新闻信息服务许可证音像制品出版许可证广播电视节目制作经营许可证网络视听许可证网络文化经营许可证
@BETHASH6