亿安天下面向大语言模型的跨GPU并行推理方法及系统专利获授权_企业

天眼查APP显示，北京亿安天下科技股份有限公司申请的“面向大语言模型的跨GPU并行推理方法及系统”专利获授权。摘要显示，本发明涉及数据处理技术领域，具体涉及面向大语言模型的跨GPU并行推理方法及系统。该方法对于已经执行过的历史微批次进行信息统计以及特征提取，确定每个批次在执行过程中产生的预期处理时间与计算执行时间之间的性能偏离量。结合连续多个历史微批次构建多阶段偏移量矩阵，确定历史微批次下的波动模式以及波动强度。采用预测风险的方法确定每个历史微批次下推理系统的状态相对于未来微批次的风险。根据最近的历史微批次的各项基础信息以及风险信息进行时间模拟，实现准确的流水线排空预测。本发明通过对历史微批次的数据提取以及特征分析，确定GPU的协同波动模式之后进行有效的风险预测，实现了对预填充微批次的有效执行时间预测。