当前位置: 首页 » 资讯 » 新科技 » 正文

深圳乐行申请基于模型拓印的垂类大模型生成方法专利,降低大模型的复杂度并提高精度

IP属地 北京 编辑:周伟 金融界 时间:2024-09-30 18:42:13

2024年9月30日消息,国家知识产权局信息显示,深圳乐行智慧产业有限公司申请一项名为“基于模型拓印的垂类大模型生成方法、平台及存储介质”的专利,公开号 CN 118709735 A,申请日期为2024年7月。

专利摘要显示,本发明涉及模型学习技术领域,更具体涉及基于模型拓印的垂类大模型生成方法、平台及存储介质。所述方法包括:步骤S1:将多个开源模型中性能最好的开源模型作为第一模型;步骤S2:基于预设领域的第一数据集对第一模型进行训练,调整第一模型的权重进行调整,并基于第一模型及第一数据集生成第二数据集;步骤S3:通过知识蒸馏训练第二模型,并根据第二数据集中第j数据对应的第输出结果与将第j数据输入第二模型输出的第输出结果,调整第二模型的权重;步骤S4:根据第二模型隐藏层的位置及神经元数量来压缩第二模型。本发明解决了大模型复杂度高且精度不高的问题,降低了大模型的复杂度并提高了精度。

免责声明:本网信息来自于互联网,目的在于传递更多信息,并不代表本网赞同其观点。其内容真实性、完整性不作任何保证或承诺。如若本网有任何内容侵犯您的权益,请及时联系我们,本站将会在24小时内处理完毕。

全站最新