当前位置: 首页 » 资讯 » 新科技 » 正文

大模型时代的数据管理-复旦大学

IP属地 北京 编辑:杨凌霄 爆米花机里的爆米花 时间:2025-01-09 07:00:15

大模型时代的数据管理探讨了数据要素时代数据管理面临的挑战与大模型带来的机遇。随着数字经济发展,数据成为关键生产要素,但传统数据管理方式难以满足需求。大模型为数据管理带来新契机,虽仍面临挑战,但有望推动数据要素价值变现,实现智能化数据管理。

1. 数据要素时代的数据管理挑战

数据成为关键生产要素:数据与土地、劳动力、资本、技术并列成为五大生产要素,对其他要素配置作用显著,数据价值变现需求迫切,但当前数据科学理论与方法难以支撑,数据价值仍缺乏高效激活手段。

数据管理面临诸多难题:数据整合困难,数据科学家大量时间耗费于此;数据治理体系远未形成,存在数据壁垒、法律法规滞后等问题;大数据的统计学、计算和数据挖掘方法基础需重建。

系统和数据日益复杂:现代社会成为人、机、物多元融合的复杂系统,工业系统众多,数据繁杂,数据内涵发生变化,数据科学面临新环境与使命,数据要素具有持续流动、多方主体、开放生态、动态增值等特征,对数据处理技术、权属界定、管理标准和分析方法提出新要求。

2. 大模型时代的智能数据管理机遇与挑战

大模型为数据管理带来新机遇

强大的知识编码与认知能力:大模型是海量参数化知识容器,编码大量通用知识,具备语言理解、逻辑推理等能力,模拟人脑思维,成为自治智能体的大脑,可实现复杂环境自适应,具备全面认知数据能力,包括理解结构化数据和一定的schema理解能力,为自动化数据治理和管理提供可能。

实现端到端价值变现与自动化操控:大模型提供端到端大数据价值变现道路,其Agent可实现自动化数据操控,解放数据运维工作,在数据分析任务中表现出色。

大模型驱动数据管理仍面临挑战

决策应用局限性:大模型难以胜任千行百业的严肃决策应用,存在幻觉现象、缺乏领域忠实度、领域知识匮乏、解题能力有限、难以编辑控制、理解解释困难、评测体系不完善、智能体难以适配场景、成本较高等问题。

理解私域数据和复杂schema困难:通用大模型难以理解私域数据的专业性和私有性,在理解复杂schema方面存在显著不足,需针对专业领域优化。

3. 大模型驱动数据管理实践进展

刷新数据语义认识与摆脱查询语义假设:大模型改变对数据语义的认识,摆脱数据库封闭世界假设,遵循开放世界假设。

实现异构多模态数据价值变现与协同管理:异构、异质、不同模态数据可通过模型学习形成基础模型,关键在于数据对齐;大模型Agent可协同异质数据管理,增强系统适应性和灵活性。

助力数据库系统运维、治理与自然语言交互

智能化运维故障检索:大模型为数据库系统专业化运维故障检索提供价值变现途径,如解决Oceanbase连接数上限和OpenGauss CPU使用率高的问题。

自动化数据治理:数据错误类型多样,大模型可提升数据质量,实现规范化,如GeoFormer框架清洗和规范化地址文本数据,基于大模型实现属性值规范化,纠正错误或补充缺失词组。

自然语言交互:大模型可将自然语言转换为数据库查询语言(如SQL、SPARQL、Cypher等),GPT - 4在数据分析任务中表现接近人类分析师,能缩短分析时间、降低成本。

免责声明:我们尊重知识产权、数据隐私,只做内容的收集、整理及分享,报告内容来源于网络,报告版权归原撰写发布机构所有,通过公开合法渠道获得,如涉及侵权,请及时联系我们删除,如对报告内容存疑,请与撰写、发布机构联系

免责声明:本网信息来自于互联网,目的在于传递更多信息,并不代表本网赞同其观点。其内容真实性、完整性不作任何保证或承诺。如若本网有任何内容侵犯您的权益,请及时联系我们,本站将会在24小时内处理完毕。

全站最新