中投网-产业投资专用门户

人工智能研发运营体系助力智能技术规模化应用

来源:人民邮电报 2023-01-19 10:00中投网 A-A+

   人工智能研发运营体系(MLOps)是人工智能(AI)工程化的重要组成,核心是面向AI模型全生命周期建设标准化的生产运营体系,推动模型生产从分散的小作坊模式过渡到规模化有序的工厂流水线模式,帮助组织提升AI落地效率和质量。当前MLOps以提高生产效率为主要目标,已在金融、IT等行业得到较广泛的落地,但组织在建设相关能力时仍存在内驱力不足、工具选型难、模型治理能力缺失等阻碍和问题。未来将通过综合提升MLOps自动化水平和平台化能力,构建更加系统化的模型治理和可信体系,打造更加自治化的MLOps生态,助力智能技术规模化应用。

  MLOps概念渐清晰

  定义内涵逐步清晰。MLOps是一套工程化方法,其连接模型构建团队和业务及运维团队,为AI模型全生命周期建设标准化、自动化、可持续改进的过程管理体系,使组织可规模化、高质效地持续生产AI模型。从管理层面,MLOps是面向人工智能项目的一套全链路管理体系,在该体系中既要加快模型生产速度,又要确保模型的安全性和有效性;从实施层面,MLOps是AI模型规模化生产的一组最佳实践,包括数据工程、特征工程、模型训练、持续集成、持续部署、持续监控、实验管理等,逐步为构建完备的AI基础设施而努力。

  流程步骤逐步明确。AI模型项目生命周期通常包括需求设计、开发、交付和运营几个阶段,MLOps以持续集成、持续部署、持续监控和持续训练为核心,通过流水线的衔接将全生命周期构建成全流程闭环体系。数据工程目标是生产高质量数据,包括对源数据的处理、存储、分析等过程,MLOps在其中解决数据来源繁杂、数据及特征难共享、数据不统一等问题。模型开发目标是高效生产模型,包括模型训练、模型评估、模型选择等过程,MLOps在其中解决实验复现难、实验跟踪繁琐、反复实验成本高等问题。模型交付目标是向业务系统提供模型服务,包括模型集成、模型测试、部署发布等过程,MLOps在其中解决交付周期长、过程追溯难、自动化水平低等问题。模型运营目标是监控和维护模型于最佳状态,包括监控、反馈、更新等过程,MLOps在其中解决数据漂移、内容漂移、模型效果下降等问题。

  国内外MLOps发展百花齐放

  应用落地持续加速,成效显著。国外MLOps起步较早,应用广泛,包括IT、金融、电子商务、医疗、制造业等领域。国内主要集中于IT、金融、电信运营商等科技底座较为扎实的领域,落地场景涉及风控、营销、搜索、视觉识别等诸多细分场景。据咨询公司IDC预测,到2024年将有60%的中国企业通过MLOps来管理其人工智能生命周期。根据中国信息通信研究院调研数据,国内某IT企业通过应用MLOps使得开发周期缩短54%,测试周期缩短67%,人力成本缩减57%;某金融企业通过应用MLOps将模型上线周期从周缩短至天,将模型部署时间从小时级缩短至秒级。

  工具市场持续活跃,种类繁多。咨询机构Cognilytica 2020年研究显示,MLOps市场规模将从2019年的3.5亿美元快速增长到2025年的40亿美元。当前全球MLOps工具丰富多彩,已超过300个,一类是MLOps端到端全流程平台,例如谷歌、微软、亚马逊、百度、华为、DataRobot、Algorithmia、Kubeflow、MLflow等;另一类是MLOps专项工具,对特定步骤提供更为集中的支持,包括数据处理、模型构建、运营监控等,工具能力更细分更丰富,例如Cloudera、DVC、DAGsHub、九章云极DataCanvas、第四范式等。

  我国MLOps落地稳步推进

  近年来,我国MLOps逐步在多个行业得到布局应用。从部署阶段来看,模型开发阶段的应用较为成熟,模型交付阶段的应用多数正在进行中,模型运营阶段的应用多数处于规划过程中。但是,在这个渐进式过程中,MLOps落地仍然存在阻碍和问题。

  第一,落地内驱力不足。绝大多数组织已经认可落地MLOps带来的合规统一、效率提升、安全可信等同业竞争优势,外部驱动力逐渐增强。但是在内部落地时,仍面临内部驱动力不足的困难,主要体现在以下几个方面:一是短期内MLOps价值不明显、投入成本高,使得可行性分析难度增加;二是MLOps技术栈不清晰、组织自有AI能力和规模不确定、目标成熟度模糊,使得技术方案制定困难;三是组织结构固化,自上而下对MLOps认识不一,使得MLOps落地职责界定不清,协作困难。

  第二,工具选型难、集成难。在MLOps工具市场蓬勃发展的现阶段,工具种类繁多、功能复杂,解决某一问题的工具往往有许多个,缺乏统一的能力标准。另外,尽管MLOps 开源工具占多数,但如何使用开源工具,如何将多个工具有效集成和打通,很大程度依赖于组织和人员的技术能力。这使得组织落地MLOps时面临解决方案难决策、平台难选取、工具链难集成等问题,导致难以实现MLOps落地的稳步推进。

  第三,模型治理和可信道阻且长。各业务场景面临的风险大小和模型所需更新频次不同,不同类别模型所需的生产过程和风险等级亦不同。同时,模型面临的风险包括生产过程不可追溯、线上模型效果下降、模型存在偏见、推理结果不可解释、无法审计等。这些问题导致模型治理边界模糊、AI可信落地难,使得组织MLOps硬着陆且信心不足。

  MLOps未来更趋于自治化

  AI产业正在经历前所未有之大变革,通过MLOps提升AI模型生产效率和质量是大势所趋。当前MLOps的实现主要集中在规范化、模块化、自动化、流程化等方向,未来MLOps将朝着自治化的方向发展,围绕全流程自动化水平的提高、工具平台化能力的提升、AI可信治理体系的完善,加速智能技术的规模化应用,提高组织智能化转型的可持续发展能力。

  MLOps流程自动化水平进一步提高。当前诸多MLOps实践过程中自动化水平不高。未来,模型测试、部署发布、监控运营、模型重训等流水线的自动化水平及流水线间的衔接效率将得到进一步提升。同时MLOps将与数据平台、管理平台及各业务平台等高效打通,并与各资产仓库进行有效对接,与各信息系统进行灵活调度,从而实现可持续的人工智能项目全生命周期管理能力和全链路自动化能力,提高组织落地MLOps的内驱力。

  MLOps平台化能力持续提升。随着AI模型越来越多、业务需求越来越复杂,面临工具选型和集成难的问题,MLOps平台化能力将成为趋势,以帮助组织更体系化、更便捷、更灵活、更快速地使用MLOps助力产业升级。Gartner预测,到2026年将有80%的软件工程组织建立平台团队。未来,组织将通过端到端平台工具,或工具链加解决方案的方式,以平台化模式开展更大范围、更大规模的落地。

  可持续发展成为MLOps长期目标。落地MLOps的短期目标通常是提升模型迭代能力及效率,且在诸多组织中得以实现。而长期目标是在效率提升的基础上更多地关注模型安全与风险。通过筑牢AI风险管理防线,提高AI治理能力,构建AI可信体系,为组织生产更加安全、更加可信、更加透明、更加合规、更加稳定、更加负责任的AI,帮助重塑各业务领域,助力组织可持续发展,将是未来持续探索的方向。

十四五将是中国技术和产业升级的关键期,重点机会有哪些?
扫码关注右侧公众号,回复对应关键词,即可免费获取以下报告
中投网版权及免责声明
  • 1、中投网倡导尊重与保护知识产权。如发现本站文章存在版权问题,烦请联系ocn@ocn.com.cn、0755-88350114,我们将及时沟通与处理。
  • 2、凡本网注明"来源:***(非中投网)"的作品,均转载自其它媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责,不对您构成任何投资建议,用户应基于自己的独立判断,自行决定相关投资并承担相应风险。
免费报告
相关阅读
  •   1月6日消息,联想在全球科技展会CES国际消费电子展2023上发布代号为Project Chronos的概念动作捕捉设备,该概念产品的特点是无须通过可穿戴设备便可完...[详细]
    2023年01月09日 09:35联想 动作捕捉设备
  •   当前,人工智能、大数据的比拼已进入底层算力比拼时代。IDC数据显示,2025年全球数据总量预计达到175ZB,中国拥有数据量将达到48.6ZB,位居全球第一。...[详细]
    2023年01月05日 14:13云脉芯联 智能网卡
  •   12月25日,国内首家由中央企业设立的数据产业集团——中国电子数据产业集团在广东深圳正式揭牌成立。随着数字经济的蓬勃发展,数据已成为重...[详细]
    2022年12月30日 13:46政策 数据安全
  •   12月28日,由中国信息通信研究院、中国通信标准化协会指导,隐私计算联盟、中国通信标准化协会大数据技术标准推进委员会联合主办的“2022可信隐私...[详细]
    2022年12月28日 16:47隐私计算
  •   工信部网站12月26日消息,1-11月份,我国软件和信息技术服务业(下称软件业)运行态势平稳向好,软件业务收入增速持续回升,利润总额增长加快,软件业务...[详细]
    2022年12月27日 09:59软件业务
相关报告
大健康产业投资前景预测 大健康产业投资前景预测
热门报告
最新动态政府招商数字化新工具——中投顾问产业招商大脑X