智能化业务建模工具,让小白变挖掘大师

智能化业务建模工具,让小白变挖掘大师

首页休闲益智挖掘大师更新时间:2024-05-09

在运营商市场营销领域,运用数据挖掘建模技术计算出目标客户的营销特征、利用标签属性帮助运营商进行客户洞察,助力运营商实现精准营销由来已久。近年来,随着海量数据存储、分布式计算、实时计算、机器学习、深度学习等技术的发展和数据挖掘方法的成熟应用,传统基于统计学理论和业务经验的营销手段几乎完全被大数据分析建模下的精准营销取代。


同时,在运营商精耕市场、精细化管理、提升服务的各个方面,也越来越多地看到构建数据挖掘模型的应用场景。大数据技术和AI智能应用呈现出越来越重要的基础支撑作用。

问题产生:数据挖掘建模过程中不可忽视的问题

在数据挖掘技术和工具被广泛使用的同时,其专业性和技术性的高门槛也逐渐显露出来。传统挖掘建模平台的使用无一不附加了较高的人力成本,每一个模型的构建都离不开数据工程师、数据科学家和业务分析师的共同参与协作。面对瞬息万变的市场环境,传统的建模平台和建模方式已无法满足灵活多变的营销活动需求。

数据准备工作繁琐

数据挖掘过程中,数据准备是一项基础却不可或缺的工作,不同的专题对应不同的数据输入,而传统数据建模工具不具备灵活的数据拉取和数据构建能力,建模前都需要依赖专业的数据人员整合多源数据,再进行导入导出,整个工作耗时长、技术门槛高。

人员沟通成本高,风险大

建模全过程都离不开数据挖掘工程师与业务人员的协作,数据分析师需要理解业务设计人员的业务目标,将业务理解转化为数据理解,在数据准备、数据开发和最终的结果呈现过程中,业务人员需要不断将业务理解和需求传递给数据挖掘工程师,沟通成为建模应用过程中不容小觑的成本支出,同时也是最终模型是否精准对标营销目标的最大风险。

建模周期长,无法响应时效性强且多变的营销目标

在繁琐的数据准备和人员沟通过程下,不可避免会带来较长的建模周期,在对业务熟悉的设计人员配合下,从数据采集、清洗,到整合、训练、生成模型,通常需要14-17天;而面对业务多元化、产品多样化、用户行为千变万化的市场形态,这样的挖掘建模及应用周期是无法及时响应需求的。

以上问题的本质,在于传统数据挖掘分析工具只为数据工程师服务,而对业务目标的理解仅停留在他们的头脑中,并依赖于业务设计师的传递。

针对运营商精准营销,解决这些难题和困境的无疑是一款能够帮助业务人员快速、独立地为业务场景开发模型并生成结果的平民化工具

破解之道:智能业务化建模,用极简的方式为用户带来极智的体验

鲸智业务化建模工具作为鲸智平台中面向最终使用者的工具产品,通过将专业性操作和数据处理技术封装到强大的后台处理系统,呈现给用户业务理解简单、功能操作简练的界面交互,将过去要多人协作才能完成的数据挖掘模型构建变成了无技术门槛、易实现、快见效的普通业务操作过程。

1

数据准备无缝对接模型训练,实现一体式数据挖掘

优化的“工程-流程-组件”框架构建一体式数据挖掘环境

智能化业务建模平台以“工程-流程-组件”三级构建框架为用户提供了操作便捷化、组件智能化、流程自动化的一体式数据挖掘环境,使用者在集中化的工具平台环境中,一次性完成数据准备、模型训练和模型应用。

工程:用项目管理的思想帮助使用者基于业务场景定制数据挖掘模型及应用实例。系统则以项目工程构建实施的方式,通过系统内置的业务流程实现用户的业务诉求。

流程:每一项工程实例都包含业务输入、数据源编排、模型训练、模型调参、优化、输出全流程,用户基于业务场景目标通过简单易操作的界面完成流程中的配置环节,如通过勾选进行场景化的数据编排,构建模型训练数据;系统通过调用各类组件完成专业性的数据构建及建模处理全过程的功能实现。

组件:系统组件除了来自于对数据表、指标的原子化和组件化,同时也包含了算法、自动调参、数据处理、特征筛选等核心的功能性组件。在数据构建和模型训练应用的流程中,组件化设计可以做到很好的功能重用和整体架构优化。

无缝接入数据准备全过程:基于业务视角的智能视图实现数据融合,提升数据准备效率,降低人工操作复杂度

智能视图基于“oneID”理念实现数据融合,帮助用户快速构建用于训练的数据。前端,用户基于业务视角实现不同场景下的数据编排;后台则通过数据融合引擎,解决数据融合过程的效率问题。数据融合引擎的工作原理是将需要整合的库表数量和任务预估耗时作为基本评估要素,结合智能任务分片计算,运用合并树的贪心算法得到宽表合并最优路径。即智能地将小表合并为多个合适的,整体成本最优的中间大宽表。从而使数据编排性能提升十倍以上。

2

训练建模全过程,于无声处为业务人员完成AI赋能

智能挖掘建模的工作过程,是将业务场景通过数据来描述,并运用工具实现数据的融合、编排,通过机器学习、深度学习等人工智能算法进行数据挖掘建模,最终得到业务场景下的数据结果。其本质是通过实现业务场景的关联、从而实现对复杂业务场景的描述和理解,并通过数据作为载体,获取到复杂业务场景下深层次的信息和业务规律,而这一过程始终让业务人员屏蔽在深奥的专业技术操作之外。

特征字段选择,用户零干预也能做到最优

特征字段的选择会影响到建模的效率和模型的准确度。对于业务熟练和对数据理解深入的业务人员,可以凭借业务经验选择出合适的特征字段,但不断产生的新业务仍然让业务人员对特征值的选择伤透了脑筋。同时,为了保障建模过程中每一个细节都处理得严谨和科学,系统封装了多种数据处理方法和特征筛选策略,实现特征字段的自动化选择,无需用户干预。

例如:利用K-SIGMA异常检测、线箱图异常检测等技术,针对性地对原始用户数据进行归一化处理、降维、删除等操作;在特征筛选策略方面,主要采用了主成分分析、基于增益率的属性筛选、基于卡方检验的属性筛选等策略。

用户无需干预,且可以通过系统算出的特征权重排名看到科学计算方法下的特征字段选择。下图展示了在对APP外卖骑手进行精准圈定的模型训练中,通过相关性算法得出的TOP10特征字段。

“开放式算法库 算法自评估”,不用懂算法,也能出最好的模型

在模型训练过程中,系统从开放式算法库中选取同类多个算法并行训练,不同的算法基于不同的参数组合构建训练实例,每个训练实例分别部署在不同的节点上,拉取相同的数据进行分布式学习训练。

在学习训练之后的检验测试环节,系统针对不同算法训练出的模型分别计算出混淆矩阵指数,以及准确率、召回率、F1值、训练耗时等衍生指标,用户可结合模型应用场景选择准确率或召回率作为第一参考指标,或对以上指标进行综合评估(主要取决于营销活动的场景侧重于覆盖面还是准确度,同时也会考虑活动投入的成本和资源等因素)。

模型训练-应用迭代优化机制,实现自动的动态调优

在模型构建和应用的全流程中,采用模型自动闭环优化机制,数据编排一次完成将上月生产数据用于训练,生成的模型应用到本月的营销生产中,同时,上月中营销生产的结果数据更新到对应的数据表,失败数据得以修正。一方面,省却业务人员每个账期进行数据编排拉取的繁琐;另一方面,保障输入到训练建模流程中是最新的营销结果数据。这种自动化的回归验证机制极大地提升了模型的准确度。

3

精确触达用户的用数场景

鲸智业务化建模平台不仅通过强有力的后台支撑完成数据挖掘建模全过程,实现用户零干预式的数据智能发掘,同时也从用户视角考虑周全用数的场景,完成直接触达数智成果体验的“最后一公里”使命。

客户群输出方式多样化,满足个性化使用场景

鲸智业务化建模平台在最终输出目标数据结果集的时候,充分考虑到业务人员对目标结果应当拥有更加灵活的处理方式。因此,创新性采用了多种交互式方式:

交叉属性条件过滤:用户通过对多个分类属性进行交叉计算,过滤输出的结果集。适用于分类属性对营销目标影响差异度大的场景。
概率筛选:用户通过调整目标分类的概率值,根据概率区间下的结果集数量确定需要采纳的结果集。适用于需要考虑营销成本和资源的场景。
自定义规模调整:用户调节指定目标及概率,结合目标结果集的各项属性进行自定义结果集的选取。适用于将分类属性和营销成本综合考虑的场景。

使用置信度曲线,最佳概率区间一目了然

用户在使用模型进行推理完成后,系统提供“营销成功可能性-目标客户数”分布图(置信度曲线),让用户对最佳概率区间一目了然,从而选取最合适的概率区间,确定最终的数据结果集。

鲸智业务化建模平台开篇之作:江苏移动醍醐智能标签系统

醍醐智能标签系统是江苏移动运用鲸智业务化建模平台构建的核心生产系统,冠以“醍醐”之名,寓意为给市场营销一线注入智慧。醍醐智能标签系统让江苏移动业务人员可以快速、独立地进行建模应用,支撑一线市场营销,该项目获得江苏省移动公司2019创新二等奖,移动集团2020一季度创新奖。

在构建醍醐智能标签平台之前,经分室的业务设计人员需要先根据营销活动目标提需求给数据运营组,由数据人员进行数据导入,模型构建和结果输出;过程周期通常需要7—14天。醍醐智能标签平台集成了数据取数、数据构建、模型训练和应用结果输出全过程,业务设计人员通过简单的配置环节,一键生成结果,全程最多不超过2天,成熟业务应用下的模型构建只需4—8小时训练时长。

应用中除了无技术门槛,易操作的特点,在模型的准确度方面也能达到较好的水平。以5G套餐挖掘应用为例:

• 模型的查全率和查准率均在75%以上

• 实际外呼测试,转化率在8.63%,明显高于通常的5%概率水平。

鲸智业务化建模平台目前在江苏移动部分分公司实际应用,除了帮助广大业务设计人员快速生成智能的挖掘营销标签,同时,应用厂家逐步从个人市场营销拓展到家庭、政企市场支撑、客服服务提升、网络投资决策等领域。

价值创新,不断打磨,止于至善

只有给客户带来价值的产品才是最好的产品,鲸智业务化建模平台秉承这样的价值观实现了应用场景的突破,刷新了数据挖掘工具的体验方式,解决了客户在使用数据智能能力过程中的难题。

数据智能从科学技术角度来看,是一个极具专业性的领域;而从应用角度来看,却是一项在各个行业领域都很重要的基础能力。作为新基建,数据智能与传统基础设施具有共同的特点:服务型,支撑性,但数据智能的抽象性和数据处理的专业度和技术性,又给使用他们的对象带来不小的难度,只有通过从用户视角进行规划和设计,降低使用门槛,让使用者使用数据智能就像打开水龙头、调节电源开关一样简单,才能使产品价值在触达用户的那一刻得以完全体现。

“工欲善其事必先利其器”,数据智能产品的设计者和开发者,正是在用匠心和匠人精神,不断锤炼数据智能产品。鲸智业务化建模平台将从以下三个方面实现新的突破:

让业务化建模平台在用户手里实现能力的平滑提升

算子是用于数据挖掘过程中必不可少的封装组件,例如数据导入算子、清洗算子、统计算子、算法算子等。通过优化工具的组件架构,标准化算子的接入规范,让使用者像补给弹药一样为鲸智业务化建模平台在线扩充算子。这种灵活的在线算子扩充能力将帮助使用者随时根据需要构建更多场景下的数据挖掘模型。

具备支撑更大规模应用的能力

目前,鲸智业务化建模平台设计为省级运营商的应用规模。对于更大规模下的应用,如集团化部署,集中使用的场景,则需要考虑引入容器化的资源调度,通过计算资源规格的调度策略化,提升计算资源的使用率和计算实例的横向扩展性,降低资源建设的成本。

提升模型生成和应用的开放程度,使业务化建模平台具有更强的兼容性和通用性

兼容性和通用性将增强业务化建模平台与外部平台的交互能力,从而拓展业务化建模平台的使用场景。通过开放模型仓库,标准化模型应用的接入规范,可以将外部的模型纳入到业务化建模平台中进行训练和应用;同时,加强模型的迁移性,通过开放模型仓库对外提供模型的共享使用。

查看全文
大家还看了
也许喜欢
更多游戏

Copyright © 2024 妖气游戏网 www.17u1u.com All Rights Reserved