基于大数据技术的线上线下电商用户数据挖掘流程分析
2018年01月26日 | 作者: adminlin | 分类: 企业顾客满意度 |
电子商务的迅猛发展给电商企业带来了海量数据，而这种海量数据能否转化为商业价值取决于电子商务企业是否采用合适的数据挖掘方式和基于海量数据的管理经营方式。文章针对线上线下（Online-to-Offline，O2O）商业模式的用户数据特点，提出了基于大数据技术的O2O用户数据挖掘框架，并描述了其数据挖掘流程。
一、引言
21世纪，电子商务进入了数据爆炸的时代。从电子商务公司的企业内部管理与运营数据，到社交网络产生的海量信息数据等，电子商务产生的数据量呈爆发式发展。用户数据的暴增与数据的社会化在很大程度上模糊了企业数据的边界，这些由用户创造的海量数据远远超越了目前人力所能处理的范畴。IDC研究表明，数字领域存在着1.8万亿GB的数据，企业数据正在以55%的速度逐年增长。“大数据”已成为重要的时代特征。电子商务企业正在经历规模化、多样化、高速化的数据挑战，其数据容量通常以数百TB或者数百PB来计量。庞大的数据量使得数据过载、数据冗余、数据捕获成本快速增长、数据价值不易获得成为电子商务面临的新问题。
O2O电子商务模式，即Online-to-Offline，是一个连接线上用户和线下商家的多边平台商业模式。O2O商业模式将实体经济与线上资源融合一起，使网络成为实体经济延伸到虚拟世界的渠道――线下商业可以到线上挖掘和吸引客源，而消费者可以在线上筛选商品和服务并完成支付，再到实体店完成余下消费。电子商务中用户数据呈每年约60%的增长，企业平均捕获其中25%-30%，但数据的利用一般不足其5%，O2O电商用户数据作为O2O模式下的核心资源的数据价值远未被挖掘。基于此，本文对O2O电商用户数据特征进行了分析，并在此基础上构建基于大数据技术的数据挖掘框架，提出了其数据挖掘流程，以期对O2O电商用户数据挖掘的深度应用做进一步的探讨。
二、 O2O电商用户数据特征分析
相比传统的电子商务数据，O2O用户数据并不仅仅局限于平台数据，即用户在O2O的交易数据，还包括了社交网络、用户移动终端的地理位置等数据。也就是说，O2O电子商务用户数据为在O2O电商日常经营中产生和积累的与用户相关的交易、互动、观测数据。O2O用户数据具有大数据的特征：
1.体量大（Volume）：不少的O2O电商企业每日所产生的用户数据已经达到TB级。在融入了社交网络和移动互联网的O2O电子商务中，O2O用户数据已不仅仅是用户交易数据，它拥有更加广泛的数据源，其数据规模会从TB级跃升到PB甚至是EB级。未来企业会将更多的TB级数据应用于商务智能和商务分析。
2.类型多（Variable）：O2O用户数据类型复杂。它并不仅限于O2O用户基本资料、用户消费记录、电商企业内部业务等海量的结构化和半结构化数据，还包括用户评论等反馈数据、用户O2O平台行为记录、移动终端数据和社交媒体等非结构数据。
3.速率快（Velocity）：O2O模式对用户数据实时处理有着极高的要求：用户数据伴随用户行为产生，这些数据往往是高速实时数据流，例如用户在线下商家的消费情况、用户的地理位置和移动方向等，而且O2O业务周期短，这需要实时的分析用户数据并根据分析结果对用户进行个性化服务，通过传统的数据库查询方式得到的“当前结果”很可能已经没有价值。
4.价值高（Value）：O2O用户数据有着巨大的商业价值。用户是O2O业务的核心，对用户进行预测分析与深度复杂分析，对O2O电商企业无疑有着重大的价值，但庞大而繁杂的不相关用户数据，这也决定了其价值密度低的特性。
三、大数据环境下O2O电商用户数据挖掘框架
由于O2O电商用户数据的4V大数据特征，电商企业并不能运用传统数据分析技术对其进行很好的利用。如何从大数据量、类型复杂的O2O电商用户数据中及时洞察其中价值，将成为O2O电商企业竞争的利器。大数据挖掘成为O2O电商用户数据转化为具有价值知识的重要手段，是通过分析海量数据，从数据海洋中寻找其规律的技术。针对O2O电商用户数据特点，数据挖掘为O2O电商提供更有用的知识，更精确的信息及更及时的响应。基于此，我们提出了一种O2O电商用户数据挖掘框架，如图1所示。
O2O电商用户数据挖掘框架包括数据来源层、数据收集层、数据组织层、数据存储层、数据分析层、数据应用层。其中数据收集、数据组织、数据存储层属于数据挖掘中数据预处理过程（数据准备、数据转化、数据抽取），数据分析层为数据挖掘模型应用。数据应用层采用面向对象方式的数据应用，包括面向O2O平台应用、面向O2O用户应用和面向O2O商家的应用。
四、O2O电商用户数据挖掘流程
O2O电商用户数据挖掘着重解决这样一个问题：在大数据中，分析各用户群体的特点，进而分析用户个人特点，获得有价值的知识，从而获取商业价值。如图2所示，数据挖掘过流程包括：数据收集、数据准备、数据转化、数据抽取、数据抽取、数据挖掘、挖掘应用。
1.数据收集：O2O用户数据源包括O2O平台中的用户数据、社交网络中的用户数据、移动设备中的用户数据等。用户数据以“流”的形式创造，由于三个数据源之间有交互，且其数据内容往往交叉，所以按照交易、互动及观测数据进行分类，然后通过Needlebase等工具在用户消费的过程或其他行为中收集。
2.数据预处理：数据预处理包括了数据准备、数据转化及数据抽取。由于原始数据中有噪声数据、冗余数据及缺失值等，数据准备过程中对数据进行解析、清洗、重构，并填补缺失值以提高待挖掘数据的质量。然后对通过数据准备的非结构化、半结构化的数据处理成机器语言或索引，如自然语言――用户评论、日志资料等――转换成加权逻辑或是模糊逻辑，并且不同的词语映射到标准的值。将结构化数据进行数据过滤，提炼出有意义数据，剔除无效数据以提高分析效率。最后进行数据抽取，即检测数据的相关性和关联性：关联的数据表现出更多的特定用户活动特征，关联的数据本身也可以用于个性化服务，例如从用户购买数据和时间数据的关联性中，可能会发现购买特定商品的频率；数据融合是将相关联的数据连接在一起，形成一个新的商业应用。
3.数据挖掘及应用：在数据挖掘过程中，根据不同的应用需求选择不同的挖掘模型，对数据进行深度挖掘。其中主要模型有：关联规则分析、分类分析、聚类分析等。在当前数据挖掘中，也有一些使用的用户模型，这些的用户模型将人以性别、种族、年龄和兴趣等分类。得到数据挖掘结果后，对其进行解释应用，一般的挖掘应用包括排名与个性化推荐、异常检测、Web挖掘与搜索、大数据的可视化计算与分析等。
数据挖掘通过预测未来趋势及行为，做出前摄的、基于知识的决策。利用数据挖掘进行数据分析常用的方法主要有分类、聚类、关联规则等，它们分别从不同的角度对数据进行挖掘。O2O电商用户数据挖掘的方法主要有关联规则分析、分类与聚类分析、社会网络分析、变化与偏差分析。
五、结束语
电子商务正经历从用户数为王时代到销量为王时代再到现在的数据为王时代。电子商务企业已经意识到，最准确的商务决策来自于事实，即数据支持。这也就意味着，他们需要在内部交易系统的历史信息之外，采用基于数据分析的决策模型和技术支持。通过对O2O电商用户数据深度分析，挖掘出用户的行为特征、消费习惯和兴趣焦点，让O2O电商各方参与者获得具有极大价值的知识。大数据技术的应用必将成为O2O电子商务深入发展的重中之重，也将为其带来巨大的商业价值。
想获取更多信息，或者咨询相关业务可以关注我们的微信公众平台：SMR_gz
或者扫描下面二维码
