1、基于机器学习方法对销售 预测的研究,销售预测现状与痛点,CONTENTS,01,02 销售预测四大步骤03 销售预测基本方法04 销售预测效果评估方法与指标05 某电商网站销售预测案例分享,销售预测全景图供货链条 送货时间、送货 地点、是否包邮 等物流市场营销促销方案 商品减价、商品促 销、组合销售等,生成和采购合理安排生成和采购的时间节点，优化库存库存财务管理财务和会计 实时反馈公司财务报 表，监控公司资金流 动管理,销售预测的现状与痛点销售预测是完善客户需求管理、指导运营、以提高企业利润为最终目的商业问题。而预测的精确性是销售预测的核心痛点。,销售预测的痛点商业环境因素众多，变化极快，难以
2、及时把握和分析供应链整体水平低，导致货物积压严重产品定价、商品服务的单一性，导致企业竞争力小,变化模式,预测的基本思想预测是通过历史数据或其他外部因素构建模型、学习其变化“模式”，利用该“模式”对未来事 物进行预测的一个过程。 特点：短期预测的精度要远远高于长期预测。业务理论,数据量,假设销售预测体系框架,销售预测现状与痛点,CONTENTS,01,02 销售预测四大步骤03 销售预测基本方法04 销售预测效果评估方法与指标05 某电商网站销售预测案例分享,收集数据, ,确定预测对象、预测目标 和需求； 预测周期：短、中和长期 需求与预测精度的权衡,准确性与可解释性的权衡预测目标, ,收集数据
3、、整理指标体系 数据描述与数据探索 数据预处理,评价指标,算法的选择, ,模型的训练与预测 过拟合问题的处理建立建模, ,RMSE、MAPE等定量评价指标 AIC、BIC等模型评价指标,需求,探索,开发,完善,预测的基本步骤,预测目标预测对象：性质、结构、业务场景等 预测时间：短期预测、中期预测和长期预测等,精确性,可解释性,时间,数 据 量,少于5天,大于4周 或1个月,短期预测,长期预测,中期预测,介于两者之间,业务目标：准确性和模型可解释性的匹配度,数据探索对数据检查和理解：比如库存量为负值、星期数大于8等对结果变量的分析：包括分布、趋势性、周期性等对预测变量的分析：包括变量筛选、多重共
4、线性、相关性,数据预处理中心化和标准化缺失值处理：邻近插补、多重插补、线性插补等数据转换：取对数、Box-Cox变换离群点处理数据降维和特征选择：PCA、AIC/BIC等,收集数据或理解数据数据搜集目标数据（内部数据、外部数据）额外数据：天气、经纬度、节假日、CPI指数等,处理之前,处理之后,收集数据或理解数据数据预处理的缺失值部分处理缺失值的两大类方法：（1） 直接删除缺失的预测变量（2） 利用不同的方法对预测变量的缺失值进行插补，插补方法有：均值插补、多重插补、随机插补、K近邻插补、线性插补等。注意：一般对于带有时间戳的时序变量，考虑到变量的时效性和经济因素，通常采用邻近插补法或者线性插补
5、。,一个需要进行数据变换的原因是去除分布的偏度。一个无偏分布是大致对称的分布，这意 味着随机变量落入分布均值两侧的概率大体一致。 数据变换一般有两种方法：,（1） 对数据做变换，如取对数、平方根或倒数 （2） Box-Cox变换,收集数据或理解数据,数据预处理的数据变换部分,销售预测现状与痛点,CONTENTS,01,02 销售预测四大步骤03 销售预测基本方法04 销售预测效果评估方法与指标05 某电商网站销售预测案例分享,主观预测专家法,时间序列指数平滑法自回归移动模型,销售预测的基本方法,机器学习线性回归决策树随机森林xgboost神经网络支持向量回归,时间,销量,销量,时间,根据过 去
6、经验,专家法专家预测法： 由专家根据他们的经验和判断能力对待定产品的未来销售进行判断和预测，通常有三种不同的形式：（1）个别专家意见汇集法（2）专家小组法（3）德尔菲法优点： 简单、快速缺点： 准确率低、受人的主观影响大,指数平滑遵循“重近轻远”原则，对全 部历史数据采用逐步衰减的不等加权办法 进行数据处理的一种预测方法。基本公式：+1 = + (1 )1其中，是时间的时间值；是平滑常数，其取值范围为0, 1。优点：简单、适合趋势预测、模糊预测缺点： 准确率不高、需要趋势性较好的数据,指数平滑法,ARIMA模型是指将非平稳时间序列转化为平稳时间序列，然后将结果变量做自回归（AR） 和自平移（M
7、A）。,自回归移动模型（ARIMA）,训练集测试集,机器学习算法模型参数模型评估,特征筛选预测Y值真实Y值,YX,样本数据销售量影响销售量的因素,机器学习的实现流程使用机器学习的有监督学习对进行销量变化进行建模，依据建模结果来预测未来销量值。其实现流程如下：(X,Y),（4） 模型选择，如随机森林、LASSO等,模型输出,x3,x4,x2,x4,x1x6,x5,x3,x1,x6,x5,特征筛选特征筛选是一类预测变量变换的方法，通过这种方式，能够用更具有信息量的变量来构建模型，排除无信息量的变量的噪声干扰，提高模型稳健性。常用的特征筛选方法：（1） 相关性等统计 阈值过滤（2） 信息增益、信息增
8、益率、基尼系数等 阈值过滤（3） 向前、向后和逐步选择法，如AIC/BIC准则 最小值,原理简介：,通过结果变量与预测变量直接建立线性 关系 数值型回归,优点：,模型可解释性强,线性回归模型：广义线性模型线性模型,随机分布,指数分布、泊松分布等,线性回归 = 0 + 1 1 + 2 2 + + Y为销量值，X为预测变量，N为预测变量个数，为参数激活函数激活函数：sigmod, log函数等,缺点： 只适用于线性规律逻辑回归,原理简介：, ,通过训练数据，形成if-then规则集合 由根节点到叶节点的每一条路径构成规,则 对结果变量有主要解释作用的特征会先,分裂形成规则 回归树用平方误差最小化准
9、则，节结点,为单元内数值的平均值 优点：, 可拟合非线性规律，计算复杂度较低 缺点：容易出现过拟合 ,决策树（回归树）妹纸评分：0,10五官端正,是,否,身材,好,是否有钱,是,9,否,5,3,不好,7,随机森林,原理简介： 是包含多个回归树的组合器 输出的数值是由个别树输出的数值的平均而定 优点： 准确度高 训练速度快 容易做出并行算法 可处理大量变量并评估变量重要性 缺点： 在噪声较大的数据上会有过拟合问题,xgboost,xgboost, + 2 ,xgboost目标函数去掉常数项：,() =,=1,1 2,+ ( ),找到那颗树 ，使得目标函数达到最优即可。,原理简介：, 是基于传统的
10、GBDT上做了一些优化的开源工具包，目前有python,R,Java版。 优点：, 高速准确 可移植，可以自己定义假设函数 可容错,神经网络, = f(X)（非线性映射）原理简介： 是利用一系列非线性回归，将预测变量映射到结果变量的一种方法。 优点： 准确度高 训练速度快 并行处理能力强 缺点： 需要大量的参数 不能观察学习的过程，对结果难以解释,支持向量回归（SVR）,原理简介： 是通过寻求结构化风险最小来提高学习泛化能力，实现经验风险和置信范围最小化，从而达到获得良好统计规律的目的优点： 可以解决小样本情况下的机器学习问题 可以解决高维、非线性问题缺点： 对非线性问题没有通用解决方案，对核
11、函数的选择非常敏感SVR最本质与SVM类似，都有一个margin，只不过SVM的margin是把两种类型分 开，而SVR的margin是指里面的数据不会对回归有任何帮助。,销售预测现状与痛点,CONTENTS,01,02 销售预测四大步骤03 销售预测基本方法04 销售预测效果评估方法与指标05 某电商网站销售预测案例分享,模型评估方法： k 折交叉验证法K折交叉验证法 在k-折交叉验证中，初试数据被划分成k个互不相交的子集或“折”，每个折的大小大致相等。训练和测试k次。在第i次迭代中，第i折用作测试集，其余的子集都用于训练分类法。 准确率估计是k次迭代正确分类数除以初始数据中的样本总数。,数
12、据,S1S2,Sk,测试集,训练集,导出 回归法,评估 精度,模型评估方法： k 折交叉验证法K折交叉验证法 在k-折交叉验证中，初试数据被划分成k个互不相交的子集或“折”，每个折的大小大致相等。训练和测试k次。在第i次迭代中，第i折用作测试集，其余的子集都用于训练分类法。 准确率估计是k次迭代正确分类数除以初始数据中的样本总数。,数据,S1S2,Sk,测试集,训练集,导出 回归法,评估 精度,模型评估方法： k 折交叉验证法K折交叉验证法 在k-折交叉验证中，初试数据被划分成k个互不相交的子集或“折”，每个折的大小大致相等。训练和测试k次。在第i次迭代中，第i折用作测试集，其余的子集都用于训
13、练分类法。 准确率估计是k次迭代正确分类数除以初始数据中的样本总数。,数据,S1S2,Sk,测试集,训练集,导出 回归法,评估 精度,=1(),=1(), =, 2, 其中，为第i个样本的真实值，为第i个样本的预测值，n为样本量。, 有时也用 =,2,来评估回归模型的准确率，与RMSE效果相同。,模型评估指标： RMSE（均方根误差）RMSE 与分类模型不同，回归模型是对连续的因变量进行预测，因此判断回归模型的准确率需要考虑的是预测值与真实值之间差异的大小。,模型评估指标： AIC & BICAIC准则是评估统计模型的复杂度和衡量统计模型拟合优度的一种标准:, = 2ln + 2, 其中L是在
14、相应模型下的最大似然估计值，p是模型的变量个数。 增加变量的数目提高了拟合的优良性，但可能造成过度拟合的情况。AIC鼓励数据拟合的优良性但是尽量避免出现过度拟合（overfitting）的情况。 AIC值越小，模型越好。AIC准则是寻找可以最好地解释数据但包含最少自由参数的模型。, BIC准则是依贝叶斯理论提出的一种模型选择准则。, = 2ln + ln(), 其中L是在相应模型下的最大似然估计值，n是样本量，p是模型的变量个数。 BIC值越小，模型越好。 AIC准则倾向于过拟合，BIC准则倾向于欠拟合，BIC选出的模型相对于AIC的更为精简。,销售预测现状与痛点,CONTENTS,01,02
15、 销售预测四大步骤03 销售预测基本方法04 销售预测效果评估方法与指标05 某电商网站销售预测案例分享,销售预测的企业案例分析项目背景某电商平台主营海外代购业务，由于海外代购物流时间长、发货时间慢等因素导致 该电商平台存在大量库存积压情况，想通过销售预测模型改善安排进货、提高发货速度以及优化库存。,预测某类销量 排行Top20某单 品未来7天的销 量情况,预测目标,1.收集数据: 18个月数据，样本 513，指标72,2.数据探索: 与销量的变量分析 3.数据预处理: 缺失值、Box-Cox变 换、stepBIC等,收集数据,时间序列方法 机器学习算法,应用模型,评估指标 可视化展示,评价指
16、标,收集数据：采集影响商品销量指标维度,6维度 72指标,商品销量指标体系,季节特征（1个）,营销推广（14个）商品优惠 商品抢购商品促销 首页广告 商品分销,商品换货商品退款,商品退货,商品复购用户评价,商品税率商品库存,商品销量商品物流,商品产地商品供货,节假日消费等级,零售价格交易价格,交易税率,用户行为（21个）浏览行为 购物车行为咨询行为 下单行为收藏行为 支付行为,3,2,1 商品信息（10个）,4,价格变化（13个） 5,6,商品品牌 商品质量（13个）,数据探索：节假日与销量关系,节假日变量对销量的影响明显,数据探索：预测变量之间的多重共线性,结论：订单数、订单金额和订单用户数
17、之间相关性较高！需要过滤多重共线性！,模型效果：真实值与预测值对比图,xgboost和随机森林的预测效果较佳，线性回归和ARIMA效果较差,应用模型：xgboost,红色点线：某商品的真实销量 绿色点线： 某商品的预测销量 RMSE（均方根误差）：3.68837,模型评估：RMSE,随机森林：采取的是重抽样，具有自动选择重要特征的功能，无需做特征筛选，在一定程度 上避免了过拟合, xgboost: kaggle比赛上表现卓越的算法之一，从本质上分析是一个集成的决策树，但是可 以让弱回归树集成成强回归树,因此，它们可以在本案例中能够取得的好预测效果,而其他算法： 处于数据的局限性或模型的参数未达
18、到最优，会存在一定的过拟合，导致预测,效果相对,较差,模型总结,基于机器学习的销售预测总结,是场景局限性，机器学习不是万能的；研究的是相关关系，而不是因果关系。是核心，无数据或数据质量低，会影响模型预测效果；是模型选择的先决条件，先数据，后模型。评估需要参考业务对接、预测精度、模型可解释性和产业链整体能力等因素综合考虑；不能简单作为企业利润增加的唯一标准。对建模提供业务理论基础；算法问题要回归到业务问题。,机器 学习数据效果业务,基于机器学习的销售预测展望, 可以尝试使用更复杂的模型来做销售预测，如HMM，深度学习（Long Short-TermMemory网络）等，同时，也需要考虑到模型的可解释性、模型的可落地性和可扩展性、避免“黑箱”预测；, 可以尝试采用混合的机器学习模型，比如GLM+SVR，ARIMA + NNET等； 销售预测几乎是商业智能研究的终极问题，要解决终极问题还有一段路要走。,
