1、技术架构技术架构总览业务框架 技术方案 运营监控 治理 安全防范接入层前后台分离 动静分离 预处理 业务量监控 流量切换 Https接入接口层 服务网关，路由分发业务链 黑白名单微服务 /组件 MQ API SLA 灰度订单服务层 Oauth认证产品 异步 /离线 MapReduce日志收集 隔离/ 降级资源 Hystrix熔断SSO AI供应商 调用栈 安全巡检DB水平扩充 / HDFS 服务器状况 身份认证读写分离动态规划数据层 数据存储分布式缓存 NoSQL 网络状况 IP限制技术方案前台技术架构根据用户设备及浏览器尺寸路由PC PAD Mobile 其它智能设备页面自适应、最小宽度 页
2、面自适应 页面自适应element-ui + vuejs + Echarts vuejs + muijs vuejs + muijs金豆云CMS 配置 编译 发布系统构建：Webpack , Gulp自 自 基础组件库定 定义 义 JS CSS Resource Html5组 样件 式 *.js，*.vue *.sass，*.css Font，Img Font，Img 基础样式库技术方案微服务架构结合现实情况，平台服务计划分二个阶段完成，先完成服务化，后续在服务化的基础上重构成微服务第一步：服务化 第二步：微服务服务注册中心 zookeeperLoad Balancer基础服务框架服务监控 s
3、pring boot服务提供者 服务提供者 服务提供者业务代码 业务代码 业务代码 报警WebServer WebServer 分布式 RPC服务框架dubbo异构 服务提供者 服务提供者 服务提供者 实时数据语言 监控 服务注册中心Proxy 业务代码 业务代码 业务代码 zookeeper集群 暂停用户 订单 商品 服务发布容器服务提供者 服务提供者 服务提供者 恢复服务 服务 服务 docker下线业务代码 业务代码 业务代码持续集成工具jenkins服务治理用户 订单 商品 服务依赖 调用链路 服务流量 性能瓶颈 SLA分析 历史信息关系分析 追踪 控制 分析 统计DB DB DB D
4、B技术方案动静分离 - CDN静态资源访问加速静态资源文件（html，css，js，img等）静态数据返回 业务静态图片用户 用户动态 动态数据 用户静态请求数据 结果返回 数据请求 回源请求抓取数据静态脚本 附件Web程序 数据库内网访问， 图片 视频 音频数据更新维护ECS（服务器） OSS（云存储服务）智能压缩对静态资源进行压缩，减少传输大小，加速分发效果可视化监控可通过视化监控管理，查看监控日志和统计分析制定合适的缓存策略，并可通过从源站刷新缓存等手段主动维护高访问资源的缓存技术方案负载均衡 + 弹性扩展流量调度多台云服务器自动进行流量分发，获得更高水平的容错性能扩展性支持云服务器动态
5、扩展，实现无缝伸缩，伸缩过程不用更换任何设备，对相关调用和访问者零影响安全四层DDoS攻击防护，支持应用防火墙和CC防护，提供防护统计页面，实时抵御网络攻击前期方案云服务器ECS负载均衡云服务器ECS后期根据业务扩展增强负载均衡 云服务器ECS 云服务器 ECS负载均衡 云服务器ECS 云服务器ECS技术方案消息系统消息队列采用阿里云MQ消息发送 /发布方 消息接收/订阅方TCP UDP HTTP SOAP 消息接收器 消息发送器消息持久流入路由器 流出路由器消息状态元数据 消息 内部服务拦截器 拦截器转换器 组件调用事务管理组件容器故障恢复技术方案推荐引擎基于阿里云的RecEng（推荐引擎）
6、和MaxCompute（大数据计算服务）搭建金豆云推荐引擎，实现千人千面基本推荐流程客户接入数据计算用户 /特征提取物品评分用户 /物品 用户 /物品的原始特征 评分矩阵用户 /物品 用户 /物品关系计算 的耦合特征相关性计算+邻近计算用户的候选推荐集/物品相似物品集推荐建模流程推荐请求客户效果数 API据OTS物品实时修正表模型样本推荐处理线 OTS离线计程 算结果表基于业务目标 OTS用户实的监督学习 时修正表针对业务目标的 API返回Ranking ModelOTS离线计算结果表离线计算 在线计算技术方案用户认证 SSO + OAuth2内部系统内部系统采单点登陆方式进行管理供应系统资源
7、系统人脉系统微店系统金豆云认证系统用户信息外部系统外部系统连接主要分为2种方式：1. 通过ROP平台实现数据交互2. 金豆云提供OAuth2 认证机制给第三方，实现页面与数据的交互Request User Url跳转用户授权 生成 Auth Code请求Access TokenRequest Access Url生成Access Token请求用户OpenIDRequestInfoUrl生成OpenID获取用户资源通过token、openId及API技术方案分析平台JSON Echarts | CuBIREST API 报表Spring，SpringMVC，JMS ，Sqoop事件监听 定时任
8、务 数据导入SparkAPI接口 数据分析 数据融合MQ消息队列HBase Hadoop HDFS 分析平台基于业务数据进行数据映射与融合 整体架构基于大数据分析框架设计，并通过模块化设计进行内部解耦，将数据收集，导入及分析功能围绕分析模型系统处理 业务数据收集工作通过异步消息及定时导入方式实现 底层技术实现 前端主要提供REST API供产品平台进行数据获取。同时采用Echarts 或CuBI进行报表展现 中台服务逻辑层使用Spring ，SpringMVC作为应用构建及对外接口发布，配合MQ队列机制处理异步消息。 Spark作为核心数据处理引擎，进行 MapReduce处理 持久层主要采用
9、HBase进行大数据存储，同时使用Hadoop HDFS支持分布式存储技术方案数据库设计原则1 统一数据视图保证数据的及时性、一致 性、准确性、完整性2 数据应用分离应用系统只依赖逻辑数据库应用系统不直接访问其它宿 主的数据库，只能通过服务 访问3 数据读写分离访问量大的数据库做读写分离数据量大的数据库做分库分表不同业务域数据库做分区隔离重要数据配置备库；Mongo MongoDB DB业务业务 Master Slave数据库 数据库(Master) (Slave)Redis Redis报表数据Master Slave库HBaseHadoop HDFSDoc Doc Doc 产品平台数据库设计
10、方案采用二级缓存机制4 合理使用缓存 一级缓存使用Redis副本集，对频繁访问数据进行缓存。同时围绕Redis单线程机制，针对大量并发场景设计了同一用户的并发锁策略。 二级缓存使用MongoDB副本集，对结构化数据及频繁更新数据进行文档化数据存储 业务数据库使用MySQL集群方案 分析平台基于大数据架构设计方案，数据库使用区域HBase部署策略，同时采用Hadoop HDFS进行分布式文件存储技术架构 运营监控流量控制应用：集群，无状态，提高访问量水平 扩展数据：读写分离，提高性能应用：按业务域划分成不同子系统业务分区数据：数据分区1. 分流应用：不同业务类型分片分片数据：分库分表，提高数据容
11、量应用：分层，功能与非功能分开动静分离数据：冷热数据分离无法缓解大流量1. 动态页面降级到静态页面降级2. 整体降级到其他页面 Nginx前端限制3. 页面部分内容业务功能降级 舍弃一些非关键业务，如购物车库存状态 应用系统限流2. 降级 3. 限流降级一些下游系统， 客户端限流无法缓解应用系统降级如一次拆分暂停 服务端限流大流量远程服务降机到本 数据库限流数据降级地缓存技术架构 运营监控SLA数据持久性 数据可销毁性数据无法恢复不低于99.9999999%数据可迁移性 数据私密性迁入迁出 网络层访问控制技术实现对不同用户资源的隔离服务可用性 数据知情权对于数据、备份数据所在数据中心地理位置、
12、不低于99.95%数据备份数量具有知情权故障恢复能力 服务资源调配能力724小时的运行维护 用户可在 10分钟内启用或释放 100台云服务器，或在5分钟内完成停机升级 CPU和内存，并支网络接入性能 持在线实时升级公网带宽多线接入，0Mbps200Mbps服务提供方SLA服务消费方技术架构 治理灰度发布老系统 老系统DB部分请求到旧系统上，另一部分请求到了新的灰度系统上走到Client 转发 旧系统的请求，还是照原样处理走到了新版灰度系统的请求，需要同时将请求转发给旧系统上来对应的接口上修改旧系统的数据如果走到新系统的请求查不到该用户的数据，还需要首先同步一份来新系统上新系统 新系统DBCli
13、ent请求首先走到了新版本需要灰度的服务上，在经过该服务处理后，给请求打上了tag ，由于带上了tag，后续访问的都是配套灰度的服务A服务 新版A服务Tag AB服务 B服务Tag AC服务 新版C服务技术架构 安全安全策略1 Https接入数据传输入过来加密，防止传输过程中数据被篡改、安全级别更高2 黑白名单设置黑名单，使用haproxy、 nginx过滤恶意请求 3 OAuth2认证使用 Spring-security-oauth2实现与第三方系统认证授权安全策略6 安全巡警购买阿里安骑士、Web应用防火墙，防止恶意CC攻击，避免网站挂马篡改5 IP限制设置数据库访问IP列表，保障核心数据不受到侵犯 4 Hystrix熔断通过Hystrix防护和控制系统依赖，防止故障连锁，以完成对应用的熔断、降级等策略
