架构师
互联网
电商
支付平台
传统金融
互联网金融
可穿戴设备
医疗
智能家居
物联网
车联网
安全
制造
电信
政府机构
税务
快消品
其他
大数据
推荐课程
average > 0 ? $model->average . '分' : '10.0分' ?>

大数据建模与分析挖掘应用实战

刘老师

某知名咨询公司 云平台系统架构师

毕业于⼤连理⼯⼤学
简介:
精通开源的⼤数据⽣态技术和架构,Hadoop、Hive、Hbase、 Spark、Flink等开源技术栈。
有10年左右基于⼤数据解决⽅案平台、数据架构、数据中台、数据治理、数据分析和挖掘的⼤型数据湖和数
据中台项⽬架构实施经验,
⽬前任职Thoughtworks,先后服务于北京⼤学软件研究所、阿⾥巴巴、Teradata,实施过基于开源⼤数据技术
栈的数据湖解决⽅案和实施、湖仓⼀体架构咨询和实施、数据中台的咨询和设施
最近主要项⽬介绍:
某移动⼤数据平台架构设计和设施 (Hadoop、Spark)
四⼤⾏之⼀的数据湖咨询和实施
某⼤型商业银⾏数据中台咨询
某银⾏基于开源⼤数据技术栈数据中台的咨询和实施
某航空公司数据平台流批⼀体解决⽅案和实施
特长:
在⼤数据架构、开发、运维和优化、数据集成、 数据湖(Data Lake)、数据建模、数据挖掘/机器学习、数据
中台等⽅⾯有丰富经 验。

毕业于⼤连理⼯⼤学 简介: 精通开源的⼤数据⽣态技术和架构,Hadoop、Hive、Hbase、 Spark、Flink等开源技术栈。 有10年左右基于⼤数据解决⽅案平台、数据架构、数据中台、数据治理、数据分析和挖掘的⼤型数据湖和数 据中台项⽬架构实施经验, ⽬前任职Thoughtworks,先后服务于北京⼤学软件研究所、阿⾥巴巴、Teradata,实施过基于开源⼤数据技术 栈的数据湖解决⽅案和实施、湖仓⼀体架构咨询和实施、数据中台的咨询和设施 最近主要项⽬介绍: 某移动⼤数据平台架构设计和设施 (Hadoop、Spark) 四⼤⾏之⼀的数据湖咨询和实施 某⼤型商业银⾏数据中台咨询 某银⾏基于开源⼤数据技术栈数据中台的咨询和实施 某航空公司数据平台流批⼀体解决⽅案和实施 特长: 在⼤数据架构、开发、运维和优化、数据集成、 数据湖(Data Lake)、数据建模、数据挖掘/机器学习、数据 中台等⽅⾯有丰富经 验。

课程费用

5800.00 /人

课程时长

2

成为教练

课程简介

大数据建模与分析挖掘技术已经逐步地应用到新兴互联网企业(如电子商务网站、搜索引擎、社交网站、互联网广告服务提供商等)、银行金融证券企业、电信运营等行业,给这些行业带来了一定的数据价值增值作用。

目标收益

1.本课程让学员充分掌握大数据平台技术架构、大数据分析的基本理论、大数据分析挖掘应用实战技能、国内外主流的大数据分析与BI商业智能分析解决方案、以及大数据分析在搜索引擎、广告服务推荐、电商数据分析、金融客户分析方面的应用案例。
2.本课程强调主流的大数据分析挖掘算法技术的应用和分析平台的实施,让学员掌握主流的基于大数据Hadoop和Spark、R的大数据分析平台架构和实际应用,并用结合实际的生产系统案例进行教学,掌握基于Hadoop大数据平台的数据挖掘和数据仓库分布式系统平台应用,以及商业和开源的数据分析产品加上Hadoop平台形成大数据分析平台的应用剖析。

培训对象

课程大纲

数据建模概念 为什么要数据建模
数据建模解决哪些问题
什么是逻辑数据模型
模型设计的流程
逻辑模型设计
物理模型设计
数据建模的工具介绍
基于大数据平台分析和挖掘工具 业界主流的基于Hadoop和Spark的大数据分析挖掘项目解决方案
业界数据仓库与数据分析挖掘平台软件工具
Hadoop数据仓库工具Hive、Tez、Kylin和Presto
Spark实时数据仓库工具SparkSQL
Spark机器学习与数据分析挖掘工具MLlib和SparkR
大数据分析挖掘项目的实施步骤
数据集成 日志数据解析和导入导出到数据仓库的操作训练
从原始搜索数据集中抽取、集成数据,整理后形成规范的数据仓库
数据分析挖掘模块从大型的集中式数据仓库中访问数据,一个数据仓库面向一个主题,构建两个数据仓库
同一个数据仓库中的事实表数据,可以给多个不同类型的分析挖掘任务调用
去除噪声
HIVE数据仓库集群的多维分析建模应用实践 基于Hadoop的大型分布式数据仓库在行业中的数据仓库应用案例
Hive数据仓库集群的平台体系结构、核心技术剖析
Hive Server的工作原理、机制与应用
Hive数据仓库集群的安装部署与配置优化
Hive应用开发技巧
Hive SQL剖析与应用实践
Hive数据仓库表与表分区、表操作、数据导入导出、客户端操作技巧
Hive数据仓库报表设计
将原始的日志数据集,经过整理后,加载至Hadoop + Hive数据仓库集群中,用于共享访问
R语言介绍 R语言介绍
R语言常用的分析库介绍
R语言开发环境介绍
R分析分析和挖掘案例实战
Spark和R的整合
聚类分析建模与挖掘算法的实现原理和技术应用 聚类分析建模与算法原理及其在Spark MLlib中的实现与应用,包括:
a)Canopy聚类(canopy clustering)
b)K均值算法(K-means clustering)
c)模糊K均值(Fuzzy K-means clustering)
d)EM聚类,即期望最大化聚类(Expectation Maximization)
e)以上算法在Spark MLib中的实现原理和实际场景中的应用案例。
Spark聚类分析算法程序示例
分类分析建模与挖掘算法的实现原理和技术应用 分类分析建模与算法原理及其在Spark MLlib中的实现与应用, 包括:
a.Spark决策树算法实现
b.逻辑回归算法(logistics regression)
c.贝叶斯算法(Bayesian与Cbeyes)
d.支持向量机(Support vector machine)
e.以上算法在Spark MLlib中的实现原理和实际场景中的应用案例。
Spark客户资料分析与给用户贴标签的程序示例
Spark实现给商品贴标签的程序示例
Spark实现用户行为的自动标签和深度技术
推荐分析挖掘模型与算法技术应用 推荐算法原理及其在Spark MLlib中的实现与应用,包括:
a)Spark协同过滤算法程序示例
b)Item-based协同过滤与推荐
c)User-based协同过滤与推荐
交叉销售推荐模型及其实现
回归分析模型与预测算法 利用线性回归(多元回归)实现访问量预测
利用非线性回归预测成交量和访问量的关系
基于SparkR实现回归分析模型及其应用操作
Spark回归程序实现异常点检测的程序示例
Spark Graphx数据挖掘 Spark Graphx介绍
GraphxFrame介绍
复杂社交网落分析实战
图分析实战
数据建模概念
为什么要数据建模
数据建模解决哪些问题
什么是逻辑数据模型
模型设计的流程
逻辑模型设计
物理模型设计
数据建模的工具介绍
基于大数据平台分析和挖掘工具
业界主流的基于Hadoop和Spark的大数据分析挖掘项目解决方案
业界数据仓库与数据分析挖掘平台软件工具
Hadoop数据仓库工具Hive、Tez、Kylin和Presto
Spark实时数据仓库工具SparkSQL
Spark机器学习与数据分析挖掘工具MLlib和SparkR
大数据分析挖掘项目的实施步骤
数据集成
日志数据解析和导入导出到数据仓库的操作训练
从原始搜索数据集中抽取、集成数据,整理后形成规范的数据仓库
数据分析挖掘模块从大型的集中式数据仓库中访问数据,一个数据仓库面向一个主题,构建两个数据仓库
同一个数据仓库中的事实表数据,可以给多个不同类型的分析挖掘任务调用
去除噪声
HIVE数据仓库集群的多维分析建模应用实践
基于Hadoop的大型分布式数据仓库在行业中的数据仓库应用案例
Hive数据仓库集群的平台体系结构、核心技术剖析
Hive Server的工作原理、机制与应用
Hive数据仓库集群的安装部署与配置优化
Hive应用开发技巧
Hive SQL剖析与应用实践
Hive数据仓库表与表分区、表操作、数据导入导出、客户端操作技巧
Hive数据仓库报表设计
将原始的日志数据集,经过整理后,加载至Hadoop + Hive数据仓库集群中,用于共享访问
R语言介绍
R语言介绍
R语言常用的分析库介绍
R语言开发环境介绍
R分析分析和挖掘案例实战
Spark和R的整合
聚类分析建模与挖掘算法的实现原理和技术应用
聚类分析建模与算法原理及其在Spark MLlib中的实现与应用,包括:
a)Canopy聚类(canopy clustering)
b)K均值算法(K-means clustering)
c)模糊K均值(Fuzzy K-means clustering)
d)EM聚类,即期望最大化聚类(Expectation Maximization)
e)以上算法在Spark MLib中的实现原理和实际场景中的应用案例。
Spark聚类分析算法程序示例
分类分析建模与挖掘算法的实现原理和技术应用
分类分析建模与算法原理及其在Spark MLlib中的实现与应用, 包括:
a.Spark决策树算法实现
b.逻辑回归算法(logistics regression)
c.贝叶斯算法(Bayesian与Cbeyes)
d.支持向量机(Support vector machine)
e.以上算法在Spark MLlib中的实现原理和实际场景中的应用案例。
Spark客户资料分析与给用户贴标签的程序示例
Spark实现给商品贴标签的程序示例
Spark实现用户行为的自动标签和深度技术
推荐分析挖掘模型与算法技术应用
推荐算法原理及其在Spark MLlib中的实现与应用,包括:
a)Spark协同过滤算法程序示例
b)Item-based协同过滤与推荐
c)User-based协同过滤与推荐
交叉销售推荐模型及其实现
回归分析模型与预测算法
利用线性回归(多元回归)实现访问量预测
利用非线性回归预测成交量和访问量的关系
基于SparkR实现回归分析模型及其应用操作
Spark回归程序实现异常点检测的程序示例
Spark Graphx数据挖掘
Spark Graphx介绍
GraphxFrame介绍
复杂社交网落分析实战
图分析实战

课程费用

5800.00 /人

课程时长

2

预约体验票 我要分享

近期公开课推荐

近期公开课推荐

提交需求