大数据技能竞赛知识点解析与实践

思考与练习

5.3.5 逻辑结构清晰

5.3.4 报告结论与建议

5.3.3 数据分析与图表

5.3.2 寻找合适数据

5.3.1 明确背景与目的

5.3 业务分析报告撰写

5.2.7 Tableau实现数据可视化

5.2.6 FineBI实现数据可视化

5.2.5 D3实现数据可视化

5.2.4 ECharts实现数据可视化

5.2.3 Seaborn可视化

5.2.2 Matplotlib可视化

5.2.1 报表可视化

5.2 数据可视化

5.1.9 主成分分析

5.1.8 K-Means聚类

5.1.7 关联分析

5.1.6 时间序列分析

5.1.5 决策树

5.1.4 朴素贝叶斯

5.1.3 支持向量机

5.1.2 逻辑回归

5.1.1 线性回归

5.1 数据挖掘

第5章 数据挖掘与数据可视化

思考与练习

4.3.6 卡方检验

4.3.5 T检验

4.3.4 方差分析

4.3.3 缺失值分析

4.3.2 探索性分析

4.3.1 描述性分析

4.3 数据统计分析

4.2.7 数据存储

4.2.6 Beautiful Soup

4.2.5 XPath解析

4.2.4 正则表达式

4.2.3 网络请求

4.2.2 网页组成

4.2.1 HTTP基本原理

4.2 网络信息获取技术

4.1.2 数据分析

4.1.1 数据预处理

4.1 报表数据处理

第4章 数据采集与分析

思考与练习

3.6.4 任务调度工具：Azkaban

3.6.3 数据传输：Sqoop

3.6.2 数据收集：Flume

3.6.1 协调框架：ZooKeeper

3.6 大数据框架应用

3.5.2 性能调优

3.5.1 故障排查

3.5 大数据平台运维与管理

3.4.6 Structured Streaming实时计算

3.4.5 Spark MLlib

3.4.4 Spark Streaming

3.4.3 Spark SQL

3.4.2 Spark Shell

3.4.1 集群安装部署

3.4 Spark技术框架

3.3.7 HBase与Sqoop的集成

3.3.6 HBase与Hive的集成

3.3.5 HBase与MapReduce的集成

3.3.4 使用HBase的过滤器

3.3.3 HBase的Java API操作

3.3.2 HBase的Shell操作

3.3.1 搭建HBase伪分布式集群

3.3 HBase数据库

3.2.7 案例：国内主要城市房屋出租情况统计分析

3.2.6 Hive中的窗口函数

3.2.5 Hive中的数据查询

3.2.4 Hive DML操作

3.2.3 Hive DDL操作

3.2.2 Hive数据仓库的常见属性

3.2.1 本地模式安装Hive数据仓库

3.2 Hive数据仓库

3.1.8 配置Hadoop集群高可用（HA）

3.1.7 编写MapReduce方法

3.1.6 分布式计算框架之MapReduce

3.1.5 Java API操作HDFS

3.1.4 使用开发工具连接Hadoop集群

3.1.3 命令行方式管理HDFS

3.1.2 搭建Hadoop完全分布式集群

3.1.1 搭建Hadoop伪分布式集群

3.1 Hadoop分布式大数据框架

第3章 大数据平台技术

思考与练习

2.2.3 MongoDB文件数据库

2.2.2 Redis数据库

2.2.1 HBase列式数据库

2.2 非关系型数据库NoSQL

2.1.8 SQL优化

2.1.7 备份与还原

2.1.6 权限管理

2.1.5 视图

2.1.4 数据操作管理

2.1.3 数据表操作管理

2.1.2 数据库操作管理

2.1.1 MySQL的安装

2.1 MySQL数据库

第2章 数据库技术

思考与练习

1.6.2 下载安装软件

1.6.1 软件配置

1.6 软件包管理

1.5.2 SSH连接工具

1.5.1 SSH协议

1.5 SSH远程访问

1.4 定时任务管理

1.3.2 同步服务器时间

1.3.1 同步网络时间

1.3 时间同步

1.2.2 配置防火墙规则

1.2.1 防火墙操作命令

1.2 防火墙配置与管理

1.1.2 Hosts映射

1.1.1 设置主机名

1.1 主机名配置

第1章 Linux操作系统

实验环境配置说明

前言

版权信息

封面

封面

版权信息

前言

实验环境配置说明

第1章 Linux操作系统

1.1 主机名配置

1.1.1 设置主机名

1.1.2 Hosts映射

1.2 防火墙配置与管理

1.2.1 防火墙操作命令

1.2.2 配置防火墙规则

1.3 时间同步

1.3.1 同步网络时间

1.3.2 同步服务器时间

1.4 定时任务管理

1.5 SSH远程访问

1.5.1 SSH协议

1.5.2 SSH连接工具

1.6 软件包管理

1.6.1 软件配置

1.6.2 下载安装软件

思考与练习

第2章 数据库技术

2.1 MySQL数据库

2.1.1 MySQL的安装

2.1.2 数据库操作管理

2.1.3 数据表操作管理

2.1.4 数据操作管理

2.1.5 视图

2.1.6 权限管理

2.1.7 备份与还原

2.1.8 SQL优化

2.2 非关系型数据库NoSQL

2.2.1 HBase列式数据库

2.2.2 Redis数据库

2.2.3 MongoDB文件数据库

思考与练习

第3章 大数据平台技术

3.1 Hadoop分布式大数据框架

3.1.1 搭建Hadoop伪分布式集群

3.1.2 搭建Hadoop完全分布式集群

3.1.3 命令行方式管理HDFS

3.1.4 使用开发工具连接Hadoop集群

3.1.5 Java API操作HDFS

3.1.6 分布式计算框架之MapReduce

3.1.7 编写MapReduce方法

3.1.8 配置Hadoop集群高可用（HA）

3.2 Hive数据仓库

3.2.1 本地模式安装Hive数据仓库

3.2.2 Hive数据仓库的常见属性

3.2.3 Hive DDL操作

3.2.4 Hive DML操作

3.2.5 Hive中的数据查询

3.2.6 Hive中的窗口函数

3.2.7 案例：国内主要城市房屋出租情况统计分析

3.3 HBase数据库

3.3.1 搭建HBase伪分布式集群

3.3.2 HBase的Shell操作

3.3.3 HBase的Java API操作

3.3.4 使用HBase的过滤器

3.3.5 HBase与MapReduce的集成

3.3.6 HBase与Hive的集成

3.3.7 HBase与Sqoop的集成

3.4 Spark技术框架

3.4.1 集群安装部署

3.4.2 Spark Shell

3.4.3 Spark SQL

3.4.4 Spark Streaming

3.4.5 Spark MLlib

3.4.6 Structured Streaming实时计算

3.5 大数据平台运维与管理

3.5.1 故障排查

3.5.2 性能调优

3.6 大数据框架应用

3.6.1 协调框架：ZooKeeper

3.6.2 数据收集：Flume

3.6.3 数据传输：Sqoop

3.6.4 任务调度工具：Azkaban

思考与练习

第4章 数据采集与分析

4.1 报表数据处理

4.1.1 数据预处理

4.1.2 数据分析

4.2 网络信息获取技术

4.2.1 HTTP基本原理

4.2.2 网页组成

4.2.3 网络请求

4.2.4 正则表达式

4.2.5 XPath解析

4.2.6 Beautiful Soup

4.2.7 数据存储

4.3 数据统计分析

4.3.1 描述性分析

4.3.2 探索性分析

4.3.3 缺失值分析

4.3.4 方差分析

4.3.5 T检验

4.3.6 卡方检验

思考与练习

第5章 数据挖掘与数据可视化

5.1 数据挖掘

5.1.1 线性回归

5.1.2 逻辑回归

5.1.3 支持向量机

5.1.4 朴素贝叶斯

5.1.5 决策树

5.1.6 时间序列分析

5.1.7 关联分析

5.1.8 K-Means聚类

5.1.9 主成分分析

5.2 数据可视化

5.2.1 报表可视化

5.2.2 Matplotlib可视化

5.2.3 Seaborn可视化

5.2.4 ECharts实现数据可视化

5.2.5 D3实现数据可视化

5.2.6 FineBI实现数据可视化

5.2.7 Tableau实现数据可视化

5.3 业务分析报告撰写

5.3.1 明确背景与目的

5.3.2 寻找合适数据

5.3.3 数据分析与图表

5.3.4 报告结论与建议

5.3.5 逻辑结构清晰

思考与练习