2026/9/19 3:57:19
FEATURED · 精选文章 
简介这份PPT课件是《大数据技术基础与实战》完整版电子讲义面向初学大数据的读者及高校相关课程教师适合作为教学课件、课前预习或复习资料。内容围绕“概念—流程—技术—实践”主线展开先介绍大数据的4V特性以及工业、金融、医疗健康等典型应用场景再详细拆解数据采集、导入与清洗、统计与分析、数据挖掘与应用四个处理步骤并说明各环节面临的高并发、数据规模大、算法复杂等现实挑战随后重点讲解Hadoop生态涵盖HDFS分布式文件系统与MapReduce分布式计算框架穿插VirtualBox实践环境准备兼顾原理与动手基础。资源包共1个pptx文件大小约9.97MB采用章节化课件形式便于按知识点定位浏览。目前已有167人浏览学习。读者可获得一份结构完整、知识点密集的讲义既能快速建立大数据技术整体认知也能理解Hadoop核心组件的工作机制为后续开发实践打下坚实基础。1. 拿到这套《大数据技术基础与实战》PPT课件别急着翻到Hadoop那一章第一次打开这套《大数据技术基础与实战》PPT课件的朋友多半会被目录里Hadoop、HDFS、MapReduce、Spark这些名词吸引直接跳到后面看技术组件。但我建议你先在前两章多停一会儿——大数据处理流程和4V特性这两个部分看起来像概念堆砌实际上决定了你后面学Hadoop时是“看懂”还是“只会敲命令”。这套课件是面向信息技术人才培养的完整讲义从概念到环境准备都有适合刚入门大数据的学生也适合想系统梳理知识体系的开发人员。如果你打算照着它搭一套自己的实验环境或者准备大数据技术期末考试这篇笔记能把课件里没展开的坑给你填上。2. 从4V到数据形态先给数据分类再决定用HDFS还是HBase2.1 4V不是四个形容词是四组硬约束课件里把大数据特性概括为规模性、多样性、高速性、价值性也就是4V。很多初学者把这四个词背下来就过去了但真正选型的时候4V每一条都在逼你做决定。规模性Volume直接决定你是用单机MySQL还是分布式存储。数据量从TB级往上走时单机磁盘吞吐和索引维护都会成为瓶颈。多样性Variety决定你要不要引入NoSQL或者多模态存储比如图片、音视频和结构化日志混在一起时用一张关系表硬扛是不现实的。高速性Velocity决定你的链路是批处理还是流处理像Flume采集日志到HDFS是准实时而Spark Streaming就是微批。价值性Value最容易被忽略它说的是数据密度低、单条价值不高但整体挖掘价值高这就意味着你不能只做简单的count、sum得引入机器学习算法从低密度数据里找规律。把这四个维度列成一张表对照着看你的业务场景比死记定义有用得多特性核心问题典型技术选择常见误区规模性 Volume数据多大增长多快HDFS、HBase、对象存储用MySQL分库分表硬撑多样性 Variety数据有哪些形态Hive、HBase、Elasticsearch混搭试图全部结构化后入关系库高速性 Velocity数据多久需要被处理Flume Kafka、Spark Streaming把实时需求全部批处理化价值性 Value数据能挖出什么MLlib、Mahout、Spark只做报表统计不做挖掘2.2 结构化、半结构化、非结构化如何用脚本快速识别数据形态课件里把数据分成结构化、非结构化和半结构化三类并指出结构化数据因果关系强非结构化数据没有因果关系半结构化数据因果关系弱。这个分类不是学术概念它直接决定你后续用什么工具解析。结构化数据通常指关系表字段固定行与行之间结构一致。半结构化数据有标签或键值对比如JSON、XML、HTML邮件虽然可以解析成树结构但字段可能缺省没有严格的模式。非结构化数据就是图片、语音、视频、纯文本没有固定格式无法直接套用表模型。2.2.1 用Python做数据形态探查拿到一批不确定格式的文件时我一般先写个脚本做快速探查而不是直接扔进Hadoop。下面这个脚本读几个文件样本输出文件类型、行数、是否有分隔符、是否是JSON/XMLimport json import os import xml.etree.ElementTree as ET def probe_file(filepath, sample_lines5): try: with open(filepath, r, encodingutf-8, errorsignore) as f: head [next(f) for _ in range(sample_lines)] except StopIteration: head [] if not head: return f{filepath}: 空文件 first head[0].strip() # 常规分隔符判断 separators [,, \t, |, ;] sep_found None for sep in separators: if first.count(sep) 2: sep_found sep break # JSON 判断 try: json.loads(first) return f{filepath}: 半结构化 (JSON), 分隔符: N/A except Exception: pass # XML 判断 if first.startswith(?xml) or first.startswith(): try: ET.fromstring(\n.join(head)) return f{filepath}: 半结构化 (XML), 分隔符: N/A except Exception: pass if sep_found: lines len(open(filepath, encodingutf-8, errorsignore).readlines()) return f{filepath}: 结构化? 分隔符{sep_found!r}, 总行数约{lines} else: return f{filepath}: 非结构化/纯文本, 首行{first[:50]}这段脚本的逻辑是先读文件前几行然后依次判断是否存在常见的列分隔符能不能被解析成JSON是不是XML。分隔符连续出现两次以上才认为是结构化的标志否则很可能是普通文本里的逗号。判断出结构化后再统计总行数方便你估算数据规模。注意errorsignore是处理非UTF-8编码时用的实际生产环境里中文日志经常是GBK这个参数能避免读到一半抛异常。2.2.2 三种形态在存储与计算上的不同待遇知道了形态下一步就是选存储和计算框架结构化数据如果量在千万级以内关系库完全够用量再大就上Hive用HQL做离线分析。半结构化数据推荐存HBase因为HBase本身就是稀疏映射表支持行键、列族、时间戳天然适应字段不固定的场景。也可以用Hive的JSON SerDe直接解析日志。非结构化数据一般把文件本身放HDFS元数据放Hive或者Elasticsearch这样既保留原始文件又让上层能检索。课件里提到的HDFS“一次写入、多次读取”机制其实就暗示了它适合存放非结构化和半结构化的大文件而HBase则适合需要随机读写的结构化或半结构化数据。把这些对应关系记牢比只会背定义有用得多。2.3 一个实际判断例子假设你现在收到一批电商订单日志每行是一个JSON里面包含用户ID、商品ID、数量、价格、时间戳但偶尔有字段缺失比如有的行没有“优惠券”字段。按上面的规则这是典型的半结构化数据。如果每天产生的日志有5亿条单日约200GB那么你就不应该用MySQL直接存。常见做法是用Flume实时采集到HDFS落地同时写一份到Kafka离线条数统计用Hive实时查询用户最近订单用HBase。这就是4V中的“多样性”和“高速性”共同作用下的结果。课件后面讲的Hadoop生态组件本质上就是为这类场景拼装出来的工具箱。3. 大数据处理流程四步从采集到挖掘每一步都有坑课件把大数据处理流程拆成数据采集、数据导入与清洗处理、数据统计与数据分析、数据挖掘和应用。这四个步骤看起来跟普通数据处理差不多但实际做起来每一步都有大量细节。我带过的很多项目就是死在第一步和第二步的连接处——数据采上来了但格式五花八门清洗脚本没法复用。3.1 数据采集并发高不是靠加线程是靠分流课件提到数据采集的主要特点是并发数高。很多初学者以为并发高就上多线程、多线程不够就上线程池但真实场景里并发高只意味着接入层需要缓冲以及日志源需要分流。以Flume为例Flume把一个采集任务抽象成Source、Channel、Sink三个部分。Source负责接收数据Channel是中间缓冲Sink把数据写到目标端。下面是一个采集nginx日志到HDFS的配置示例agent1.sources tailSource agent1.channels fileChannel agent1.sinks hdfsSink agent1.sources.tailSource.type spooldir agent1.sources.tailSource.spoolDir /data/nginx/logs agent1.sources.tailSource.fileHeader true agent1.sources.tailSource.batchSize 100 agent1.channels.fileChannel.type file agent1.channels.fileChannel.checkpointDir /data/flume/checkpoint agent1.channels.fileChannel.dataDirs /data/flume/data agent1.sinks.hdfsSink.type hdfs agent1.sinks.hdfsSink.hdfs.path hdfs://standalone:9000/flume/nginx/%Y%m%d agent1.sinks.hdfsSink.hdfs.filePrefix nginx_log agent1.sinks.hdfsSink.hdfs.fileType DataStream agent1.sinks.hdfsSink.hdfs.rollInterval 600 agent1.sinks.hdfsSink.hdfs.rollSize 134217728 agent1.sources.tailSource.channels fileChannel agent1.sinks.hdfsSink.channel fileChannel这段配置里spooldir类型的Source会监控/data/nginx/logs目录只要目录里有新文件就会被读走。这个机制很稳定比直接tail文件更不容易丢数据。Channel选的是file类型把数据先落盘到本地避免Flume进程重启时数据丢失。Sink写到HDFSrollInterval是每10分钟滚动一个文件rollSize是128MB滚动一次这跟你HDFS的块大小有关系设得太小会产生大量小文件设得太大则单文件读取效率低。我一般会同时设这两个参数满足任何一个条件就切换文件。3.2 数据导入与清洗先做格式统一再做去重采集到的原始数据必然有重复、缺失、格式不统一的问题。课件里说导入集中分布式数据库前的清洗是最大挑战。实际上清洗工作应该分层做第一层在数据采集时做格式校验第二层在入仓时做去重和字段补全。下面用Spark SQL演示一个通用的清洗作业针对常见的JSON日志import org.apache.spark.sql.SparkSession import org.apache.spark.sql.functions._ val spark SparkSession.builder() .appName(data_clean) .enableHiveSupport() .getOrCreate() val rawDF spark.read.json(hdfs://standalone:9000/flume/nginx/2024/) val cleanedDF rawDF .filter(col(user_id).isNotNull) .dropDuplicates(request_id) .withColumn(event_date, to_date(from_unixtime(col(timestamp) / 1000))) .withColumn(body_size, col(request_body_size).cast(long)) .na.fill(0, Seq(body_size)) cleanedDF.write.mode(overwrite).partitionBy(event_date) .saveAsTable(ods_nginx_log)这段代码做的事情很直接先过滤掉user_id为空的记录再按request_id去重然后把毫秒时间戳转换成日期作为分区字段最后把请求体大小字段转成long类型空值填0。注意去重必须基于业务主键不能随便对所有字段去重否则会把同一用户不同时间段的正常记录删掉。分区字段按照event_date建后续查询按天过滤时能极大减少扫描量。清洗完的数据建议落地到ODS层操作数据存储跟原始数据分开。原始数据永远保留一份清洗逻辑改了还能重跑。这一点课件里没有细讲但实际运维时非常重要。3.3 数据统计与分析目的清晰再写聚合避免全表扫描课件里说数据统计与分析的特点是目的清晰按规则分类汇总。这听着简单但很多刚接触大数据的人会犯同一个毛病在Hive里写SELECT *然后把所有数据拉到客户端再算。这是最忌讳的。正确做法是把聚合下推到Hive或者Spark引擎里只返回结果。比如要统计每一天每个商品的销量排行写这个HQLSELECT event_date, product_id, SUM(quantity) AS total_qty FROM ods_nginx_log WHERE event_date 2024-01-01 GROUP BY event_date, product_id ORDER BY total_qty DESC LIMIT 100;这个查询看起来没什么特别但它背后的执行逻辑是先按分区过滤event_date减少输入数据量然后GROUP BY在MapReduce阶段完成局部聚合Reduce阶段再做全局聚合最后只取前100条。如果数据量特别大ORDER BY会触发全局排序非常耗时。更优的做法是先按total_qty降序输出到临时表或者用SORT BY配合DISTRIBUTE BY做并行排序。这些都是课件里没有提到的优化细节。另外分析任务最好错峰执行不要在实时业务高峰期占用YARN资源。课件里提到的YARN资源协调器就是用来管理这类资源调度的。你可以给不同任务设置不同的队列把离线分析和实时计算分开。3.4 数据挖掘与应用计算量大怎么拆用历史数据训练用新数据预测最后一步数据挖掘课件强调计算量大这没错。但实际项目中你不可能每天都跑一遍全量训练。常见做法是把训练和预测拆成两个流程训练流程定期跑比如每天凌晨用前30天的数据训练模型预测流程则是实时的用训练好的模型文件对新数据进行推理。以MLlib里的逻辑回归为例你只需要在Spark里这样调用import org.apache.spark.ml.classification.LogisticRegression val lr new LogisticRegression() .setMaxIter(10) .setRegParam(0.01) val model lr.fit(trainingDF) model.write.save(hdfs://standalone:9000/models/lr_model_20240101)这个训练过程中Spark会把数据分到各个executor上做梯度计算这跟MapReduce的并行思路类似。训练完成后把模型保存到HDFS后续实时预测时再加载模型对每条新数据进行预测。这里要注意setMaxIter太大容易过拟合太小则模型不收敛一般从10开始调setRegParam是正则化参数用于防止过拟合取值通常在0.001到0.1之间。这类参数需要在验证集上做网格搜索不能凭感觉定。4. Hadoop生态十一个组件按这个顺序学才不会乱课件里一口气列出了Hadoop Common、HDFS、YARN、MapReduce、HBase、Hive、Flume、Spark、Spark Streaming、MLlib、Tachyon等十几个组件。初学者看到这张列表很容易懵以为每个都要精通。实际上它们分属不同层次按层去理解学习路径就清晰了。4.1 先分清存储、计算、调度、查询四层我一般把这堆组件分成四个层次层次组件职责存储层HDFS、HBase、Tachyon文件存储、列式数据库、内存级分布式存储计算层MapReduce、Spark、Spark Streaming批量计算、内存计算、流式微批计算调度与资源层YARN集群资源管理与任务调度查询与分析层Hive、Pig、Mahout、MLlibSQL查询、数据挖掘、机器学习算法Flume和Sqoop属于采集层可以单独记。Tachyon现在更多叫Alluxio是以内存为中心的存储系统它不替代HDFS而是给Spark和MapReduce提供内存级文件共享服务。课件里说它的吞吐量比HDFS高实际场景中主要用于跨作业的数据共享避免重复从磁盘读。4.2 HDFS读写原理与常用命令HDFS的核心是NameNode和DataNode。NameNode管元数据DataNode管数据块。课件说HDFS适合“一次写入、多次读取”这是它的设计约束。你在HDFS上改一个文件实际上是重写整个文件不支持随机修改。所以它不适合做在线事务处理。实际工作中最常用的HDFS操作命令就这么几个# 创建目录 hdfs dfs -mkdir -p /data/ods # 上传本地文件 hdfs dfs -put ./nginx.log /data/ods/ # 查看块大小和副本 hdfs fsck /data/ods/nginx.log -files -blocks -locations # 设置副本数 hdfs dfs -setrep -w 3 /data/ods/nginx.log # 列出目录下文件大小按G显示 hdfs dfs -du -h /data/odshdfs fsck这个命令很多人不知道但它排错非常有用可以看到文件被切成几块块分布在哪几个DataNode上。如果你发现某个文件的块副本数低于配置值可以用-setrep -w 3强制补副本-w表示等待所有副本写入完成再返回。HDFS默认块大小是128MB副本数是3。副本数不是越大越好3副本在200个节点以下够用超过这个规模机架感知配置不到位的话副本数反而增加网络压力。课件里说HDFS能运行在低成本硬件上前提是你接受硬件故障常态化的设计。所以不要把所有数据只设1副本除非你能容忍丢数据。4.3 MapReduce的Map和Reduce到底做了什么用WordCount拆开看MapReduce的抽象只有两个阶段Map和Reduce。Map处理输入数据输出键值对Reduce把相同键的值汇总。很多教材都用WordCount做例子但光看代码不理解执行流程还是纸上谈兵。下面用Python模拟整个过程的伪代码更贴近计算逻辑# mapper.py import sys for line in sys.stdin: words line.strip().split() for word in words: print(f{word}\t1) # reducer.py import sys current_word None current_count 0 for line in sys.stdin: word, count line.strip().split(\t, 1) try: count int(count) except ValueError: continue if current_word word: current_count count else: if current_word: print(f{current_word}\t{current_count}) current_word word current_count count if current_word: print(f{current_word}\t{current_count})这段代码里mapper从标准输入读一行按空格切词每个词输出词\t1。reducer读取mapper的输出按词累加计数。关键在于Hadoop在Map和Reduce之间会做一个shuffle操作把相同key的所有value分发给同一个reducer。也就是说reducer看到的同一词的数据一定是连续的。如果你的reducer逻辑依赖key的顺序就需要在shuffle阶段设置分区函数和排序。这是MapReduce性能和正确性的核心。实际用Hadoop运行这段Python需要Streaming API指定mapper和reducer路径。不推荐新手直接手写Java的MapReduce代码冗长且调试成本高。用Hive或者Spark SQL做数据分析省时得多理解MapReduce的价值在于看懂框架的容错和并行机制而不是让你什么都用它写。4.4 Hive把SQL变成MapReduce离线分析为什么离不开它Hive的杀手锏就是让熟悉SQL的人能操作Hadoop。课件里说Hive本质上是基于HDFS的应用数据存在HDFS上HQL会被翻译成MapReduce任务。这就带来一个特性Hive查询延迟高跑一个count(*)可能都要几十秒因为它启动任务有固定开销。所以Hive只适合离线分析不适合在线查询。使用Hive时一个重要的设计是分区和分桶。分区按业务日期或地区划分可以减少查询扫描的数据量。分桶则是对分区内的数据再做哈希散列用于抽样和join优化。建表语句通常长这样CREATE EXTERNAL TABLE ods_nginx_log ( request_id STRING, user_id STRING, request_path STRING, status INT, body_size BIGINT ) PARTITIONED BY (event_date STRING) ROW FORMAT SERDE org.apache.hadoop.hive.serde2.JsonSerDe STORED AS TEXTFILE LOCATION /data/ods/nginx;注意EXTERNAL关键字表示数据文件不归Hive管理删表不会删HDFS文件。这在做ODS层时非常安全即使误删表数据还在。JsonSerDe让Hive直接解析JSON格式的日志文件不需要提前转成文本表。PARTITIONED BY中的分区字段不能和表内字段重复分区目录在HDFS上表现为/data/ods/nginx/event_date2024-01-01。4.5 Spark、Spark Streaming、MLlib、Tachyon什么时候用它们Spark跟MapReduce的最大区别是中间结果缓存在内存里减少磁盘I/O。课件里说Spark比Hadoop快100倍那是理想情况。实际上如果你的数据不能全部放进内存或者集群内存配置不合理Spark会退化成频繁的磁盘shuffle性能提升幅度会大打折扣。选型建议按这个逻辑来离线复杂ETL、多表关联、机器学习迭代计算用Spark比MapReduce写起来简单运行快。需要秒级或分钟级延迟的实时计算用Spark Streaming它把流数据切成微批处理适合对延迟不那么极端的场景。如果要求毫秒级考虑Flink这是后话。想在Spark里做分类、聚类、协同过滤直接用MLlib它提供了现成的算法封装。多个Spark作业共享同一份热数据考虑TachyonAlluxio做内存缓存避免每个作业都从HDFS重新读一遍。组件不是越多越好。小集群宁可少上组件先把HDFS、YARN、Hive、Spark这四件套跑稳再根据需求加HBase和Flume。课件里列了11个组件但生产环境里很多都只是备用选项。5. 实践环境准备VirtualBox搭伪分布式集群这些参数别照抄课件最后一章讲实践环境准备提到VirtualBox的安装与配置。很多人在这一步卡住不是因为不会装VirtualBox而是不会规划网络和资源。如果你是照着课件里的图一步步点大概率会遇到虚拟机起不来、节点互通失败、HDFS能启动但DataNode掉线这些问题。5.1 VirtualBox网络模式与内存分配搭建Hadoop集群至少需要三台虚拟机一个主节点两个从节点。VirtualBox网络模式选“仅主机网络Host-Only”或“桥接网卡”。我建议用NAT Host-Only双网卡NAT用于虚拟机访问外网下载软件包Host-Only用于集群节点间通信。如果你直接在NAT模式下搭建集群三台机器默认在同一子网但宿主机和虚拟机之间通信不稳定HDFS的DataNode上报经常超时。内存分配方面Hadoop的NameNode、DataNode、ResourceManager、NodeManager都是Java进程每台机器至少给2GB内存。主机如果是16GB内存三台虚拟机各2GB剩余留给宿主机和IDE。如果你的内存只有8GB就别硬开三台用伪分布式单机模式更实际——所有角色跑在一个JVM里也能完整走通MapReduce流程。5.2 克隆虚拟机后的三个必须改的配置很多人为了省事先装一台虚拟机配置好Hadoop后再克隆两台。克隆出来的机器如果不改配置三台机器的主机名和IP完全一样整个集群直接瘫痪。克隆后必须改三个地方# 1. 修改主机名 sudo hostnamectl set-hostname hadoop01 # 2. 修改静态IP以Ubuntu 20.04为例 sudo vi /etc/netplan/01-netcfg.yaml # 修改 addresses: [192.168.56.101/24] 为各节点不同的IP # 3. 清空Hadoop临时目录关键否则DataNode启动失败 rm -rf /usr/local/hadoop/tmp/dfs/name/current前两步好理解第三步是很多人踩坑的地方。克隆的虚拟机里已经包含原来机器上NameNode生成的元数据如果直接启动新节点的NameNode会认为自己已经有集群信息但DataNode的clusterID不匹配导致DataNode反复启动失败。清空临时目录后重新执行hdfs namenode -format格式化再启动就正常了。注意格式化之前先把原来Hadoop进程全部停掉。5.3 用脚本验证集群是否就绪启动完集群后不要只看jps里有没有五个进程还要检查数据节点是否被NameNode接纳。写一个简单的验证脚本#!/bin/bash echo Java 进程检查 jps | grep -E NameNode|DataNode|ResourceManager|NodeManager|SecondaryNameNode echo HDFS 状态 hdfs dfsadmin -report | grep -E Live datanodes|Name:|Hostname: echo YARN 节点检查 yarn node -list 2/dev/null | grep RUNNING echo 上传测试文件 echo test data | hdfs dfs -put - /tmp/test.txt hdfs dfs -cat /tmp/test.txt脚本依次检查Java进程、HDFS存活DataNode数量、YARN节点状态最后上传并读取一个测试文件。如果Live datanodes只有1个说明另外两台节点的DataNode没注册成功去对应节点的日志目录看logs/hadoop-hadoop-datanode-*.log最常见的就是clusterID不一致。如果YARN节点状态为空检查yarn-site.xml里的yarn.resourcemanager.hostname是否指向主节点。这套环境跑通之后回去看课件里的HDFS、MapReduce、Hive原理你会突然发现它们不再是抽象概念。接下来要做的就是拿课件里的例子一个个实验比如自己写个WordCount跑一遍用Hive建一张外部表查日志。只有环境在自己手里真正跑起来才算把大数据技术基础这本书读进去了。本文还有配套的精品资源点击获取
大数据技术基础与实战：从4V特性到Hadoop生态组件学习指南
简介这份PPT课件是《大数据技术基础与实战》完整版电子讲义面向初学大数据的读者及高校相关课程教师适合作为教学课件、课前预习或复习资料。内容围绕“概念—流程—技术—实践”主线展开先介绍大数据的4V特性以及工业、金融、医疗健康等典型应用场景再详细拆解数据采集、导入与清洗、统计与分析、数据挖掘与应用四个处理步骤并说明各环节面临的高并发、数据规模大、算法复杂等现实挑战随后重点讲解Hadoop生态涵盖HDFS分布式文件系统与MapReduce分布式计算框架穿插VirtualBox实践环境准备兼顾原理与动手基础。资源包共1个pptx文件大小约9.97MB采用章节化课件形式便于按知识点定位浏览。目前已有167人浏览学习。读者可获得一份结构完整、知识点密集的讲义既能快速建立大数据技术整体认知也能理解Hadoop核心组件的工作机制为后续开发实践打下坚实基础。1. 拿到这套《大数据技术基础与实战》PPT课件别急着翻到Hadoop那一章第一次打开这套《大数据技术基础与实战》PPT课件的朋友多半会被目录里Hadoop、HDFS、MapReduce、Spark这些名词吸引直接跳到后面看技术组件。但我建议你先在前两章多停一会儿——大数据处理流程和4V特性这两个部分看起来像概念堆砌实际上决定了你后面学Hadoop时是“看懂”还是“只会敲命令”。这套课件是面向信息技术人才培养的完整讲义从概念到环境准备都有适合刚入门大数据的学生也适合想系统梳理知识体系的开发人员。如果你打算照着它搭一套自己的实验环境或者准备大数据技术期末考试这篇笔记能把课件里没展开的坑给你填上。2. 从4V到数据形态先给数据分类再决定用HDFS还是HBase2.1 4V不是四个形容词是四组硬约束课件里把大数据特性概括为规模性、多样性、高速性、价值性也就是4V。很多初学者把这四个词背下来就过去了但真正选型的时候4V每一条都在逼你做决定。规模性Volume直接决定你是用单机MySQL还是分布式存储。数据量从TB级往上走时单机磁盘吞吐和索引维护都会成为瓶颈。多样性Variety决定你要不要引入NoSQL或者多模态存储比如图片、音视频和结构化日志混在一起时用一张关系表硬扛是不现实的。高速性Velocity决定你的链路是批处理还是流处理像Flume采集日志到HDFS是准实时而Spark Streaming就是微批。价值性Value最容易被忽略它说的是数据密度低、单条价值不高但整体挖掘价值高这就意味着你不能只做简单的count、sum得引入机器学习算法从低密度数据里找规律。把这四个维度列成一张表对照着看你的业务场景比死记定义有用得多特性核心问题典型技术选择常见误区规模性 Volume数据多大增长多快HDFS、HBase、对象存储用MySQL分库分表硬撑多样性 Variety数据有哪些形态Hive、HBase、Elasticsearch混搭试图全部结构化后入关系库高速性 Velocity数据多久需要被处理Flume Kafka、Spark Streaming把实时需求全部批处理化价值性 Value数据能挖出什么MLlib、Mahout、Spark只做报表统计不做挖掘2.2 结构化、半结构化、非结构化如何用脚本快速识别数据形态课件里把数据分成结构化、非结构化和半结构化三类并指出结构化数据因果关系强非结构化数据没有因果关系半结构化数据因果关系弱。这个分类不是学术概念它直接决定你后续用什么工具解析。结构化数据通常指关系表字段固定行与行之间结构一致。半结构化数据有标签或键值对比如JSON、XML、HTML邮件虽然可以解析成树结构但字段可能缺省没有严格的模式。非结构化数据就是图片、语音、视频、纯文本没有固定格式无法直接套用表模型。2.2.1 用Python做数据形态探查拿到一批不确定格式的文件时我一般先写个脚本做快速探查而不是直接扔进Hadoop。下面这个脚本读几个文件样本输出文件类型、行数、是否有分隔符、是否是JSON/XMLimport json import os import xml.etree.ElementTree as ET def probe_file(filepath, sample_lines5): try: with open(filepath, r, encodingutf-8, errorsignore) as f: head [next(f) for _ in range(sample_lines)] except StopIteration: head [] if not head: return f{filepath}: 空文件 first head[0].strip() # 常规分隔符判断 separators [,, \t, |, ;] sep_found None for sep in separators: if first.count(sep) 2: sep_found sep break # JSON 判断 try: json.loads(first) return f{filepath}: 半结构化 (JSON), 分隔符: N/A except Exception: pass # XML 判断 if first.startswith(?xml) or first.startswith(): try: ET.fromstring(\n.join(head)) return f{filepath}: 半结构化 (XML), 分隔符: N/A except Exception: pass if sep_found: lines len(open(filepath, encodingutf-8, errorsignore).readlines()) return f{filepath}: 结构化? 分隔符{sep_found!r}, 总行数约{lines} else: return f{filepath}: 非结构化/纯文本, 首行{first[:50]}这段脚本的逻辑是先读文件前几行然后依次判断是否存在常见的列分隔符能不能被解析成JSON是不是XML。分隔符连续出现两次以上才认为是结构化的标志否则很可能是普通文本里的逗号。判断出结构化后再统计总行数方便你估算数据规模。注意errorsignore是处理非UTF-8编码时用的实际生产环境里中文日志经常是GBK这个参数能避免读到一半抛异常。2.2.2 三种形态在存储与计算上的不同待遇知道了形态下一步就是选存储和计算框架结构化数据如果量在千万级以内关系库完全够用量再大就上Hive用HQL做离线分析。半结构化数据推荐存HBase因为HBase本身就是稀疏映射表支持行键、列族、时间戳天然适应字段不固定的场景。也可以用Hive的JSON SerDe直接解析日志。非结构化数据一般把文件本身放HDFS元数据放Hive或者Elasticsearch这样既保留原始文件又让上层能检索。课件里提到的HDFS“一次写入、多次读取”机制其实就暗示了它适合存放非结构化和半结构化的大文件而HBase则适合需要随机读写的结构化或半结构化数据。把这些对应关系记牢比只会背定义有用得多。2.3 一个实际判断例子假设你现在收到一批电商订单日志每行是一个JSON里面包含用户ID、商品ID、数量、价格、时间戳但偶尔有字段缺失比如有的行没有“优惠券”字段。按上面的规则这是典型的半结构化数据。如果每天产生的日志有5亿条单日约200GB那么你就不应该用MySQL直接存。常见做法是用Flume实时采集到HDFS落地同时写一份到Kafka离线条数统计用Hive实时查询用户最近订单用HBase。这就是4V中的“多样性”和“高速性”共同作用下的结果。课件后面讲的Hadoop生态组件本质上就是为这类场景拼装出来的工具箱。3. 大数据处理流程四步从采集到挖掘每一步都有坑课件把大数据处理流程拆成数据采集、数据导入与清洗处理、数据统计与数据分析、数据挖掘和应用。这四个步骤看起来跟普通数据处理差不多但实际做起来每一步都有大量细节。我带过的很多项目就是死在第一步和第二步的连接处——数据采上来了但格式五花八门清洗脚本没法复用。3.1 数据采集并发高不是靠加线程是靠分流课件提到数据采集的主要特点是并发数高。很多初学者以为并发高就上多线程、多线程不够就上线程池但真实场景里并发高只意味着接入层需要缓冲以及日志源需要分流。以Flume为例Flume把一个采集任务抽象成Source、Channel、Sink三个部分。Source负责接收数据Channel是中间缓冲Sink把数据写到目标端。下面是一个采集nginx日志到HDFS的配置示例agent1.sources tailSource agent1.channels fileChannel agent1.sinks hdfsSink agent1.sources.tailSource.type spooldir agent1.sources.tailSource.spoolDir /data/nginx/logs agent1.sources.tailSource.fileHeader true agent1.sources.tailSource.batchSize 100 agent1.channels.fileChannel.type file agent1.channels.fileChannel.checkpointDir /data/flume/checkpoint agent1.channels.fileChannel.dataDirs /data/flume/data agent1.sinks.hdfsSink.type hdfs agent1.sinks.hdfsSink.hdfs.path hdfs://standalone:9000/flume/nginx/%Y%m%d agent1.sinks.hdfsSink.hdfs.filePrefix nginx_log agent1.sinks.hdfsSink.hdfs.fileType DataStream agent1.sinks.hdfsSink.hdfs.rollInterval 600 agent1.sinks.hdfsSink.hdfs.rollSize 134217728 agent1.sources.tailSource.channels fileChannel agent1.sinks.hdfsSink.channel fileChannel这段配置里spooldir类型的Source会监控/data/nginx/logs目录只要目录里有新文件就会被读走。这个机制很稳定比直接tail文件更不容易丢数据。Channel选的是file类型把数据先落盘到本地避免Flume进程重启时数据丢失。Sink写到HDFSrollInterval是每10分钟滚动一个文件rollSize是128MB滚动一次这跟你HDFS的块大小有关系设得太小会产生大量小文件设得太大则单文件读取效率低。我一般会同时设这两个参数满足任何一个条件就切换文件。3.2 数据导入与清洗先做格式统一再做去重采集到的原始数据必然有重复、缺失、格式不统一的问题。课件里说导入集中分布式数据库前的清洗是最大挑战。实际上清洗工作应该分层做第一层在数据采集时做格式校验第二层在入仓时做去重和字段补全。下面用Spark SQL演示一个通用的清洗作业针对常见的JSON日志import org.apache.spark.sql.SparkSession import org.apache.spark.sql.functions._ val spark SparkSession.builder() .appName(data_clean) .enableHiveSupport() .getOrCreate() val rawDF spark.read.json(hdfs://standalone:9000/flume/nginx/2024/) val cleanedDF rawDF .filter(col(user_id).isNotNull) .dropDuplicates(request_id) .withColumn(event_date, to_date(from_unixtime(col(timestamp) / 1000))) .withColumn(body_size, col(request_body_size).cast(long)) .na.fill(0, Seq(body_size)) cleanedDF.write.mode(overwrite).partitionBy(event_date) .saveAsTable(ods_nginx_log)这段代码做的事情很直接先过滤掉user_id为空的记录再按request_id去重然后把毫秒时间戳转换成日期作为分区字段最后把请求体大小字段转成long类型空值填0。注意去重必须基于业务主键不能随便对所有字段去重否则会把同一用户不同时间段的正常记录删掉。分区字段按照event_date建后续查询按天过滤时能极大减少扫描量。清洗完的数据建议落地到ODS层操作数据存储跟原始数据分开。原始数据永远保留一份清洗逻辑改了还能重跑。这一点课件里没有细讲但实际运维时非常重要。3.3 数据统计与分析目的清晰再写聚合避免全表扫描课件里说数据统计与分析的特点是目的清晰按规则分类汇总。这听着简单但很多刚接触大数据的人会犯同一个毛病在Hive里写SELECT *然后把所有数据拉到客户端再算。这是最忌讳的。正确做法是把聚合下推到Hive或者Spark引擎里只返回结果。比如要统计每一天每个商品的销量排行写这个HQLSELECT event_date, product_id, SUM(quantity) AS total_qty FROM ods_nginx_log WHERE event_date 2024-01-01 GROUP BY event_date, product_id ORDER BY total_qty DESC LIMIT 100;这个查询看起来没什么特别但它背后的执行逻辑是先按分区过滤event_date减少输入数据量然后GROUP BY在MapReduce阶段完成局部聚合Reduce阶段再做全局聚合最后只取前100条。如果数据量特别大ORDER BY会触发全局排序非常耗时。更优的做法是先按total_qty降序输出到临时表或者用SORT BY配合DISTRIBUTE BY做并行排序。这些都是课件里没有提到的优化细节。另外分析任务最好错峰执行不要在实时业务高峰期占用YARN资源。课件里提到的YARN资源协调器就是用来管理这类资源调度的。你可以给不同任务设置不同的队列把离线分析和实时计算分开。3.4 数据挖掘与应用计算量大怎么拆用历史数据训练用新数据预测最后一步数据挖掘课件强调计算量大这没错。但实际项目中你不可能每天都跑一遍全量训练。常见做法是把训练和预测拆成两个流程训练流程定期跑比如每天凌晨用前30天的数据训练模型预测流程则是实时的用训练好的模型文件对新数据进行推理。以MLlib里的逻辑回归为例你只需要在Spark里这样调用import org.apache.spark.ml.classification.LogisticRegression val lr new LogisticRegression() .setMaxIter(10) .setRegParam(0.01) val model lr.fit(trainingDF) model.write.save(hdfs://standalone:9000/models/lr_model_20240101)这个训练过程中Spark会把数据分到各个executor上做梯度计算这跟MapReduce的并行思路类似。训练完成后把模型保存到HDFS后续实时预测时再加载模型对每条新数据进行预测。这里要注意setMaxIter太大容易过拟合太小则模型不收敛一般从10开始调setRegParam是正则化参数用于防止过拟合取值通常在0.001到0.1之间。这类参数需要在验证集上做网格搜索不能凭感觉定。4. Hadoop生态十一个组件按这个顺序学才不会乱课件里一口气列出了Hadoop Common、HDFS、YARN、MapReduce、HBase、Hive、Flume、Spark、Spark Streaming、MLlib、Tachyon等十几个组件。初学者看到这张列表很容易懵以为每个都要精通。实际上它们分属不同层次按层去理解学习路径就清晰了。4.1 先分清存储、计算、调度、查询四层我一般把这堆组件分成四个层次层次组件职责存储层HDFS、HBase、Tachyon文件存储、列式数据库、内存级分布式存储计算层MapReduce、Spark、Spark Streaming批量计算、内存计算、流式微批计算调度与资源层YARN集群资源管理与任务调度查询与分析层Hive、Pig、Mahout、MLlibSQL查询、数据挖掘、机器学习算法Flume和Sqoop属于采集层可以单独记。Tachyon现在更多叫Alluxio是以内存为中心的存储系统它不替代HDFS而是给Spark和MapReduce提供内存级文件共享服务。课件里说它的吞吐量比HDFS高实际场景中主要用于跨作业的数据共享避免重复从磁盘读。4.2 HDFS读写原理与常用命令HDFS的核心是NameNode和DataNode。NameNode管元数据DataNode管数据块。课件说HDFS适合“一次写入、多次读取”这是它的设计约束。你在HDFS上改一个文件实际上是重写整个文件不支持随机修改。所以它不适合做在线事务处理。实际工作中最常用的HDFS操作命令就这么几个# 创建目录 hdfs dfs -mkdir -p /data/ods # 上传本地文件 hdfs dfs -put ./nginx.log /data/ods/ # 查看块大小和副本 hdfs fsck /data/ods/nginx.log -files -blocks -locations # 设置副本数 hdfs dfs -setrep -w 3 /data/ods/nginx.log # 列出目录下文件大小按G显示 hdfs dfs -du -h /data/odshdfs fsck这个命令很多人不知道但它排错非常有用可以看到文件被切成几块块分布在哪几个DataNode上。如果你发现某个文件的块副本数低于配置值可以用-setrep -w 3强制补副本-w表示等待所有副本写入完成再返回。HDFS默认块大小是128MB副本数是3。副本数不是越大越好3副本在200个节点以下够用超过这个规模机架感知配置不到位的话副本数反而增加网络压力。课件里说HDFS能运行在低成本硬件上前提是你接受硬件故障常态化的设计。所以不要把所有数据只设1副本除非你能容忍丢数据。4.3 MapReduce的Map和Reduce到底做了什么用WordCount拆开看MapReduce的抽象只有两个阶段Map和Reduce。Map处理输入数据输出键值对Reduce把相同键的值汇总。很多教材都用WordCount做例子但光看代码不理解执行流程还是纸上谈兵。下面用Python模拟整个过程的伪代码更贴近计算逻辑# mapper.py import sys for line in sys.stdin: words line.strip().split() for word in words: print(f{word}\t1) # reducer.py import sys current_word None current_count 0 for line in sys.stdin: word, count line.strip().split(\t, 1) try: count int(count) except ValueError: continue if current_word word: current_count count else: if current_word: print(f{current_word}\t{current_count}) current_word word current_count count if current_word: print(f{current_word}\t{current_count})这段代码里mapper从标准输入读一行按空格切词每个词输出词\t1。reducer读取mapper的输出按词累加计数。关键在于Hadoop在Map和Reduce之间会做一个shuffle操作把相同key的所有value分发给同一个reducer。也就是说reducer看到的同一词的数据一定是连续的。如果你的reducer逻辑依赖key的顺序就需要在shuffle阶段设置分区函数和排序。这是MapReduce性能和正确性的核心。实际用Hadoop运行这段Python需要Streaming API指定mapper和reducer路径。不推荐新手直接手写Java的MapReduce代码冗长且调试成本高。用Hive或者Spark SQL做数据分析省时得多理解MapReduce的价值在于看懂框架的容错和并行机制而不是让你什么都用它写。4.4 Hive把SQL变成MapReduce离线分析为什么离不开它Hive的杀手锏就是让熟悉SQL的人能操作Hadoop。课件里说Hive本质上是基于HDFS的应用数据存在HDFS上HQL会被翻译成MapReduce任务。这就带来一个特性Hive查询延迟高跑一个count(*)可能都要几十秒因为它启动任务有固定开销。所以Hive只适合离线分析不适合在线查询。使用Hive时一个重要的设计是分区和分桶。分区按业务日期或地区划分可以减少查询扫描的数据量。分桶则是对分区内的数据再做哈希散列用于抽样和join优化。建表语句通常长这样CREATE EXTERNAL TABLE ods_nginx_log ( request_id STRING, user_id STRING, request_path STRING, status INT, body_size BIGINT ) PARTITIONED BY (event_date STRING) ROW FORMAT SERDE org.apache.hadoop.hive.serde2.JsonSerDe STORED AS TEXTFILE LOCATION /data/ods/nginx;注意EXTERNAL关键字表示数据文件不归Hive管理删表不会删HDFS文件。这在做ODS层时非常安全即使误删表数据还在。JsonSerDe让Hive直接解析JSON格式的日志文件不需要提前转成文本表。PARTITIONED BY中的分区字段不能和表内字段重复分区目录在HDFS上表现为/data/ods/nginx/event_date2024-01-01。4.5 Spark、Spark Streaming、MLlib、Tachyon什么时候用它们Spark跟MapReduce的最大区别是中间结果缓存在内存里减少磁盘I/O。课件里说Spark比Hadoop快100倍那是理想情况。实际上如果你的数据不能全部放进内存或者集群内存配置不合理Spark会退化成频繁的磁盘shuffle性能提升幅度会大打折扣。选型建议按这个逻辑来离线复杂ETL、多表关联、机器学习迭代计算用Spark比MapReduce写起来简单运行快。需要秒级或分钟级延迟的实时计算用Spark Streaming它把流数据切成微批处理适合对延迟不那么极端的场景。如果要求毫秒级考虑Flink这是后话。想在Spark里做分类、聚类、协同过滤直接用MLlib它提供了现成的算法封装。多个Spark作业共享同一份热数据考虑TachyonAlluxio做内存缓存避免每个作业都从HDFS重新读一遍。组件不是越多越好。小集群宁可少上组件先把HDFS、YARN、Hive、Spark这四件套跑稳再根据需求加HBase和Flume。课件里列了11个组件但生产环境里很多都只是备用选项。5. 实践环境准备VirtualBox搭伪分布式集群这些参数别照抄课件最后一章讲实践环境准备提到VirtualBox的安装与配置。很多人在这一步卡住不是因为不会装VirtualBox而是不会规划网络和资源。如果你是照着课件里的图一步步点大概率会遇到虚拟机起不来、节点互通失败、HDFS能启动但DataNode掉线这些问题。5.1 VirtualBox网络模式与内存分配搭建Hadoop集群至少需要三台虚拟机一个主节点两个从节点。VirtualBox网络模式选“仅主机网络Host-Only”或“桥接网卡”。我建议用NAT Host-Only双网卡NAT用于虚拟机访问外网下载软件包Host-Only用于集群节点间通信。如果你直接在NAT模式下搭建集群三台机器默认在同一子网但宿主机和虚拟机之间通信不稳定HDFS的DataNode上报经常超时。内存分配方面Hadoop的NameNode、DataNode、ResourceManager、NodeManager都是Java进程每台机器至少给2GB内存。主机如果是16GB内存三台虚拟机各2GB剩余留给宿主机和IDE。如果你的内存只有8GB就别硬开三台用伪分布式单机模式更实际——所有角色跑在一个JVM里也能完整走通MapReduce流程。5.2 克隆虚拟机后的三个必须改的配置很多人为了省事先装一台虚拟机配置好Hadoop后再克隆两台。克隆出来的机器如果不改配置三台机器的主机名和IP完全一样整个集群直接瘫痪。克隆后必须改三个地方# 1. 修改主机名 sudo hostnamectl set-hostname hadoop01 # 2. 修改静态IP以Ubuntu 20.04为例 sudo vi /etc/netplan/01-netcfg.yaml # 修改 addresses: [192.168.56.101/24] 为各节点不同的IP # 3. 清空Hadoop临时目录关键否则DataNode启动失败 rm -rf /usr/local/hadoop/tmp/dfs/name/current前两步好理解第三步是很多人踩坑的地方。克隆的虚拟机里已经包含原来机器上NameNode生成的元数据如果直接启动新节点的NameNode会认为自己已经有集群信息但DataNode的clusterID不匹配导致DataNode反复启动失败。清空临时目录后重新执行hdfs namenode -format格式化再启动就正常了。注意格式化之前先把原来Hadoop进程全部停掉。5.3 用脚本验证集群是否就绪启动完集群后不要只看jps里有没有五个进程还要检查数据节点是否被NameNode接纳。写一个简单的验证脚本#!/bin/bash echo Java 进程检查 jps | grep -E NameNode|DataNode|ResourceManager|NodeManager|SecondaryNameNode echo HDFS 状态 hdfs dfsadmin -report | grep -E Live datanodes|Name:|Hostname: echo YARN 节点检查 yarn node -list 2/dev/null | grep RUNNING echo 上传测试文件 echo test data | hdfs dfs -put - /tmp/test.txt hdfs dfs -cat /tmp/test.txt脚本依次检查Java进程、HDFS存活DataNode数量、YARN节点状态最后上传并读取一个测试文件。如果Live datanodes只有1个说明另外两台节点的DataNode没注册成功去对应节点的日志目录看logs/hadoop-hadoop-datanode-*.log最常见的就是clusterID不一致。如果YARN节点状态为空检查yarn-site.xml里的yarn.resourcemanager.hostname是否指向主节点。这套环境跑通之后回去看课件里的HDFS、MapReduce、Hive原理你会突然发现它们不再是抽象概念。接下来要做的就是拿课件里的例子一个个实验比如自己写个WordCount跑一遍用Hive建一张外部表查日志。只有环境在自己手里真正跑起来才算把大数据技术基础这本书读进去了。本文还有配套的精品资源点击获取 
