2026/8/5 3:18:09
FEATURED · 精选文章 
1. 从“小白”到“数据猎人”为什么你需要掌握网络爬虫如果你经常需要从不同网站上手动复制粘贴数据比如比价、追踪商品库存、收集行业报告或者想分析社交媒体上的公开讨论趋势那么你大概率已经浪费了无数个小时。这种重复、机械的劳动正是网络爬虫Web Scraper要解决的问题。它本质上是一个自动化程序模拟人类浏览网页的行为按照预设的规则高效、精准地从网页中提取你所需的结构化信息。很多人一听到“爬虫”、“编程”就觉得门槛很高望而却步。这正是我想写这篇教程的原因。市面上很多教程要么一上来就堆砌复杂的代码和框架要么只讲理论不接地气。我的目标很简单让你一个可能没有任何编程基础的小白也能一步步搭建起自己的数据抓取工具把那些散落在网络各处的信息变成你电脑里整齐的表格或数据库。这不是一个速成班而是一个“不断更新中”的实战手册我会从最核心、最通用的原理讲起覆盖从零搭建到应对反爬的完整链路并随着技术环境的变化持续补充新内容。掌握爬虫你获得的不仅仅是一个工具更是一种“数据获取”的思维方式。你会发现很多看似封闭的信息其实都有公开、合规的获取途径。接下来我们就从理解网页的“骨架”开始。2. 网页的“骨架”与“血肉”理解HTML与数据提取在你让程序去自动抓取数据之前你必须先教会它“看”网页。人类通过视觉和上下文理解网页内容而程序则需要依赖网页的源代码其中最核心的就是HTML超文本标记语言。你可以把HTML理解为网页的“骨架”和“蓝图”它定义了页面的结构哪里是标题哪里是段落哪里是图片哪里是链接。2.1 如何查看网页的“骨架”这是你的第一步操作。在任何现代浏览器如Chrome, Firefox, Edge中打开一个网页比如一个电商商品页。在页面上任意位置点击鼠标右键选择“检查”或“检查元素”。浏览器右侧或底部会弹出一个开发者工具窗口。默认打开的通常是“Elements”或“元素”标签页里面呈现的就是当前网页的HTML源代码。你会看到很多由尖括号包裹的“标签”它们成对出现例如div.../divp.../pa href....../a。这些标签像乐高积木一样层层嵌套构成了整个页面。你的任务就是在这个复杂的“标签森林”里找到存放目标数据的那棵“树”。2.2 定位数据的“坐标”XPath与CSS选择器找到了HTML下一步就是告诉程序“去div class”price”这个标签里把里面的文本拿出来。” 这就需要一种“定位语言”。最常用的两种是XPath和CSS选择器。CSS选择器的语法更接近我们写网页样式时的习惯非常直观。例如div.price表示选择所有class属性为price的div标签。#main-content表示选择id属性为main-content的标签ID在页面中通常是唯一的。ul.products li表示选择class为products的ul标签下的直接子级li标签。XPath则像文件路径功能更强大可以基于位置、属性、文本内容等进行更复杂的定位。例如//div[class“price”]表示在整个文档中查找class属性为price的div标签//表示从根节点开始查找。//h1[contains(text(), “手机”)]表示查找文本内容包含“手机”的h1标签。实操心得对于新手我强烈建议从CSS选择器入手。它的学习曲线平缓在大多数简单到中等复杂度的场景下完全够用而且现代浏览器提供了极其好用的工具来辅助你。在开发者工具的“Elements”面板中你可以将鼠标悬浮在HTML代码上浏览器会高亮显示页面对应的区域。更厉害的是你可以直接右键点击页面上你感兴趣的元素比如一个商品标题选择“检查”开发者工具会自动定位并高亮对应的HTML代码行。然后你可以右键点击这行代码选择“Copy” - “Copy selector”或“Copy XPath”浏览器就会帮你生成一个可能可用的选择器路径。这是你初期学习和测试时最快捷的方式。2.3 动态内容与JavaScript渲染这里有一个关键的坑你通过“检查”看到的HTML并不一定是浏览器最初从服务器收到的那个“原始”HTML。很多现代网站尤其是单页应用如淘宝、微博为了提升用户体验会使用JavaScript在浏览器端动态加载和渲染内容。你第一次“查看网页源代码”看到的内容可能非常简陋只有一个基本的框架商品列表、评论数据都是空的因为它们是通过后续的JS请求加载的。如何判断一个简单的方法是对比在网页上右键选择“查看网页源代码”这是服务器返回的最原始HTML。使用开发者工具“Elements”面板看到的内容。 如果两者差异巨大“Elements”面板里内容丰富而“网页源代码”里却找不到你的目标数据那基本可以确定数据是动态加载的。避坑指南遇到动态渲染的网站传统的直接下载HTML再解析的方法如requests库BeautifulSoup就会失效。这时你需要用到能执行JavaScript的“无头浏览器”工具比如Selenium或Playwright。它们可以模拟一个真实的浏览器环境等待JS执行完毕、页面完全渲染后再获取完整的HTML内容。这相当于派了一个“机器人”去帮你把网页完整地打开并渲染好你再从它那里拿最终的结果。虽然速度比直接请求慢但为了数据这点代价是值得的。我们会在后面的实战章节详细讲解。3. 构建你的第一把“数据铲”Python环境与基础库搭建工欲善其事必先利其器。我们将使用Python作为主要工具语言因为它语法简洁、库生态丰富是爬虫领域的首选。即使你从未写过代码跟着步骤走也能完成。3.1 Python环境安装与包管理首先访问Python官网下载并安装最新稳定版的Python如3.11。安装时务必勾选“Add Python to PATH”选项这能让你在命令行中直接使用python和pip命令。安装完成后打开命令行Windows上是CMD或PowerShellMac/Linux上是Terminal输入python --version如果显示版本号则说明安装成功。Python的强大在于其海量的第三方库。pip是Python的包管理工具用于安装这些库。我们首先需要安装几个核心库requests:用于向网站发送HTTP请求获取网页HTML内容。它是爬虫的“手”负责去拿数据。BeautifulSoup4 (bs4):用于解析HTML/XML文档从复杂的标签结构中提取数据。它是爬虫的“眼睛”和“大脑”负责看懂并找到数据。lxml:一个高性能的HTML/XML解析器BeautifulSoup可以搭配它使用速度更快。在命令行中一次性安装它们pip install requests beautifulsoup4 lxml3.2 第一个爬虫脚本抓取静态页面标题让我们从一个最简单的例子开始抓取一个网页的标题title标签内的内容。我们以一个简单的测试页为例。创建一个新的文本文件命名为first_scraper.py用代码编辑器如VSCode、Sublime Text甚至记事本打开输入以下代码import requests from bs4 import BeautifulSoup # 1. 定义目标网址 url ‘https://httpbin.org/html‘ # 这是一个用于测试的静态页面 # 2. 发送HTTP GET请求获取网页内容 response requests.get(url) # 3. 检查请求是否成功状态码200表示成功 if response.status_code 200: # 4. 使用‘lxml‘解析器解析返回的HTML内容 soup BeautifulSoup(response.text, ‘lxml‘) # 5. 使用CSS选择器查找title标签并获取其文本内容 page_title soup.select_one(‘title‘).text # 6. 打印结果 print(f“网页标题是{page_title}“) else: print(f“请求失败状态码{response.status_code}“)保存文件后在命令行中导航到该文件所在目录运行python first_scraper.py你应该会看到输出“网页标题是Herman Melville - Moby-Dick”。代码逐行解读import ...: 导入我们安装好的库。requests.get(url): 向指定的url发送一个GET请求服务器返回的响应存储在response对象中。response.status_code: HTTP状态码200代表成功404代表未找到500代表服务器错误等。这是判断请求是否成功的首要依据。response.text: 响应体中的文本内容也就是我们需要的HTML字符串。BeautifulSoup(response.text, ‘lxml‘): 创建一个BeautifulSoup对象soup它装载了被解析后的HTML文档树‘lxml‘指定使用lxml解析器。soup.select_one(‘title‘): 使用CSS选择器语法在soup中查找第一个匹配‘title‘选择器的元素。.text属性获取该元素的纯文本内容。核心原理这个流程——发送请求-接收响应-解析内容-提取数据——是所有爬虫最基础、最核心的工作流。无论后续爬虫多复杂都是在这个骨架上添加血肉。3.3 处理更复杂的数据提取以图书信息为例现在我们来挑战一个更实际的例子从一个静态的图书列表页中提取每本书的名称和价格。假设我们有一个简单的测试页面结构如下仅为示例真实HTML会更复杂div class“book-list“ div class“book-item“ h2 class“title“Python编程从入门到实践/h2 p class“price“89.00元/p /div div class“book-item“ h2 class“title“深入理解计算机系统/h2 p class“price“139.00元/p /div /div我们的目标是提取出两个书名和对应的价格。修改你的脚本import requests from bs4 import BeautifulSoup url ‘你的测试页面地址‘ # 这里需要替换为一个真实的、结构类似的静态页面URL response requests.get(url) if response.status_code 200: soup BeautifulSoup(response.text, ‘lxml‘) # 找到所有包含图书信息的容器 book_items soup.select(‘div.book-item‘) # select()返回一个列表 for item in book_items: # 在每个容器内查找书名和价格 # 注意select_one在找不到时会返回None所以要做好判断 title_elem item.select_one(‘h2.title‘) price_elem item.select_one(‘p.price‘) title title_elem.text.strip() if title_elem else ‘未找到标题‘ price price_elem.text.strip() if price_elem else ‘未找到价格‘ print(f“书名{title}, 价格{price}“) else: print(“请求失败“)关键点解析soup.select(‘div.book-item‘): 使用select方法它会找到文档中所有匹配该CSS选择器的元素并以列表形式返回。这让我们可以遍历每一个图书条目。item.select_one(...): 在每一个book-item容器内再次使用选择器定位具体的标题和价格元素。这是“先抓大再抓小”的常用策略。.strip(): 用于去除字符串两端的空白字符如空格、换行符让数据更干净。if ... else ...: 这是一个简单的容错处理。如果页面结构偶尔有变化某个元素可能找不到用select_one会得到None直接调用.text会报错。这样判断可以避免程序意外崩溃。经验之谈在编写选择器时尽量选择那些具有唯一性、稳定性的属性比如id或特定的class。避免使用可能变化的索引位置如div:nth-child(3)。多利用浏览器的开发者工具进行实时测试和调整。你可以打开Console控制台标签输入类似document.querySelectorAll(‘div.book-item‘)的JavaScript命令来验证你的选择器是否能正确选中目标元素。4. 应对真实世界的挑战反爬虫机制与伦理策略当你兴冲冲地用上面的脚本去抓取一个真实网站时很可能会碰壁。网站管理员为了保护服务器资源和数据安全会设置各种反爬虫机制。你的请求可能被拒绝返回错误码或者收到一个“请验证你是人类”的页面。理解并合规地应对这些机制是爬虫从玩具走向实用的关键。4.1 常见的反爬虫手段及应对策略反爬手段原理应对策略User-Agent检测服务器检查请求头中的User-Agent字段判断请求是否来自主流浏览器。伪装UA在requests.get()中设置headers参数模拟浏览器。IP频率限制服务器记录单个IP地址的请求频率短时间内请求过多会封禁该IP。使用代理IP池轮换使用多个IP地址发送请求。降低请求频率在请求间添加随机延时如time.sleep(random.uniform(1, 3))。请求头完整性检查检查请求头是否包含Referer,Accept-Language,Cookie等常见浏览器会发送的字段。模拟完整请求头使用浏览器开发者工具的Network面板复制真实浏览器访问时的所有请求头信息。Cookie/Session验证某些操作如登录后查看、分页需要携带有效的Cookie或维持会话状态。使用Session对象requests.Session()可以自动管理Cookie模拟一次浏览器会话。先模拟登录获取Cookie。动态参数/令牌每次请求需要携带一个由前端JavaScript生成的、一次性的参数如token,signature。逆向分析JS分析网页JS代码找出参数生成逻辑并用Python复现。或使用Selenium等工具让浏览器自然执行JS生成参数。验证码弹出图片、滑块、点选等验证码直接拦截自动化程序。手动处理对于低频需求遇到时手动输入。OCR识别对于简单图形验证码可使用pytesseract等库尝试识别。专业打码平台付费服务通过API调用人工或高识别率服务。4.2 伪装请求头让自己看起来像浏览器这是最基本也是最有效的一步。一个真实的浏览器请求头看起来是这样的以Chrome为例User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36 Accept: text/html,application/xhtmlxml,application/xml;q0.9,image/avif,image/webp,image/apng,*/*;q0.8 Accept-Language: zh-CN,zh;q0.9,en;q0.8 Accept-Encoding: gzip, deflate, br Connection: keep-alive Upgrade-Insecure-Requests: 1在你的爬虫中你需要构建一个类似的字典传递给requestsimport requests from bs4 import BeautifulSoup url ‘https://example.com‘ headers { ‘User-Agent‘: ‘Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36‘, ‘Accept‘: ‘text/html,application/xhtmlxml,application/xml;q0.9,image/webp,*/*;q0.8‘, ‘Accept-Language‘: ‘zh-CN,zh;q0.9‘, ‘Referer‘: ‘https://www.google.com/‘, # 模拟从谷歌跳转过来 ‘Connection‘: ‘keep-alive‘, } response requests.get(url, headersheaders) # ... 后续解析代码重要提示User-Agent可以定期从网上搜索最新的字符串进行更新。Referer字段有时至关重要它告诉服务器你从哪个页面跳转过来对于一些防盗链或流程性页面不设置正确的Referer请求会被拒绝。4.3 处理登录与会话Session很多数据需要登录后才能访问。requests.Session()对象可以帮你维持登录状态。import requests login_url ‘https://example.com/login‘ data_url ‘https://example.com/dashboard‘ # 创建一个会话对象 session requests.Session() # 1. 模拟登录 login_data { ‘username‘: ‘your_username‘, ‘password‘: ‘your_password‘, # 可能还有隐藏的token字段需要从登录页HTML中提前提取 } # 通常登录是POST请求 login_response session.post(login_url, datalogin_data) # 检查登录是否成功可以通过状态码、或检查响应内容是否包含登录成功提示 if ‘登录成功‘ in login_response.text: print(“登录成功“) # 2. 使用同一个session访问需要登录的页面它会自动携带登录后的cookies dashboard_response session.get(data_url) # ... 解析dashboard_response获取数据 else: print(“登录失败“)4.4 爬虫伦理与Robots协议在技术之外我们必须讨论伦理与法律。并非所有公开可访问的数据都允许被随意抓取。Robots协议robots.txt这是一个放在网站根目录如https://example.com/robots.txt下的文本文件用于告知爬虫哪些页面可以抓取哪些不可以。例如User-agent: * # 针对所有爬虫 Disallow: /admin/ # 禁止抓取/admin/目录 Disallow: /search? # 禁止抓取搜索页面 Crawl-delay: 5 # 建议爬取延迟为5秒作为一个负责任的爬虫开发者你应该尊重robots.txt的规则。Python的urllib.robotparser模块可以帮助你解析它。法律与版权抓取的数据用途至关重要。用于个人学习、研究或公益目的通常风险较低。但用于商业盈利、大量复制发布、或对目标网站造成明显负担如DDoS攻击效果则可能侵犯版权、构成不正当竞争或违反《反不正当竞争法》、《数据安全法》等相关法规。最小侵扰原则控制频率在请求间添加足够的延时如2-10秒避免对目标服务器造成压力。缓存数据对于不常变动的数据不要反复抓取可以将结果保存到本地文件或数据库。识别自己有些网站允许在User-Agent中标识你的爬虫名称和联系方式如MyResearchBot/1.0 (contactexample.com)以便网站管理员联系你。只抓取必要数据不要贪婪地下载所有链接和图片只提取你真正需要的信息。核心原则你的爬虫应该像一个有礼貌的访客而不是一个横冲直撞的强盗。在开始一个爬虫项目前花点时间查看robots.txt评估数据用途的合法性并设计友好的抓取策略。这不仅能避免法律风险也能让你的爬虫项目更持久、更稳定地运行。5. 进阶实战征服动态渲染页面与数据存储掌握了静态页面抓取和基础反爬策略后我们将面对更复杂的挑战动态渲染页面并学习如何将抓取到的数据持久化保存。5.1 使用Selenium自动化真实浏览器当目标网站的数据由JavaScript动态加载时requestsBeautifulSoup的组合就无能为力了。我们需要一个能执行JavaScript的浏览器环境。Selenium就是一个自动化测试工具可以完美地用于爬虫。安装与配置安装Selenium库pip install selenium下载浏览器驱动WebDriver。你需要根据你电脑上安装的Chrome浏览器版本下载对应版本的ChromeDriver。将其解压后的可执行文件如chromedriver.exe放在一个已知目录或将该目录添加到系统PATH环境变量中。基础使用示例from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC import time # 1. 创建浏览器驱动选项可以设置无头模式不显示浏览器界面 options webdriver.ChromeOptions() # options.add_argument(‘--headless‘) # 启用无头模式后台运行 # options.add_argument(‘--disable-gpu‘) # 2. 初始化浏览器驱动 driver webdriver.Chrome(optionsoptions) # 确保chromedriver在PATH中 try: # 3. 访问目标网址 driver.get(‘https://example.com/dynamic-page‘) # 4. 显式等待等待某个关键元素如商品列表加载出来 # 这比固定的time.sleep()更高效、更稳定 wait WebDriverWait(driver, 10) # 最多等待10秒 product_list wait.until( EC.presence_of_element_located((By.CSS_SELECTOR, ‘div.product-list‘)) ) # 5. 此时页面已渲染完成可以获取完整的HTML page_source driver.page_source # 6. 你可以继续用BeautifulSoup解析page_source或者直接用Selenium的方法查找元素 items driver.find_elements(By.CSS_SELECTOR, ‘div.product-item‘) for item in items: # Selenium的WebElement对象也有类似的方法 title item.find_element(By.CSS_SELECTOR, ‘h2‘).text price item.find_element(By.CSS_SELECTOR, ‘.price‘).text print(title, price) # 7. 模拟交互例如点击“下一页”按钮 # next_button driver.find_element(By.CSS_SELECTOR, ‘a.next-page‘) # next_button.click() # time.sleep(2) # 等待页面加载 # ... 可以继续抓取下一页 finally: # 8. 关闭浏览器 driver.quit()Selenium核心技巧显式等待WebDriverWait这是Selenium最佳实践之一。它让程序等待直到某个条件被满足如元素出现、元素可点击而不是傻等固定的秒数。这大大提高了脚本的稳定性和运行效率。无头模式Headless在服务器或无界面的环境中运行时非常有用可以节省资源。但在开发调试阶段建议先关闭无头模式直观地观察浏览器的操作过程。查找元素find_element找第一个和find_elements找所有是核心方法支持By.ID,By.CLASS_NAME,By.CSS_SELECTOR,By.XPATH等多种定位方式。5.2 数据存储从CSV到数据库抓取到的数据如果只打印在屏幕上那就太可惜了。我们需要将其保存下来。根据数据量和复杂度可以选择不同的存储方式。1. 存储为CSV文件适合中小规模、表格型数据CSV逗号分隔值是一种通用格式可以用Excel直接打开。import csv data [ {‘title‘: ‘Python编程‘, ‘price‘: ‘89‘, ‘author‘: ‘John‘}, {‘title‘: ‘深入理解计算机系统‘, ‘price‘: ‘139‘, ‘author‘: ‘Jane‘}, ] filename ‘books.csv‘ with open(filename, ‘w‘, newline‘‘, encoding‘utf-8-sig‘) as f: # utf-8-sig解决Excel中文乱码 # 定义CSV文件的列名 fieldnames [‘title‘, ‘price‘, ‘author‘] writer csv.DictWriter(f, fieldnamesfieldnames) writer.writeheader() # 写入标题行 for row in data: writer.writerow(row) # 写入每一行数据 print(f“数据已保存到 {filename}“)2. 存储为JSON文件适合嵌套结构、配置信息JSON格式灵活易于在程序间交换。import json data [ {‘title‘: ‘Python编程‘, ‘price‘: ‘89‘, ‘author‘: ‘John‘}, {‘title‘: ‘深入理解计算机系统‘, ‘price‘: ‘139‘, ‘author‘: ‘Jane‘}, ] filename ‘books.json‘ with open(filename, ‘w‘, encoding‘utf-8‘) as f: # indent参数让JSON格式化输出更易读 json.dump(data, f, ensure_asciiFalse, indent2) print(f“数据已保存到 {filename}“)3. 存储到SQLite数据库适合关系型数据、需要查询SQLite是一个轻量级的文件数据库无需安装服务器。import sqlite3 # 连接到数据库如果不存在则创建 conn sqlite3.connect(‘books.db‘) cursor conn.cursor() # 创建表 cursor.execute(‘‘‘ CREATE TABLE IF NOT EXISTS books ( id INTEGER PRIMARY KEY AUTOINCREMENT, title TEXT NOT NULL, price REAL, author TEXT ) ‘‘‘) # 插入数据 books_data [(‘Python编程‘, 89.0, ‘John‘), (‘深入理解计算机系统‘, 139.0, ‘Jane‘)] cursor.executemany(‘INSERT INTO books (title, price, author) VALUES (?, ?, ?)‘, books_data) # 提交事务并关闭连接 conn.commit() conn.close() print(“数据已存入数据库。“)存储策略选择快速验证、数据量小用CSV或直接打印。数据结构复杂、有嵌套用JSON。数据量大、需要复杂查询、后续分析用SQLite入门或MySQL/PostgreSQL生产环境。海量非结构化或半结构化数据考虑MongoDB等NoSQL数据库。6. 项目架构与调度让爬虫稳定、高效地运行单个脚本抓取一个页面是简单的但一个完整的爬虫项目往往需要抓取成千上万个页面处理各种异常并定期运行。这就需要更好的架构和调度。6.1 构建健壮的爬虫错误处理与日志记录网络请求充满了不确定性连接超时、服务器错误、页面结构变化、IP被禁……一个健壮的爬虫必须能妥善处理这些异常而不是轻易崩溃。import requests from bs4 import BeautifulSoup import logging import time from requests.exceptions import RequestException, Timeout # 配置日志记录运行信息便于排查问题 logging.basicConfig(levellogging.INFO, format‘%(asctime)s - %(levelname)s - %(message)s‘, handlers[ logging.FileHandler(‘scraper.log‘), logging.StreamHandler() ]) logger logging.getLogger(__name__) def scrape_page(url, retries3): 抓取单个页面的函数包含重试机制 headers {‘User-Agent‘: ‘你的UA‘} for attempt in range(retries): try: # 设置超时时间避免无限等待 response requests.get(url, headersheaders, timeout10) response.raise_for_status() # 如果状态码不是200抛出HTTPError异常 # 检查内容是否有效例如是否包含预期的关键词 if ‘预期关键词‘ not in response.text: logger.warning(f“页面 {url} 内容不符合预期可能结构已变。“) return None return response.text except Timeout: logger.warning(f“请求 {url} 超时第 {attempt 1} 次重试...“) except RequestException as e: logger.error(f“请求 {url} 时发生错误: {e}第 {attempt 1} 次重试...“) except Exception as e: logger.error(f“处理 {url} 时发生未知错误: {e}“) return None # 重试前等待一段时间等待时间可以逐渐增加指数退避 time.sleep(2 ** attempt) logger.error(f“抓取 {url} 失败已达最大重试次数 {retries}。“) return None # 使用示例 html scrape_page(‘https://example.com‘) if html: soup BeautifulSoup(html, ‘lxml‘) # ... 解析逻辑 else: # 处理抓取失败的情况例如记录到失败列表稍后重试 pass关键点异常捕获使用try...except块捕获requests可能抛出的各种异常如连接错误、超时、HTTP错误。重试机制对于网络波动等临时性错误重试往往能解决问题。设置一个合理的最大重试次数如3次。指数退避在每次重试前等待的时间逐渐增加如1秒2秒4秒避免对服务器造成持续冲击。日志记录使用logging模块将信息INFO、警告WARNING、错误ERROR记录到文件和终端。这是后期排查问题的生命线。6.2 任务队列与分布式爬虫雏形Scrapy框架简介当你要抓取整个网站涉及URL去重、深度优先/广度优先遍历、并发请求时自己从零管理这些逻辑会非常复杂。这时就该使用专业的爬虫框架最著名的就是Scrapy。Scrapy是一个为爬取网站数据、提取结构性数据而编写的异步处理框架。它内置了引擎Engine控制所有组件的数据流。调度器Scheduler接收引擎发过来的请求并决定何时将其加入队列。下载器Downloader负责下载网页内容。爬虫Spider你编写规则的地方定义如何抓取、如何解析。项目管道Item Pipeline处理爬取到的数据清洗、验证、存储。下载器中间件、蜘蛛中间件用于全局处理请求和响应。使用Scrapy你可以用很少的代码实现一个高效、健壮的爬虫。它自动处理了并发、去重、重试、日志等复杂问题。虽然学习曲线比requestsBeautifulSoup陡峭但对于中型以上项目它能极大提升开发效率和运行性能。入门建议不要一开始就学Scrapy。先用requestsBeautifulSoupSelenium把基础原理和常见问题都摸透。当你开始觉得管理多个URL、处理并发很麻烦时就是学习Scrapy的最佳时机。它的官方文档非常详细从创建一个项目到编写第一个Spider都有循序渐进的教程。6.3 定时任务与自动化部署爬虫往往需要定期运行如每天凌晨抓取最新价格。在个人电脑上你可以使用系统自带的定时任务工具Windows:任务计划程序Task SchedulermacOS/Linux:Crontab例如在Linux/Mac上使用crontab -e编辑定时任务添加一行0 2 * * * /usr/bin/python3 /path/to/your/scraper.py /path/to/log.log 21这表示每天凌晨2点整执行你的爬虫脚本并将输出重定向到日志文件。对于更复杂的项目可以考虑在云服务器如阿里云ECS、腾讯云CVM上部署使用Supervisor等进程管理工具来保证爬虫进程的稳定运行即使崩溃也能自动重启。7. 疑难排查与性能优化从能跑到跑得好即使爬虫能运行起来也会遇到各种奇怪的问题。同时随着数据量的增长性能瓶颈也会出现。本章节分享一些常见的排查思路和优化技巧。7.1 常见问题排查清单当你发现爬虫不工作或数据不对时可以按照以下清单逐步排查请求被拒绝403/404/429等检查请求头特别是User-Agent,Referer,Cookie是否模拟到位。用浏览器开发者工具的Network面板对比。检查IP是否被封锁尝试用手机热点或其他网络环境访问。如果可行说明你的IP被目标网站封了需要使用代理IP。检查频率是否请求太快在关键请求间添加time.sleep(random.uniform(3, 7))这样的随机延时。抓取不到数据返回空列表确认页面是否为动态加载对比“查看网页源代码”和开发者工具“Elements”面板的内容。如果不同换用Selenium。检查CSS选择器/XPath页面结构可能已更新。用浏览器开发者工具重新检查并复制选择器。使用soup.prettify()打印部分HTML确认你查找的标签是否存在。检查是否需要登录或特定Cookie尝试在浏览器中手动完成操作登录、点击某个按钮然后从Network面板复制完整的请求头包括Cookie到你的爬虫中。数据乱码统一编码确保请求和解析时使用正确的字符编码。response.encoding response.apparent_encoding可以让requests自动检测编码。保存文件时指定encoding‘utf-8‘。Selenium元素找不到或操作失败等待时间不足将固定的time.sleep()换成WebDriverWait显式等待条件设为元素可见、可点击等。元素在iframe中需要先用driver.switch_to.frame(frame_reference)切换到对应的iframe内才能操作其中的元素。元素被遮挡某些弹窗或浮动层可能会遮挡你要点击的元素。可以尝试用JavaScript直接点击driver.execute_script(“arguments[0].click();“, element)。7.2 性能优化技巧并发请求对于requests 使用concurrent.futures或asyncioaiohttp库实现异步并发可以大幅提升抓取大量独立页面的速度。但务必注意控制并发数避免对目标服务器造成攻击。import concurrent.futures import requests def fetch(url): return requests.get(url).text[:100] # 示例只取前100字符 urls [‘url1‘, ‘url2‘, ‘url3‘, ...] # 使用线程池max_workers控制并发数通常不要超过10 with concurrent.futures.ThreadPoolExecutor(max_workers5) as executor: futures {executor.submit(fetch, url): url for url in urls} for future in concurrent.futures.as_completed(futures): data future.result() print(data)缓存已抓取内容 对于不常变动的页面如商品详情页的基础信息可以将抓取到的HTML或解析结果缓存到本地文件或数据库。下次请求时先检查缓存避免重复抓取。这既尊重了网站也提升了速度。优化Selenium无头模式生产环境务必使用--headless。禁用图片和CSS如果不需要渲染样式可以添加选项来禁用加快加载速度。options.add_argument(‘--blink-settingsimagesEnabledfalse‘) prefs {“profile.managed_default_content_settings.images“: 2} options.add_experimental_option(“prefs“, prefs)复用浏览器实例对于需要连续操作多个页面的任务不要频繁地driver.quit()和重新webdriver.Chrome()创建一个实例重复使用。数据库批量操作 当需要向数据库插入大量数据时不要每条数据都执行一次INSERT语句而是攒够一定数量如100条后使用executemany进行批量插入或者使用数据库的批量导入工具如SQLite的.import命令性能会有数量级的提升。爬虫技术的探索永无止境每个网站都是一座独特的城堡需要你仔细观察、耐心分析、不断调试。从最简单的静态页面开始逐步攻克登录、动态渲染、反爬策略等难关最终构建出稳定、高效、合规的数据管道。这个过程本身就是一次极佳的逻辑思维与工程实践训练。记住保持耐心尊重规则持续学习数据世界的大门将为你敞开。
Python网络爬虫入门实战：从零构建数据抓取工具
1. 从“小白”到“数据猎人”为什么你需要掌握网络爬虫如果你经常需要从不同网站上手动复制粘贴数据比如比价、追踪商品库存、收集行业报告或者想分析社交媒体上的公开讨论趋势那么你大概率已经浪费了无数个小时。这种重复、机械的劳动正是网络爬虫Web Scraper要解决的问题。它本质上是一个自动化程序模拟人类浏览网页的行为按照预设的规则高效、精准地从网页中提取你所需的结构化信息。很多人一听到“爬虫”、“编程”就觉得门槛很高望而却步。这正是我想写这篇教程的原因。市面上很多教程要么一上来就堆砌复杂的代码和框架要么只讲理论不接地气。我的目标很简单让你一个可能没有任何编程基础的小白也能一步步搭建起自己的数据抓取工具把那些散落在网络各处的信息变成你电脑里整齐的表格或数据库。这不是一个速成班而是一个“不断更新中”的实战手册我会从最核心、最通用的原理讲起覆盖从零搭建到应对反爬的完整链路并随着技术环境的变化持续补充新内容。掌握爬虫你获得的不仅仅是一个工具更是一种“数据获取”的思维方式。你会发现很多看似封闭的信息其实都有公开、合规的获取途径。接下来我们就从理解网页的“骨架”开始。2. 网页的“骨架”与“血肉”理解HTML与数据提取在你让程序去自动抓取数据之前你必须先教会它“看”网页。人类通过视觉和上下文理解网页内容而程序则需要依赖网页的源代码其中最核心的就是HTML超文本标记语言。你可以把HTML理解为网页的“骨架”和“蓝图”它定义了页面的结构哪里是标题哪里是段落哪里是图片哪里是链接。2.1 如何查看网页的“骨架”这是你的第一步操作。在任何现代浏览器如Chrome, Firefox, Edge中打开一个网页比如一个电商商品页。在页面上任意位置点击鼠标右键选择“检查”或“检查元素”。浏览器右侧或底部会弹出一个开发者工具窗口。默认打开的通常是“Elements”或“元素”标签页里面呈现的就是当前网页的HTML源代码。你会看到很多由尖括号包裹的“标签”它们成对出现例如div.../divp.../pa href....../a。这些标签像乐高积木一样层层嵌套构成了整个页面。你的任务就是在这个复杂的“标签森林”里找到存放目标数据的那棵“树”。2.2 定位数据的“坐标”XPath与CSS选择器找到了HTML下一步就是告诉程序“去div class”price”这个标签里把里面的文本拿出来。” 这就需要一种“定位语言”。最常用的两种是XPath和CSS选择器。CSS选择器的语法更接近我们写网页样式时的习惯非常直观。例如div.price表示选择所有class属性为price的div标签。#main-content表示选择id属性为main-content的标签ID在页面中通常是唯一的。ul.products li表示选择class为products的ul标签下的直接子级li标签。XPath则像文件路径功能更强大可以基于位置、属性、文本内容等进行更复杂的定位。例如//div[class“price”]表示在整个文档中查找class属性为price的div标签//表示从根节点开始查找。//h1[contains(text(), “手机”)]表示查找文本内容包含“手机”的h1标签。实操心得对于新手我强烈建议从CSS选择器入手。它的学习曲线平缓在大多数简单到中等复杂度的场景下完全够用而且现代浏览器提供了极其好用的工具来辅助你。在开发者工具的“Elements”面板中你可以将鼠标悬浮在HTML代码上浏览器会高亮显示页面对应的区域。更厉害的是你可以直接右键点击页面上你感兴趣的元素比如一个商品标题选择“检查”开发者工具会自动定位并高亮对应的HTML代码行。然后你可以右键点击这行代码选择“Copy” - “Copy selector”或“Copy XPath”浏览器就会帮你生成一个可能可用的选择器路径。这是你初期学习和测试时最快捷的方式。2.3 动态内容与JavaScript渲染这里有一个关键的坑你通过“检查”看到的HTML并不一定是浏览器最初从服务器收到的那个“原始”HTML。很多现代网站尤其是单页应用如淘宝、微博为了提升用户体验会使用JavaScript在浏览器端动态加载和渲染内容。你第一次“查看网页源代码”看到的内容可能非常简陋只有一个基本的框架商品列表、评论数据都是空的因为它们是通过后续的JS请求加载的。如何判断一个简单的方法是对比在网页上右键选择“查看网页源代码”这是服务器返回的最原始HTML。使用开发者工具“Elements”面板看到的内容。 如果两者差异巨大“Elements”面板里内容丰富而“网页源代码”里却找不到你的目标数据那基本可以确定数据是动态加载的。避坑指南遇到动态渲染的网站传统的直接下载HTML再解析的方法如requests库BeautifulSoup就会失效。这时你需要用到能执行JavaScript的“无头浏览器”工具比如Selenium或Playwright。它们可以模拟一个真实的浏览器环境等待JS执行完毕、页面完全渲染后再获取完整的HTML内容。这相当于派了一个“机器人”去帮你把网页完整地打开并渲染好你再从它那里拿最终的结果。虽然速度比直接请求慢但为了数据这点代价是值得的。我们会在后面的实战章节详细讲解。3. 构建你的第一把“数据铲”Python环境与基础库搭建工欲善其事必先利其器。我们将使用Python作为主要工具语言因为它语法简洁、库生态丰富是爬虫领域的首选。即使你从未写过代码跟着步骤走也能完成。3.1 Python环境安装与包管理首先访问Python官网下载并安装最新稳定版的Python如3.11。安装时务必勾选“Add Python to PATH”选项这能让你在命令行中直接使用python和pip命令。安装完成后打开命令行Windows上是CMD或PowerShellMac/Linux上是Terminal输入python --version如果显示版本号则说明安装成功。Python的强大在于其海量的第三方库。pip是Python的包管理工具用于安装这些库。我们首先需要安装几个核心库requests:用于向网站发送HTTP请求获取网页HTML内容。它是爬虫的“手”负责去拿数据。BeautifulSoup4 (bs4):用于解析HTML/XML文档从复杂的标签结构中提取数据。它是爬虫的“眼睛”和“大脑”负责看懂并找到数据。lxml:一个高性能的HTML/XML解析器BeautifulSoup可以搭配它使用速度更快。在命令行中一次性安装它们pip install requests beautifulsoup4 lxml3.2 第一个爬虫脚本抓取静态页面标题让我们从一个最简单的例子开始抓取一个网页的标题title标签内的内容。我们以一个简单的测试页为例。创建一个新的文本文件命名为first_scraper.py用代码编辑器如VSCode、Sublime Text甚至记事本打开输入以下代码import requests from bs4 import BeautifulSoup # 1. 定义目标网址 url ‘https://httpbin.org/html‘ # 这是一个用于测试的静态页面 # 2. 发送HTTP GET请求获取网页内容 response requests.get(url) # 3. 检查请求是否成功状态码200表示成功 if response.status_code 200: # 4. 使用‘lxml‘解析器解析返回的HTML内容 soup BeautifulSoup(response.text, ‘lxml‘) # 5. 使用CSS选择器查找title标签并获取其文本内容 page_title soup.select_one(‘title‘).text # 6. 打印结果 print(f“网页标题是{page_title}“) else: print(f“请求失败状态码{response.status_code}“)保存文件后在命令行中导航到该文件所在目录运行python first_scraper.py你应该会看到输出“网页标题是Herman Melville - Moby-Dick”。代码逐行解读import ...: 导入我们安装好的库。requests.get(url): 向指定的url发送一个GET请求服务器返回的响应存储在response对象中。response.status_code: HTTP状态码200代表成功404代表未找到500代表服务器错误等。这是判断请求是否成功的首要依据。response.text: 响应体中的文本内容也就是我们需要的HTML字符串。BeautifulSoup(response.text, ‘lxml‘): 创建一个BeautifulSoup对象soup它装载了被解析后的HTML文档树‘lxml‘指定使用lxml解析器。soup.select_one(‘title‘): 使用CSS选择器语法在soup中查找第一个匹配‘title‘选择器的元素。.text属性获取该元素的纯文本内容。核心原理这个流程——发送请求-接收响应-解析内容-提取数据——是所有爬虫最基础、最核心的工作流。无论后续爬虫多复杂都是在这个骨架上添加血肉。3.3 处理更复杂的数据提取以图书信息为例现在我们来挑战一个更实际的例子从一个静态的图书列表页中提取每本书的名称和价格。假设我们有一个简单的测试页面结构如下仅为示例真实HTML会更复杂div class“book-list“ div class“book-item“ h2 class“title“Python编程从入门到实践/h2 p class“price“89.00元/p /div div class“book-item“ h2 class“title“深入理解计算机系统/h2 p class“price“139.00元/p /div /div我们的目标是提取出两个书名和对应的价格。修改你的脚本import requests from bs4 import BeautifulSoup url ‘你的测试页面地址‘ # 这里需要替换为一个真实的、结构类似的静态页面URL response requests.get(url) if response.status_code 200: soup BeautifulSoup(response.text, ‘lxml‘) # 找到所有包含图书信息的容器 book_items soup.select(‘div.book-item‘) # select()返回一个列表 for item in book_items: # 在每个容器内查找书名和价格 # 注意select_one在找不到时会返回None所以要做好判断 title_elem item.select_one(‘h2.title‘) price_elem item.select_one(‘p.price‘) title title_elem.text.strip() if title_elem else ‘未找到标题‘ price price_elem.text.strip() if price_elem else ‘未找到价格‘ print(f“书名{title}, 价格{price}“) else: print(“请求失败“)关键点解析soup.select(‘div.book-item‘): 使用select方法它会找到文档中所有匹配该CSS选择器的元素并以列表形式返回。这让我们可以遍历每一个图书条目。item.select_one(...): 在每一个book-item容器内再次使用选择器定位具体的标题和价格元素。这是“先抓大再抓小”的常用策略。.strip(): 用于去除字符串两端的空白字符如空格、换行符让数据更干净。if ... else ...: 这是一个简单的容错处理。如果页面结构偶尔有变化某个元素可能找不到用select_one会得到None直接调用.text会报错。这样判断可以避免程序意外崩溃。经验之谈在编写选择器时尽量选择那些具有唯一性、稳定性的属性比如id或特定的class。避免使用可能变化的索引位置如div:nth-child(3)。多利用浏览器的开发者工具进行实时测试和调整。你可以打开Console控制台标签输入类似document.querySelectorAll(‘div.book-item‘)的JavaScript命令来验证你的选择器是否能正确选中目标元素。4. 应对真实世界的挑战反爬虫机制与伦理策略当你兴冲冲地用上面的脚本去抓取一个真实网站时很可能会碰壁。网站管理员为了保护服务器资源和数据安全会设置各种反爬虫机制。你的请求可能被拒绝返回错误码或者收到一个“请验证你是人类”的页面。理解并合规地应对这些机制是爬虫从玩具走向实用的关键。4.1 常见的反爬虫手段及应对策略反爬手段原理应对策略User-Agent检测服务器检查请求头中的User-Agent字段判断请求是否来自主流浏览器。伪装UA在requests.get()中设置headers参数模拟浏览器。IP频率限制服务器记录单个IP地址的请求频率短时间内请求过多会封禁该IP。使用代理IP池轮换使用多个IP地址发送请求。降低请求频率在请求间添加随机延时如time.sleep(random.uniform(1, 3))。请求头完整性检查检查请求头是否包含Referer,Accept-Language,Cookie等常见浏览器会发送的字段。模拟完整请求头使用浏览器开发者工具的Network面板复制真实浏览器访问时的所有请求头信息。Cookie/Session验证某些操作如登录后查看、分页需要携带有效的Cookie或维持会话状态。使用Session对象requests.Session()可以自动管理Cookie模拟一次浏览器会话。先模拟登录获取Cookie。动态参数/令牌每次请求需要携带一个由前端JavaScript生成的、一次性的参数如token,signature。逆向分析JS分析网页JS代码找出参数生成逻辑并用Python复现。或使用Selenium等工具让浏览器自然执行JS生成参数。验证码弹出图片、滑块、点选等验证码直接拦截自动化程序。手动处理对于低频需求遇到时手动输入。OCR识别对于简单图形验证码可使用pytesseract等库尝试识别。专业打码平台付费服务通过API调用人工或高识别率服务。4.2 伪装请求头让自己看起来像浏览器这是最基本也是最有效的一步。一个真实的浏览器请求头看起来是这样的以Chrome为例User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36 Accept: text/html,application/xhtmlxml,application/xml;q0.9,image/avif,image/webp,image/apng,*/*;q0.8 Accept-Language: zh-CN,zh;q0.9,en;q0.8 Accept-Encoding: gzip, deflate, br Connection: keep-alive Upgrade-Insecure-Requests: 1在你的爬虫中你需要构建一个类似的字典传递给requestsimport requests from bs4 import BeautifulSoup url ‘https://example.com‘ headers { ‘User-Agent‘: ‘Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36‘, ‘Accept‘: ‘text/html,application/xhtmlxml,application/xml;q0.9,image/webp,*/*;q0.8‘, ‘Accept-Language‘: ‘zh-CN,zh;q0.9‘, ‘Referer‘: ‘https://www.google.com/‘, # 模拟从谷歌跳转过来 ‘Connection‘: ‘keep-alive‘, } response requests.get(url, headersheaders) # ... 后续解析代码重要提示User-Agent可以定期从网上搜索最新的字符串进行更新。Referer字段有时至关重要它告诉服务器你从哪个页面跳转过来对于一些防盗链或流程性页面不设置正确的Referer请求会被拒绝。4.3 处理登录与会话Session很多数据需要登录后才能访问。requests.Session()对象可以帮你维持登录状态。import requests login_url ‘https://example.com/login‘ data_url ‘https://example.com/dashboard‘ # 创建一个会话对象 session requests.Session() # 1. 模拟登录 login_data { ‘username‘: ‘your_username‘, ‘password‘: ‘your_password‘, # 可能还有隐藏的token字段需要从登录页HTML中提前提取 } # 通常登录是POST请求 login_response session.post(login_url, datalogin_data) # 检查登录是否成功可以通过状态码、或检查响应内容是否包含登录成功提示 if ‘登录成功‘ in login_response.text: print(“登录成功“) # 2. 使用同一个session访问需要登录的页面它会自动携带登录后的cookies dashboard_response session.get(data_url) # ... 解析dashboard_response获取数据 else: print(“登录失败“)4.4 爬虫伦理与Robots协议在技术之外我们必须讨论伦理与法律。并非所有公开可访问的数据都允许被随意抓取。Robots协议robots.txt这是一个放在网站根目录如https://example.com/robots.txt下的文本文件用于告知爬虫哪些页面可以抓取哪些不可以。例如User-agent: * # 针对所有爬虫 Disallow: /admin/ # 禁止抓取/admin/目录 Disallow: /search? # 禁止抓取搜索页面 Crawl-delay: 5 # 建议爬取延迟为5秒作为一个负责任的爬虫开发者你应该尊重robots.txt的规则。Python的urllib.robotparser模块可以帮助你解析它。法律与版权抓取的数据用途至关重要。用于个人学习、研究或公益目的通常风险较低。但用于商业盈利、大量复制发布、或对目标网站造成明显负担如DDoS攻击效果则可能侵犯版权、构成不正当竞争或违反《反不正当竞争法》、《数据安全法》等相关法规。最小侵扰原则控制频率在请求间添加足够的延时如2-10秒避免对目标服务器造成压力。缓存数据对于不常变动的数据不要反复抓取可以将结果保存到本地文件或数据库。识别自己有些网站允许在User-Agent中标识你的爬虫名称和联系方式如MyResearchBot/1.0 (contactexample.com)以便网站管理员联系你。只抓取必要数据不要贪婪地下载所有链接和图片只提取你真正需要的信息。核心原则你的爬虫应该像一个有礼貌的访客而不是一个横冲直撞的强盗。在开始一个爬虫项目前花点时间查看robots.txt评估数据用途的合法性并设计友好的抓取策略。这不仅能避免法律风险也能让你的爬虫项目更持久、更稳定地运行。5. 进阶实战征服动态渲染页面与数据存储掌握了静态页面抓取和基础反爬策略后我们将面对更复杂的挑战动态渲染页面并学习如何将抓取到的数据持久化保存。5.1 使用Selenium自动化真实浏览器当目标网站的数据由JavaScript动态加载时requestsBeautifulSoup的组合就无能为力了。我们需要一个能执行JavaScript的浏览器环境。Selenium就是一个自动化测试工具可以完美地用于爬虫。安装与配置安装Selenium库pip install selenium下载浏览器驱动WebDriver。你需要根据你电脑上安装的Chrome浏览器版本下载对应版本的ChromeDriver。将其解压后的可执行文件如chromedriver.exe放在一个已知目录或将该目录添加到系统PATH环境变量中。基础使用示例from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC import time # 1. 创建浏览器驱动选项可以设置无头模式不显示浏览器界面 options webdriver.ChromeOptions() # options.add_argument(‘--headless‘) # 启用无头模式后台运行 # options.add_argument(‘--disable-gpu‘) # 2. 初始化浏览器驱动 driver webdriver.Chrome(optionsoptions) # 确保chromedriver在PATH中 try: # 3. 访问目标网址 driver.get(‘https://example.com/dynamic-page‘) # 4. 显式等待等待某个关键元素如商品列表加载出来 # 这比固定的time.sleep()更高效、更稳定 wait WebDriverWait(driver, 10) # 最多等待10秒 product_list wait.until( EC.presence_of_element_located((By.CSS_SELECTOR, ‘div.product-list‘)) ) # 5. 此时页面已渲染完成可以获取完整的HTML page_source driver.page_source # 6. 你可以继续用BeautifulSoup解析page_source或者直接用Selenium的方法查找元素 items driver.find_elements(By.CSS_SELECTOR, ‘div.product-item‘) for item in items: # Selenium的WebElement对象也有类似的方法 title item.find_element(By.CSS_SELECTOR, ‘h2‘).text price item.find_element(By.CSS_SELECTOR, ‘.price‘).text print(title, price) # 7. 模拟交互例如点击“下一页”按钮 # next_button driver.find_element(By.CSS_SELECTOR, ‘a.next-page‘) # next_button.click() # time.sleep(2) # 等待页面加载 # ... 可以继续抓取下一页 finally: # 8. 关闭浏览器 driver.quit()Selenium核心技巧显式等待WebDriverWait这是Selenium最佳实践之一。它让程序等待直到某个条件被满足如元素出现、元素可点击而不是傻等固定的秒数。这大大提高了脚本的稳定性和运行效率。无头模式Headless在服务器或无界面的环境中运行时非常有用可以节省资源。但在开发调试阶段建议先关闭无头模式直观地观察浏览器的操作过程。查找元素find_element找第一个和find_elements找所有是核心方法支持By.ID,By.CLASS_NAME,By.CSS_SELECTOR,By.XPATH等多种定位方式。5.2 数据存储从CSV到数据库抓取到的数据如果只打印在屏幕上那就太可惜了。我们需要将其保存下来。根据数据量和复杂度可以选择不同的存储方式。1. 存储为CSV文件适合中小规模、表格型数据CSV逗号分隔值是一种通用格式可以用Excel直接打开。import csv data [ {‘title‘: ‘Python编程‘, ‘price‘: ‘89‘, ‘author‘: ‘John‘}, {‘title‘: ‘深入理解计算机系统‘, ‘price‘: ‘139‘, ‘author‘: ‘Jane‘}, ] filename ‘books.csv‘ with open(filename, ‘w‘, newline‘‘, encoding‘utf-8-sig‘) as f: # utf-8-sig解决Excel中文乱码 # 定义CSV文件的列名 fieldnames [‘title‘, ‘price‘, ‘author‘] writer csv.DictWriter(f, fieldnamesfieldnames) writer.writeheader() # 写入标题行 for row in data: writer.writerow(row) # 写入每一行数据 print(f“数据已保存到 {filename}“)2. 存储为JSON文件适合嵌套结构、配置信息JSON格式灵活易于在程序间交换。import json data [ {‘title‘: ‘Python编程‘, ‘price‘: ‘89‘, ‘author‘: ‘John‘}, {‘title‘: ‘深入理解计算机系统‘, ‘price‘: ‘139‘, ‘author‘: ‘Jane‘}, ] filename ‘books.json‘ with open(filename, ‘w‘, encoding‘utf-8‘) as f: # indent参数让JSON格式化输出更易读 json.dump(data, f, ensure_asciiFalse, indent2) print(f“数据已保存到 {filename}“)3. 存储到SQLite数据库适合关系型数据、需要查询SQLite是一个轻量级的文件数据库无需安装服务器。import sqlite3 # 连接到数据库如果不存在则创建 conn sqlite3.connect(‘books.db‘) cursor conn.cursor() # 创建表 cursor.execute(‘‘‘ CREATE TABLE IF NOT EXISTS books ( id INTEGER PRIMARY KEY AUTOINCREMENT, title TEXT NOT NULL, price REAL, author TEXT ) ‘‘‘) # 插入数据 books_data [(‘Python编程‘, 89.0, ‘John‘), (‘深入理解计算机系统‘, 139.0, ‘Jane‘)] cursor.executemany(‘INSERT INTO books (title, price, author) VALUES (?, ?, ?)‘, books_data) # 提交事务并关闭连接 conn.commit() conn.close() print(“数据已存入数据库。“)存储策略选择快速验证、数据量小用CSV或直接打印。数据结构复杂、有嵌套用JSON。数据量大、需要复杂查询、后续分析用SQLite入门或MySQL/PostgreSQL生产环境。海量非结构化或半结构化数据考虑MongoDB等NoSQL数据库。6. 项目架构与调度让爬虫稳定、高效地运行单个脚本抓取一个页面是简单的但一个完整的爬虫项目往往需要抓取成千上万个页面处理各种异常并定期运行。这就需要更好的架构和调度。6.1 构建健壮的爬虫错误处理与日志记录网络请求充满了不确定性连接超时、服务器错误、页面结构变化、IP被禁……一个健壮的爬虫必须能妥善处理这些异常而不是轻易崩溃。import requests from bs4 import BeautifulSoup import logging import time from requests.exceptions import RequestException, Timeout # 配置日志记录运行信息便于排查问题 logging.basicConfig(levellogging.INFO, format‘%(asctime)s - %(levelname)s - %(message)s‘, handlers[ logging.FileHandler(‘scraper.log‘), logging.StreamHandler() ]) logger logging.getLogger(__name__) def scrape_page(url, retries3): 抓取单个页面的函数包含重试机制 headers {‘User-Agent‘: ‘你的UA‘} for attempt in range(retries): try: # 设置超时时间避免无限等待 response requests.get(url, headersheaders, timeout10) response.raise_for_status() # 如果状态码不是200抛出HTTPError异常 # 检查内容是否有效例如是否包含预期的关键词 if ‘预期关键词‘ not in response.text: logger.warning(f“页面 {url} 内容不符合预期可能结构已变。“) return None return response.text except Timeout: logger.warning(f“请求 {url} 超时第 {attempt 1} 次重试...“) except RequestException as e: logger.error(f“请求 {url} 时发生错误: {e}第 {attempt 1} 次重试...“) except Exception as e: logger.error(f“处理 {url} 时发生未知错误: {e}“) return None # 重试前等待一段时间等待时间可以逐渐增加指数退避 time.sleep(2 ** attempt) logger.error(f“抓取 {url} 失败已达最大重试次数 {retries}。“) return None # 使用示例 html scrape_page(‘https://example.com‘) if html: soup BeautifulSoup(html, ‘lxml‘) # ... 解析逻辑 else: # 处理抓取失败的情况例如记录到失败列表稍后重试 pass关键点异常捕获使用try...except块捕获requests可能抛出的各种异常如连接错误、超时、HTTP错误。重试机制对于网络波动等临时性错误重试往往能解决问题。设置一个合理的最大重试次数如3次。指数退避在每次重试前等待的时间逐渐增加如1秒2秒4秒避免对服务器造成持续冲击。日志记录使用logging模块将信息INFO、警告WARNING、错误ERROR记录到文件和终端。这是后期排查问题的生命线。6.2 任务队列与分布式爬虫雏形Scrapy框架简介当你要抓取整个网站涉及URL去重、深度优先/广度优先遍历、并发请求时自己从零管理这些逻辑会非常复杂。这时就该使用专业的爬虫框架最著名的就是Scrapy。Scrapy是一个为爬取网站数据、提取结构性数据而编写的异步处理框架。它内置了引擎Engine控制所有组件的数据流。调度器Scheduler接收引擎发过来的请求并决定何时将其加入队列。下载器Downloader负责下载网页内容。爬虫Spider你编写规则的地方定义如何抓取、如何解析。项目管道Item Pipeline处理爬取到的数据清洗、验证、存储。下载器中间件、蜘蛛中间件用于全局处理请求和响应。使用Scrapy你可以用很少的代码实现一个高效、健壮的爬虫。它自动处理了并发、去重、重试、日志等复杂问题。虽然学习曲线比requestsBeautifulSoup陡峭但对于中型以上项目它能极大提升开发效率和运行性能。入门建议不要一开始就学Scrapy。先用requestsBeautifulSoupSelenium把基础原理和常见问题都摸透。当你开始觉得管理多个URL、处理并发很麻烦时就是学习Scrapy的最佳时机。它的官方文档非常详细从创建一个项目到编写第一个Spider都有循序渐进的教程。6.3 定时任务与自动化部署爬虫往往需要定期运行如每天凌晨抓取最新价格。在个人电脑上你可以使用系统自带的定时任务工具Windows:任务计划程序Task SchedulermacOS/Linux:Crontab例如在Linux/Mac上使用crontab -e编辑定时任务添加一行0 2 * * * /usr/bin/python3 /path/to/your/scraper.py /path/to/log.log 21这表示每天凌晨2点整执行你的爬虫脚本并将输出重定向到日志文件。对于更复杂的项目可以考虑在云服务器如阿里云ECS、腾讯云CVM上部署使用Supervisor等进程管理工具来保证爬虫进程的稳定运行即使崩溃也能自动重启。7. 疑难排查与性能优化从能跑到跑得好即使爬虫能运行起来也会遇到各种奇怪的问题。同时随着数据量的增长性能瓶颈也会出现。本章节分享一些常见的排查思路和优化技巧。7.1 常见问题排查清单当你发现爬虫不工作或数据不对时可以按照以下清单逐步排查请求被拒绝403/404/429等检查请求头特别是User-Agent,Referer,Cookie是否模拟到位。用浏览器开发者工具的Network面板对比。检查IP是否被封锁尝试用手机热点或其他网络环境访问。如果可行说明你的IP被目标网站封了需要使用代理IP。检查频率是否请求太快在关键请求间添加time.sleep(random.uniform(3, 7))这样的随机延时。抓取不到数据返回空列表确认页面是否为动态加载对比“查看网页源代码”和开发者工具“Elements”面板的内容。如果不同换用Selenium。检查CSS选择器/XPath页面结构可能已更新。用浏览器开发者工具重新检查并复制选择器。使用soup.prettify()打印部分HTML确认你查找的标签是否存在。检查是否需要登录或特定Cookie尝试在浏览器中手动完成操作登录、点击某个按钮然后从Network面板复制完整的请求头包括Cookie到你的爬虫中。数据乱码统一编码确保请求和解析时使用正确的字符编码。response.encoding response.apparent_encoding可以让requests自动检测编码。保存文件时指定encoding‘utf-8‘。Selenium元素找不到或操作失败等待时间不足将固定的time.sleep()换成WebDriverWait显式等待条件设为元素可见、可点击等。元素在iframe中需要先用driver.switch_to.frame(frame_reference)切换到对应的iframe内才能操作其中的元素。元素被遮挡某些弹窗或浮动层可能会遮挡你要点击的元素。可以尝试用JavaScript直接点击driver.execute_script(“arguments[0].click();“, element)。7.2 性能优化技巧并发请求对于requests 使用concurrent.futures或asyncioaiohttp库实现异步并发可以大幅提升抓取大量独立页面的速度。但务必注意控制并发数避免对目标服务器造成攻击。import concurrent.futures import requests def fetch(url): return requests.get(url).text[:100] # 示例只取前100字符 urls [‘url1‘, ‘url2‘, ‘url3‘, ...] # 使用线程池max_workers控制并发数通常不要超过10 with concurrent.futures.ThreadPoolExecutor(max_workers5) as executor: futures {executor.submit(fetch, url): url for url in urls} for future in concurrent.futures.as_completed(futures): data future.result() print(data)缓存已抓取内容 对于不常变动的页面如商品详情页的基础信息可以将抓取到的HTML或解析结果缓存到本地文件或数据库。下次请求时先检查缓存避免重复抓取。这既尊重了网站也提升了速度。优化Selenium无头模式生产环境务必使用--headless。禁用图片和CSS如果不需要渲染样式可以添加选项来禁用加快加载速度。options.add_argument(‘--blink-settingsimagesEnabledfalse‘) prefs {“profile.managed_default_content_settings.images“: 2} options.add_experimental_option(“prefs“, prefs)复用浏览器实例对于需要连续操作多个页面的任务不要频繁地driver.quit()和重新webdriver.Chrome()创建一个实例重复使用。数据库批量操作 当需要向数据库插入大量数据时不要每条数据都执行一次INSERT语句而是攒够一定数量如100条后使用executemany进行批量插入或者使用数据库的批量导入工具如SQLite的.import命令性能会有数量级的提升。爬虫技术的探索永无止境每个网站都是一座独特的城堡需要你仔细观察、耐心分析、不断调试。从最简单的静态页面开始逐步攻克登录、动态渲染、反爬策略等难关最终构建出稳定、高效、合规的数据管道。这个过程本身就是一次极佳的逻辑思维与工程实践训练。记住保持耐心尊重规则持续学习数据世界的大门将为你敞开。 
