Python爬虫技术 第13节 HTML和CSS选择器

在爬虫技术中，解析和提取网页数据是核心部分。HTML 和 CSS 选择器被广泛用于定位网页中的特定元素。下面将详细介绍这些选择器如何在 Python 中使用，特别是在使用像 Beautiful Soup 或 Scrapy 这样的库时。

在这里插入图片描述

HTML 选择器

HTML 选择器基于 HTML 元素的属性来定位和选择页面上的元素。以下是一些常见的 HTML 选择器类型：

  1. 标签选择器：

    • soup.find_all('div') 将返回页面上所有的 <div> 标签。

  2. 类选择器：

    • soup.find_all(class_='classname') 可以找到所有 class 属性为 classname 的元素。

  3. ID 选择器：

    • soup.find(id='uniqueid') 可以找到 ID 为 uniqueid 的元素。

  4. 属性选择器：

    • soup.find_all(attrs={'data-type': 'value'}) 可以找到具有指定属性和值的所有元素。

  5. 组合选择器：

    • soup.select('div p') 使用 CSS 选择器语法来查找所有位于 <div> 内部的 <p> 标签。

CSS 选择器

CSS 选择器提供了更复杂的选择能力，它们可以基于元素的关系、位置和状态来选择元素。以下是 CSS 选择器的一些示例：

  1. 子选择器：

    • #parent > .child 只选择直接作为 #parent 子元素的 child 类元素。

  2. 后代选择器：

    • .container .item 选择所有在 .container 类内的 .item 类元素，无论嵌套多深。

  3. 相邻兄弟选择器：

    • h1 + p 选择紧跟在 h1 元素后的 p 元素。

  4. 一般兄弟选择器：

    • h1 ~ p 选择同级的 h1 元素之后的所有 p 元素。

  5. 伪类选择器：

    • a:hover 选择鼠标悬停状态下的链接。

在 Python 中，Beautiful Soup 库使用 .select() 方法来解析 CSS 选择器，而 Scrapy 提供了 .css() 方法来实现类似功能。

示例代码

使用 Beautiful Soup：

from bs4 import BeautifulSoup
import requestsresponse = requests.get('http://example.com')
soup = BeautifulSoup(response.text, 'html.parser')# 使用标签选择器
divs = soup.find_all('div')# 使用类选择器
classname_elements = soup.find_all(class_='classname')# 使用 CSS 选择器
container_items = soup.select('.container .item')

使用 Scrapy：

import scrapyclass MySpider(scrapy.Spider):name = 'myspider'start_urls = ['http://example.com']def parse(self, response):divs = response.css('div')classname_elements = response.css('.classname')container_items = response.css('.container .item')

以上就是使用 HTML 和 CSS 选择器在 Python 爬虫中抓取数据的基本方法。根据实际需求，你可以结合多种选择器来精确地定位和提取所需信息。

当然，让我们通过一些具体的例子来更深入地探讨如何在Python中使用Beautiful Soup和Scrapy结合HTML和CSS选择器来提取网页数据。

使用 Beautiful Soup 的例子

假设我们要从一个网站上抓取所有文章标题和作者信息，我们可以这样做：

from bs4 import BeautifulSoup
import requestsdef fetch_data(url):response = requests.get(url)soup = BeautifulSoup(response.text, 'html.parser')# 假设标题在 <h2> 标签内，并且有 class "title"titles = [tag.text for tag in soup.find_all('h2', class_='title')]# 假设作者信息在 <span> 标签内，并且有 class "author"authors = [tag.text for tag in soup.find_all('span', class_='author')]return titles, authorsurl = 'http://example.com/articles'
titles, authors = fetch_data(url)print("Titles:", titles)
print("Authors:", authors)

使用 Scrapy 的例子

Scrapy 是一个更强大的框架，它允许异步请求和更复杂的爬虫逻辑。以下是一个简单的Scrapy爬虫的例子：

import scrapyclass ArticleSpider(scrapy.Spider):name = 'article_spider'start_urls = ['http://example.com/articles']def parse(self, response):# 使用 CSS 选择器来获取文章标题titles = response.css('h2.title::text').getall()# 获取作者信息authors = response.css('span.author::text').getall()# 遍历每一篇文章for title, author in zip(titles, authors):yield {'title': title,'author': author}

为了运行这个Scrapy爬虫，你需要在你的项目目录下创建一个与你的爬虫名称匹配的文件夹（例如 article_spider），并在其中创建一个 spiders 文件夹。然后在 spiders 文件夹里创建一个以你的爬虫名字命名的.py文件（例如 article_spider.py），并把上面的代码放进去。

处理分页和更复杂的数据结构

如果网站有分页，你可能需要在Scrapy中使用回调函数来处理每个页面。例如：

class ArticleSpider(scrapy.Spider):name = 'article_spider'start_urls = ['http://example.com/articles/page/1']def parse(self, response):# ... 提取文章标题和作者的代码 ...# 获取下一页的链接next_page = response.css('a.next-page::attr(href)').get()if next_page is not None:yield response.follow(next_page, self.parse)

在这个例子中，response.follow 方法会发送一个新的请求到 next_page URL，并调用 self.parse 函数处理响应。

以上就是使用Beautiful Soup和Scrapy结合HTML和CSS选择器进行数据抓取的基本示例。在实际应用中，你可能需要根据目标网站的具体HTML结构调整选择器。

在之前的代码基础上，我们可以进一步扩展功能，比如处理异常、增加日志记录以及优化数据存储。下面的示例将展示如何在 Beautiful Soup 和 Scrapy 中实现这些功能：

使用 Beautiful Soup 添加异常处理和日志记录

import logging
import requests
from bs4 import BeautifulSouplogging.basicConfig(level=logging.INFO)def fetch_data(url):try:response = requests.get(url)response.raise_for_status()  # Raises an HTTPError if the HTTP request returned an unsuccessful status codesoup = BeautifulSoup(response.text, 'html.parser')titles = [tag.text for tag in soup.find_all('h2', class_='title')]authors = [tag.text for tag in soup.find_all('span', class_='author')]logging.info(f"Fetched {len(titles)} articles from {url}")return titles, authorsexcept requests.exceptions.RequestException as e:logging.error(f"Error fetching data from {url}: {e}")return [], []url = 'http://example.com/articles'
titles, authors = fetch_data(url)if titles and authors:print("Titles:", titles)print("Authors:", authors)
else:logging.warning("No data fetched.")

在 Scrapy 中添加数据存储到 CSV 文件

在 Scrapy 中，你可以使用内置的 FeedExporter 来保存数据到不同的格式，如 JSON 或 CSV。以下是如何设置 Scrapy 项目以保存数据到 CSV 文件：

  1. 在你的 Scrapy 项目的 settings.py 文件中，添加以下配置：
FEEDS = {'articles.csv': {'format': 'csv'},
}

这将告诉 Scrapy 把输出保存到名为 articles.csv 的 CSV 文件中。

  1. 确保你的爬虫代码正确生成字典，并在 yield 中返回：
class ArticleSpider(scrapy.Spider):name = 'article_spider'start_urls = ['http://example.com/articles']def parse(self, response):titles = response.css('h2.title::text').getall()authors = response.css('span.author::text').getall()for title, author in zip(titles, authors):yield {'title': title,'author': author}
  1. 当你运行 Scrapy 爬虫时，它将自动将数据写入 articles.csv 文件。

处理更复杂的数据结构

如果数据结构非常复杂，可能需要多次解析或使用递归。例如，如果文章的详细信息在另一个页面上，你可以使用 Scrapy 的 follow 方法来访问和解析详情页面：

class ArticleSpider(scrapy.Spider):name = 'article_spider'start_urls = ['http://example.com/articles']def parse(self, response):article_links = response.css('a.article-link::attr(href)').getall()for link in article_links:yield response.follow(link, self.parse_article)def parse_article(self, response):title = response.css('h1.article-title::text').get()content = response.css('div.article-content *::text').getall()yield {'title': title,'content': content}

这样，你就可以更全面地处理和存储网络上的数据了。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://xiahunao.cn/news/3266935.html

如若内容造成侵权/违法违规/事实不符，请联系瞎胡闹网进行投诉反馈，一经查实，立即删除！

相关文章

【微信小程序实战教程】之微信小程序 WXSS样式处理详解

【微信小程序实战教程】之微信小程序 WXSS样式处理详解

WXSS样式处理 有过Web开发经验的开发者应该都了解CSS&#xff08;全称 Cascading Style Sheets&#xff09;是一种用于描述HTML或XML文档呈现的样式表语言。而WXSS&#xff08;全称 WeiXin Style Sheets&#xff09;是一套样式语言&#xff0c;用于描述WXML的组件样式&#xf…
阅读更多...
CAS原理以及AtomicStampedRefernce

CAS原理以及AtomicStampedRefernce

目录 CAS概念没有使用CAS之前使用CAS之后CAS介绍代码案例为什么CAS能保证原子性&#xff1f;1、Unsafe2、offset 偏移量3、变量value用volatile修饰4、自旋保持原子性5、底层汇编语言的具体执行 原子引用CAS与自旋锁实现一个自旋锁 CAS缺点及解决AtomicStampedRefernce CAS概念…
阅读更多...
记录使用el-form的resetFields时遇到的表单数据回显失败的问题，去除nextTick解决

记录使用el-form的resetFields时遇到的表单数据回显失败的问题，去除nextTick解决

首先简单介绍一下resetFields的基础作用 element-plus官网el-form介绍 本案例中实现点击每行的编辑按钮时&#xff0c;弹出弹窗和表单 由于设置了表单校验&#xff0c;如图&#xff0c;表单内容不符合设定的校验规则时会有提示 如果仅仅这样就会出现问题&#xff0c;下次打…
阅读更多...
海山数据库(He3DB)技术解析：海山Redis定时任务与持久化管控设计

海山数据库(He3DB)技术解析：海山Redis定时任务与持久化管控设计

文章目录 引言一、背景介绍二、具体实现1、多副本容灾功能2、主备切换后任务断点续做功能3、持久化管控编排功能 三、总结作者 引言 云Redis数据库服务是目前广泛应用的模式&#xff0c;其数据持久化方案是现在研究的热点内容&#xff0c;数据持久化操作主要由参数设置自动触发…
阅读更多...
华为交换机Telnet配置

华为交换机Telnet配置

华为交换机Telnet配置 一、Telnet概述与作用 1、Telnet简介 Telnet&#xff08;Telnet协议&#xff09;是一种用于远程登录到计算机或网络设备的协议。它允许用户在本地计算机上通过网络连接到远程计算机或设备&#xff0c;并在远程计算机上执行命令和操作。Telnet协议最初是…
阅读更多...
mysql特殊字符、生僻字存储设置

mysql特殊字符、生僻字存储设置

mysql utf-8模式下&#xff0c;分为ut8mb3,utf8mb4&#xff0c;mb4是支持特殊字符、emoji表情的&#xff0c;mb3是不支持的。 报错信息&#xff1a; 1### Error updating database. Cause: java.sql.SQLException: Incorrect string value: \xF0\xA8\x92\x82\xE6\x95... fo…
阅读更多...
什么是公司自建企业邮箱？自建企业邮箱有什么用？

什么是公司自建企业邮箱？自建企业邮箱有什么用？

什么是公司自建企业邮箱&#xff1f;公司自建企业邮箱有什么用途&#xff1f;一是品牌统一&#xff1b;二是安全性增强&#xff1b;三是定制化功能&#xff1b;四是控制与灵活性等等。哪些企业适合自建企业邮箱呢&#xff1f;本篇文章将为您一一解释。 一、什么是公司自建企业…
阅读更多...
Photos框架 - 自定义媒体选择器（UI列表）

Photos框架 - 自定义媒体选择器（UI列表）

引言Photos框架 - 自定义媒体资源选择器&#xff08;数据部分&#xff09;-CSDN博客 关于自定义媒体选择器上一篇博客我们已经介绍了使用Photos获取媒体资源数据和处理媒体资源数据&#xff0c;有了数据&#xff0c;UI的实现就比较灵活了&#xff0c;我就以上面的设计样式为例…
阅读更多...
前端养成记-实现一个低配版简单版本的vue3表单自定义设计组件

前端养成记-实现一个低配版简单版本的vue3表单自定义设计组件

简介&#xff1a; 通过使用了最新的vue3,vite2,TypeScript等主流技术开发&#xff0c;并配合使用vuedraggable 插件以及antd design vue 组件库实现低配版本的自定义表单设计组件&#xff1b; 项目地址&#xff1a;https://gitee.com/hejunqing/vue3-antdv-generator
阅读更多...
直指谷歌？OpenAI将推出在线搜索工具“SearchGPT”

直指谷歌？OpenAI将推出在线搜索工具“SearchGPT”

KlipC报道&#xff1a;OpenAI 也在经过一段时间的沉寂后&#xff0c;重新开始了密集的新品发布。当地时间7月25日&#xff0c;OpenAI进军搜索市场&#xff0c;宣布正在测试新的AI搜索工具SearchGPT。目前只向一小部分用户开放&#xff0c;从中获取反馈意见。 华尔街分析师表示…
阅读更多...
Cuppa CMS v1.0 任意文件读取漏洞（CVE-2022-25578）

Cuppa CMS v1.0 任意文件读取漏洞（CVE-2022-25578）

前言 春秋云镜靶场是一个专注于网络安全培训和实战演练的平台&#xff0c;旨在通过模拟真实的网络环境和攻击场景&#xff0c;提升用户的网络安全防护能力和实战技能。这个平台主要提供以下功能和特点&#xff1a; 实战演练&#xff1a; 提供各种网络安全攻防演练场景&#…
阅读更多...
深层互联重磅发布，潮流开放式一对多无线导游讲解器

深层互联重磅发布，潮流开放式一对多无线导游讲解器

佩戴讲解器走进博物馆&#xff0c;已经是很多人的假期日常&#xff0c;但让我们越来越习以为常的无线讲解器&#xff0c;也许没那么简单。日前&#xff0c;深层互联全新推出IndoorLink潮流开放式导游讲解器&#xff0c;可开展主副双讲及同声传译&#xff0c;将不简单推向了一个…
阅读更多...
【vue3|第18期】Vue-Router路由的三种传参方式

【vue3|第18期】Vue-Router路由的三种传参方式

日期：2024年7月17日 作者：Commas 签名：(ง •_•)ง 积跬步以致千里,积小流以成江海…… 注释：如果您觉得有所帮助，帮忙点个赞，也可以关注我，我们一起成长；如果有不对的地方，还望各位大佬不吝赐教，谢谢^ - ^ 1.01365 = 37.7834；0.99365 = 0.0255 1.02365 = 1377.408…
阅读更多...
上传文件传参 pc端vue的formData

上传文件传参 pc端vue的formData

formData let formData new FormData(); formData.append("file", blob, ref ".png"); //添加参数并且重新命名文件名称 if(ref.toString().indexOf(qrcode) > 0) formData.append(noStbg, true)//添加参数 uploadType(formData, sour…
阅读更多...
保障企业数据主权：安全可控的爬虫工具与管理平台

保障企业数据主权：安全可控的爬虫工具与管理平台

摘要 在数据驱动的时代&#xff0c;企业对数据的需求日益增长&#xff0c;但如何在保障数据主权的前提下高效采集数据&#xff1f;本文深入探讨了选择安全可控爬虫工具与管理平台的重要性&#xff0c;分析了关键特性&#xff0c;并提出实用建议&#xff0c;助力企业维护数据安…
阅读更多...
2024新版 黑马程序员《C++零基础入门》笔记——第一章17 数据类型-布尔型

2024新版 黑马程序员《C++零基础入门》笔记——第一章17 数据类型-布尔型

1.数据类型-布尔型 2.代码实践 #include "iostream" using namespace std;int main() {// 布尔&#xff1a;bool 字面量仅仅有2个&#xff1a;true或falsebool flag true; // true 表示是真&#xff0c;本质上是数字1bool flag2 false; // false 表示是…
阅读更多...
NVIDIA Drivers、CUDA、Pytorch安装

NVIDIA Drivers、CUDA、Pytorch安装

NVIDIA Drivers、CUDA、Pytorch 这三者的版本有着十分紧密的关联&#xff0c;很容易因为版本不对而重复卸载、重装。 这里写个记录&#xff0c;方便查阅。 一、NVIDIA Drivers、CUDA NVIDIA Drivers、CUDA 的关系可以在这里看到&#xff1a; CUDA Compatibilityhttps://docs.n…
阅读更多...
7.25 阿里云OSS上传 + 后台返回token + 导出excel

7.25 阿里云OSS上传 + 后台返回token + 导出excel

1.阿里云Oss上传 只需要一点就是上传到云端后&#xff0c;前端调用上传文件接口&#xff0c;返回一个资源路径。 接着在提交表单时&#xff0c;前端把这个路径设置为img的参数即可。 1.1上传限制 只上传图片 Api("阿里云文件管理") CrossOrigin //跨域 RestContr…
阅读更多...
C语言进阶——一文带你深入了解“C语言关键字”（中篇）

C语言进阶——一文带你深入了解“C语言关键字”（中篇）

本篇文章属于C语言进阶篇的“C语言关键字”&#xff0c;旨在分享我对C语言关键字的深度学习和了解。同时带领大家深入浅出的走进C语言进阶知识——关键字篇&#xff01; 目录 一、变量的命名规则 二、标识符的命名规则 一、变量的命名规则 1、命名应当直观且可以拼读&#x…
阅读更多...
【基础算法总结】优先级队列

【基础算法总结】优先级队列

优先级队列 1.最后一块石头的重量2.数据流中的第 K 大元素4.前K个高频单词4.数据流的中位数 点赞&#x1f44d;&#x1f44d;收藏&#x1f31f;&#x1f31f;关注&#x1f496;&#x1f496; 你的支持是对我最大的鼓励&#xff0c;我们一起努力吧!&#x1f603;&#x1f603; 1…
阅读更多...
最新文章

Copyright @ 2022~2023