Python3网络爬虫开发实战（3）网页数据的解析提取

文章目录

  • 一、XPath
    • 1. 选取节点
    • 2. 查找某个特定的节点或者包含某个指定的值的节点
    • 3. XPath 运算符
    • 4. 节点轴
    • 5. 利用 lxml 使用 XPath
  • 二、CSS
  • 三、Beautiful Soup
    • 1. 信息提取
    • 2. 嵌套选择
    • 3. 关联选择
    • 4. 方法选择器
    • 5. css 选择器
  • 四、PyQuery
    • 1. 初始化
    • 2. css 选择器
    • 3. 信息提取
    • 4. 节点操作
  • 五、Parsel
    • 1. XPath 和 CSS 选择器
    • 2. 信息提取
    • 3. 正则提取

在这里插入图片描述

一、XPath

XPath 的全称 XML Path Language，即 XML 路径语言，用来在 XML 文档中查找信息，同样适用于 HTML 文档的搜索；

1. 选取节点

表达式描述
//*选取所有节点
/取子节点
//取子孙节点
.选取当前节点
…选取当前节点的父节点
/@href选取节点的href属性
/[@class=“item”]选择 class 为 item 的子节点
/text()获取文本
//[contains(@class, “li”)]选择 class 中包含 li 的子节点
//[contains(@class, “li”) and contains(@class, “ll”)]选择 class 中包含 li 和 ll 的子节点
//[contains(@class, “li”) and @name=“item”]选择 class 包含 li 且 name 属性为 item 的节点
//[contains(text(), “内容”]选择文本中包含内容的节点
//th[@class="id " and position()=1]选择 class 为 id 的第一个位置的 th 节点
//div[(text()=‘更新’)]选择文本为 更新 的 div 节点

2. 查找某个特定的节点或者包含某个指定的值的节点

路径表达式结果
/bookstore/book[1]选取属于 bookstore 子元素的第一个 book 元素。
/bookstore/book[last()]选取属于 bookstore 子元素的最后一个 book 元素。
/bookstore/book[last()-1]选取属于 bookstore 子元素的倒数第二个 book 元素。
/bookstore/book[position()❤️]选取最前面的两个属于 bookstore 元素的子元素的 book 元素。
//title[@lang]选取所有拥有名为 lang 的属性的 title 元素。
//title[@lang=‘eng’]选取所有 title 元素，且这些元素拥有值为 eng 的 lang 属性。
/bookstore/book[price>35.00]选取 bookstore 元素的所有 book 元素，且其中的 price 元素的值须大于 35.00。
/bookstore/book[price>35.00]//title选取 bookstore 元素中的 book 元素的所有 title 元素，且其中的 price 元素的值须大于 35.00。

3. XPath 运算符

运算符描述实例返回值
|计算两个节点集//book | //cd返回所有拥有 book 和 cd 元素的节点集
+加法6 + 410
-减法6 - 42
*乘法6 * 424
div除法8 div 42
=等于price=9.80如果 price 是 9.80，则返回 true。

如果 price 是 9.90，则返回 false。
!=不等于price!=9.80如果 price 是 9.90，则返回 true。

如果 price 是 9.80，则返回 false。
<小于price<9.80如果 price 是 9.00，则返回 true。

如果 price 是 9.90，则返回 false。
<=小于或等于price<=9.80如果 price 是 9.00，则返回 true。

如果 price 是 9.90，则返回 false。
>大于price>9.80如果 price 是 9.90，则返回 true。

如果 price 是 9.80，则返回 false。
>=大于或等于price>=9.80如果 price 是 9.90，则返回 true。

如果 price 是 9.70，则返回 false。
or或price=9.80 or price=9.70如果 price 是 9.80，则返回 true。

如果 price 是 9.50，则返回 false。
and与price>9.00 and price<9.90如果 price 是 9.80，则返回 true。

如果 price 是 8.50，则返回 false。
mod计算除法的余数5 mod 21

4. 节点轴

轴名称结果
ancestor::选取当前节点的所有先辈（父、祖父等）。
ancestor-or-self::选取当前节点的所有先辈（父、祖父等）以及当前节点本身。
attribute::选取当前节点的所有属性。
child::选取当前节点的所有子元素。
descendant::选取当前节点的所有后代元素（子、孙等）。
descendant-or-self::选取当前节点的所有后代元素（子、孙等）以及当前节点本身。
following::选取文档中当前节点的结束标签之后的所有节点。
following-sibling::选取当前节点之后的所有兄弟节点
namespace::选取当前节点的所有命名空间节点。
parent::选取当前节点的父节点。
preceding::选取文档中当前节点的开始标签之前的所有节点。
preceding-sibling::选取当前节点之前的所有同级节点。

5. 利用 lxml 使用 XPath

from lxml import etreetext = 'html 代码'
html = etree.HTML(text) # 会自动修正 HTML 代码
result = html.xpath('xpath 选择器')

二、CSS

选择器示例示例说明
.class.intro选择所有class="intro"的元素
#id#firstname选择所有id="firstname"的元素
**选择所有元素
elementp选择所有<p>元素
element,elementdiv,p选择所有<div>元素和 <p> 元素
element.classp.hometown选择所有 class=“hometown” 的<p> 元素
element elementdiv p选择<div>元素内的所有<p>元素
element>elementdiv>p选择所有父级是<div> 元素的 <p> 元素
element+elementdiv+p选择所有紧跟在 <div> 元素之后的第一个 <p> 元素
[attribute][target]选择所有带有target属性元素
[attribute=value][target=-blank]选择所有使用target="-blank"的元素
[attribute~=value][title~=flower]选择标题属性包含单词"flower"的所有元素
[attribute|=language][lang|=en]选择 lang 属性等于 en，或者以 en- 为开头的所有元素
:linka:link选择所有未访问链接
:visiteda:visited选择所有访问过的链接
:activea:active选择活动链接
:hovera:hover选择鼠标在链接上面时
:focusinput:focus选择具有焦点的输入元素
:first-letterp:first-letter选择每一个<p>元素的第一个字母
:first-linep:first-line选择每一个<p>元素的第一行
:first-childp:first-child指定只有当<p>元素是其父级的第一个子级的样式。
:beforep:before在每个<p>元素之前插入内容
:afterp:after在每个<p>元素之后插入内容
:lang(language)p:lang(it)选择一个lang属性的起始值="it"的所有<p>元素
element1~element2p~ul选择p元素之后的每一个ul元素
[attribute^=value]a[src^=“https”]选择每一个src属性的值以"https"开头的元素
[attribute$=value]a[src$=“.pdf”]选择每一个src属性的值以".pdf"结尾的元素
[attribute*=value]a[src*=“runoob”]选择每一个src属性的值包含子字符串"runoob"的元素
p:firs-of-typep:first-of-type选择每个p元素是其父级的第一个p元素
:last-of-typep:last-of-type选择每个p元素是其父级的最后一个p元素
:only-of-typep:only-of-type选择每个p元素是其父级的唯一p元素
:only-childp:only-child选择每个p元素是其父级的唯一子元素
:nth-child(n)p:nth-child(2)选择每个p元素是其父级的第二个子元素
:nth-last-child(n)p:nth-last-child(2)选择每个p元素的是其父级的第二个子元素，从最后一个子项计数
:nth-of-type(n)p:nth-of-type(2)选择每个p元素是其父级的第二个p元素
:nth-last-of-type(n)p:nth-last-of-type(2)选择每个p元素的是其父级的第二个p元素，从最后一个子项计数
:last-childp:last-child选择每个p元素是其父级的最后一个子级。
:root:root选择文档的根元素
:emptyp:empty选择每个没有任何子级的p元素（包括文本节点）
:target#news:target选择当前活动的#news元素（包含该锚名称的点击的URL）
:enabledinput:enabled选择每一个已启用的输入元素
:disabledinput:disabled选择每一个禁用的输入元素
:checkedinput:checked选择每个选中的输入元素
:not(selector):not§选择每个并非p元素的元素
::selection::selection匹配元素中被用户选中或处于高亮状态的部分
:out-of-range:out-of-range匹配值在指定区间之外的input元素
:in-range:in-range匹配值在指定区间之内的input元素
:read-write:read-write用于匹配可读及可写的元素
:read-only:read-only用于匹配设置 “readonly”（只读） 属性的元素
:optional:optional用于匹配可选的输入元素
:required:required用于匹配设置了 “required” 属性的元素
:valid:valid用于匹配输入值为合法的元素
:invalid:invalid用于匹配输入值为非法的元素

三、Beautiful Soup

Beautiful Soup 支持的解析器有四种： html.parser，lxml，lxml-xml，html5lib

解析器使用方法优势劣势
Python标准库BeautifulSoup(markup,“html.parser”)1 Python的内置标准库
2 执行速度适中
3 文档容错能力强		Python 2.7.3 or 3.2.2)前 的版本中文档容错能力差
lxml HTML 解析器BeautifulSoup(markup,“lxml”)1.速度快
2.文档容错能力强		需要安装C语言库
lxml XML 解析器BeautifulSoup(markup,[“lxml-xml”])1.速度快
2.唯一支持XML的解析器		需要安装C语言库
html5libBeautifulSoup(markup,“html5lib”)1 最好的容错性
2以浏览器的方式解析文档
3生成HTML5格式的文档		1.速度慢
2.不依赖外部扩展
from bs4 import BeautifulSouphtml = 'html 文本'
soup = BeautifulSoup(html, 'lxml')
soup.prettify() # 可以将杂乱的 html 文本格式化，soup对于不标准的 HTML 字符串，自动更正格式，与prettify 无关；

1. 信息提取

soup.tagname 得到的结果是 bs4.element.Tag 类型，而 bs4.element.Tag 可以调用 string，name，attrs 获取 Tag 的信息；

soup.title # 选择 soup 下的第一个 title tag节点
soup.title.string # soup 下第一个 title tag节点的文本
soup.title.get_text() # soup 下第一个 title tag节点的文本
soup.title.name # soup 下第一个 title tag节点的名称 即title
soup.title.attrs # soup 下第一个 title tag 节点的attrs 是一个字典

2. 嵌套选择

bs4.element.Tag 类型在继续调用 tagname 后得到的仍然是 bs4.element.Tag 类型，因此我们可以嵌套获取信息

soup.head.title.string # 获得 soup 下第一个 head 下第一个 title 的 string

3. 关联选择

选取节点后，如果想要获取它的直接子节点，可以调用 contents 属性，实例如下

from bs4 import BeautifulSouphtml = 'html 文本'
soup = BeautifulSoup(html, 'lxml')soup.p.contents # 获得直接子节点
soup.p.children # 等价于 soup.p.contentssoup.p.descendants # 获得所有的子孙节点soup.p.parent # 获得p节点的父节点soup.p.parents # 获取p节点所有祖先节点soup.next_sibling # 获取节点的下一个兄弟节点soup.previous_sibling # 获取节点的上一个兄弟节点soup.next_siblings # 获取节点的后面的所有兄弟节点soup.previous_siblings # 获取节点的前面的所有兄弟节点

4. 方法选择器

# 选择所有 tag 为 li，属性 id 为 list，text 中包含 link 的节点
soup.find_all(name='li', attrs={'id':'list'}, text=re.compile('link'))# 选择第一个 tag 为 li，属性 id 为 list，text 中包含 link 的节点
soup.find(name='li', attrs={'id':'list'}, text=re.compile('link'))
  • find_parents 和 find_parent：前者返回所有的祖先节点，后者返回父节点；
  • find_next_siblings 和 find_next_sibling：前者返回后面的所有兄弟节点，后者返回前面第一个兄弟节点；
  • find_previous_siblings 和 find_previous_sibling：前者返回前面的所有兄弟节点，后者返回后面第一个兄弟节点；
  • find_all_next 和 find_next：前者返回节点后面所有符合要求的节点，后者返回后面第一个符合要求的节点；
  • find_all_previous 和 find_previous：前者返回节点前面所有符合条件的节点，后者返回前面第一个符合要求的节点；

5. css 选择器

利用 soup.select(‘css选择器’) 来选择 tag，利用 select 返回的结果一定是一个列表

from bs4 import BeautifulSoupsoup = BeautifulSoup(html, 'lxml')
soup.select('li')

四、PyQuery

1. 初始化

from pyquery import PyQuery# 字符串的初始化
html = "文档字符串"
doc = PyQuery(html)# url的初始化
doc = PyQuery(url='url 地址')# 文件的初始化
doc = PyQuery(filename='index.html')

2. css 选择器

使用起来非常简单，直接 doc(‘css选择器’)

from pyquery import PyQuerydoc = PyQuery(url='https://www.baidu.com')
for i  in doc('div').items():# 解决编码问题print(i.html().encode('raw_unicode_escape').decode('utf-8', errors='ignore'))

3. 信息提取

  • attr：当返回结果包含多个节点时，调用 attr 方法只会得到第一个节点的属性，若要得到所有则需要使用 items() 遍历；
  • html：返回的是 第一个节点内部的纯文本信息；
  • text：返回的是所有节点内部的纯文本信息；
from pyquery import PyQueryhtml = ''
doc = PyQuery(html)
a = doc('a')# 获取属性
a.attr('href')
a.attr.href# 获取文本
a.html()
a.text()

4. 节点操作

PyQuery 库提供了一系列方法对节点进行动态修改，例如为某个节点添加一个 class，移除某个节点等等，有时候这些操作会为提取信息带来极大的便利；

li = doc('li')# 移除/添加 class 中 active 值
li.removeClass('active')
li.addClass('active')# 获取 name 属性的值
li.attr('name')# 修改 name 属性的值 为 'link'
li.attr('name', 'link')# 获取纯文本
li.text()# 改变纯文本
li.text('hello')# 获取纯html
li.html()# 改变html
li.html('html文本')

五、Parsel

Parsel 库可以解析 HTML 和 XML ，并支持使用 XPath 和 CSS 选择器对内容进行提取和修改，同时还融合了正则表达式的提取功能，parsel 是 Python 最流行的爬虫框架 Scrapy 的底层支持；

1. XPath 和 CSS 选择器

from parsel import Selectorhtml = ''
selector = Selector(text=html)# css
items = selector.css('css选择器')
# xpath
items = selector.xpath('xpath选择器')

2. 信息提取

  • get：从 selectorlist 对象中提取第一个 Selector 对象，然后输出其中的结果
  • getall：从 selectorlist 对象中提取所有的 Selector 对象，然后以列表的形式输出其中的结果
# 提取文本
selector.css('css选择器::text()').get()
selector.css('css选择器::text()').getall()
selector.xpath('xpath//text()').get()
selector.xpath('xpath//text()').getall()# 提取属性
selector.css('css选择器::attr(name)').get()
selector.css('css选择器::attr(href)').getall()
selector.xpath('xpath/@name()').get()
selector.xpath('xpath/@href()').getall()

3. 正则提取

  • 如果选择器中是属性或者文本，那么 re 对属性或者文本进行匹配
  • 如果选择器中不是属性和文本，那么 re 对该节点的 html 字符进行匹配
from parsel import Selectorhtml = ''
selector = Selector(text=html)
result = selector.css('css选择器').re('a.*')
result = selector.xpath('xpath').re('a.*')result = selector.css('css选择器').re_first('a.*')
result = selector.xpath('xpath').re_first('a.*')

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://xiahunao.cn/news/3266214.html

如若内容造成侵权/违法违规/事实不符，请联系瞎胡闹网进行投诉反馈，一经查实，立即删除！

相关文章

高等院校智慧校园建设规划设计方案

高等院校智慧校园建设规划设计方案

高等院校智慧校园建设规划设计方案摘要&#xff1a; 项目背景某学校是一所培养学前教育教师的高等专科学校&#xff0c;目前正致力于数字化校园平台的建设&#xff0c;以提升信息化和数字化建设管理水平&#xff0c;促进教学质量和管理效率的提升。 数字校园对职业教育的意义信…
阅读更多...
Java基础-Atomic原子类

Java基础-Atomic原子类

Java基础-Atomic原子类 一、Atomic 原子类简介 Atomic原子&#xff1a;指一个操作是不可中断的&#xff0c;即使是在多个线程一起执行的时候&#xff0c;一个操作一旦开始&#xff0c;就不会被其他线程干扰。所谓原子类说简单点就是具有原子/原子操作特征的类。并发包java.ut…
阅读更多...
谷粒商城实战-58-商品服务-API-三级分类-删除-批量删除小结

谷粒商城实战-58-商品服务-API-三级分类-删除-批量删除小结

文章目录 一&#xff0c;增加一个批量删除的按钮并绑定事件二&#xff0c;全栈工程师三&#xff0c;逆向工程在全栈开发中的应用提升效率的方式&#xff1a;使用案例&#xff1a; 这一节的主要内容是开发批量删除分类的功能。 一&#xff0c;增加一个批量删除的按钮并绑定事件 …
阅读更多...
树莓派智能家居中枢

树莓派智能家居中枢

一个先进的枢纽&#xff0c;使智能家居系统更智能、更可定制、更易于控制 Homey Pro由树莓派 Compute Module 4 供电,Homey Pro 为用户提供了一个单一界面,用于控制和监控来自不同品牌的所有智能家居设备。它完全在本地网络上运行,而不是依赖云端,从而实现了最低的延迟、最高的…
阅读更多...
【数据结构】单链表的增删改查

【数据结构】单链表的增删改查

介绍 链表是有序的列表&#xff0c;但是它在内存中是如下存储的&#xff1a; ①链表以节点的方式进行存储&#xff0c;是链式存储的 ②每个节点包含 data 域、next 域&#xff1a;指向下一节点 ③链表的各个节点不一定是连续存放的 ④链表分为有头节点的链表和没有头节点的链表…
阅读更多...
netty入门-6 Handler和Pipeline

netty入门-6 Handler和Pipeline

前言 书上讲服务器客户端创建三个要点&#xff0c;线程模型(Group)&#xff0c;IO模型(NioSocketChannel)&#xff0c;处理逻辑。 这篇的Handler和Pipeline&#xff0c;就是我们IO操作的处理逻辑。 然后下篇说ByteBuf这个Netty自己实现的数据封装组件。 Handler和Pipeline 我…
阅读更多...
GAT知识总结

GAT知识总结

《GRAPH ATTENTION NETWORKS》 解决GNN聚合邻居节点的时候没有考虑到不同的邻居节点重要性不同的问题&#xff0c;GAT借鉴了Transformer的idea&#xff0c;引入masked self-attention机制&#xff0c; 在计算图中的每个节点的表示的时候&#xff0c;会根据邻居节点特征的不同来…
阅读更多...
57 数据链路层

57 数据链路层

用于两个设备&#xff08;同一种数据链路节点&#xff09;之间传递 目录 对比理解“数据链路层” 和 “网络层”以太网 2.1 认识以太网 2.2 以太网帧格式MAC地址 3.1 认识MAC地址 3.2 对比理解MAC地址和IP地址局域网通信MTU 5.1 认识MTU 5.2 MTU对ip协议的影响 5.3 MTU对UDP的…
阅读更多...
javafx的ListView代入项目的使用

javafx的ListView代入项目的使用

目录 1. 创建一个可观察的列表&#xff0c;用于存储ListView中的数据,这里的User是包装了用户的相关信息。 2.通过本人id获取friendid&#xff0c;及好友的id&#xff0c;然后用集合接送&#xff0c;更方便直观一点。 3.用for遍历集合&#xff0c;逐个添加。 4.渲染器&…
阅读更多...
非凸T0算法，如何获取超额收益？

非凸T0算法，如何获取超额收益？

什么是非凸 T0 算法&#xff1f; 非凸 T0 算法基于投资者持有的股票持仓&#xff0c;利用机器学习等技术&#xff0c;短周期预测&#xff0c;全自动操作&#xff0c;抓取行情波动价差&#xff0c;增厚产品收益。通过开仓金额限制、持仓时长控制等&#xff0c;把控盈亏风险&…
阅读更多...
MySQL练习05

MySQL练习05

题目 步骤 触发器 use mydb16_trigger; #使用数据库create table goods( gid char(8) primary key, name varchar(10), price decimal(8,2), num int);create table orders( oid int primary key auto_increment, gid char(10) not null, name varchar(10), price decima…
阅读更多...
基于Python的二手房价格分析与多种机器学习房价预测

基于Python的二手房价格分析与多种机器学习房价预测

需要本项目的同学可以私信我&#xff0c;提供部署讲解服务和文档 近年来&#xff0c;中国各个城市的房价问题一直是人们所关心的焦点之一。随着新建房价的不断上涨&#xff0c;城市内建筑新房的用地也越来越少&#xff0c;加上对房屋刚性的需求&#xff0c;人民群众对二手房的…
阅读更多...
rust 初探 -- use

rust 初探 -- use

rust 初探 – use Package, Crate, 定义 Module use 关键字 作用&#xff1a;将路径引入到作用域内&#xff0c;其依旧遵循私有性规则&#xff0c;也即只用 pub 的部分引入进来才能使用 use crate::front_of_house::hosting; // 绝对路径 // use front_of_house::hosting; …
阅读更多...
爬取贴吧的标题和链接

爬取贴吧的标题和链接

免责声明 感谢您学习本爬虫学习Demo。在使用本Demo之前&#xff0c;请仔细阅读以下免责声明&#xff1a; 学习和研究目的&#xff1a;本爬虫Demo仅供学习和研究使用。用户不得将其用于任何商业用途或其他未经授权的行为。合法性&#xff1a;用户在使用本Demo时&#xff0c;应确…
阅读更多...
个性化音频生成GPT-SoVits部署使用和API调用

个性化音频生成GPT-SoVits部署使用和API调用

一、训练自己的音色模型步骤 1、准备好要训练的数据&#xff0c;放在Data文件夹中&#xff0c;按照文件模板中的结构进行存放数据 2、双击打开go-webui.bat文件&#xff0c;等待页面跳转 3、页面打开后&#xff0c;开始训练自己的模型 &#xff08;1&#xff09;、人声伴奏分…
阅读更多...
关于sqlite数据库转化mysql数据

关于sqlite数据库转化mysql数据

使用工具 下图所使用的为navivat premium 16数据库管理工具。 如下图所示为sqlite数据库db数据 下图为所设计的sqlite数据表格字段属性 首先导出sql语句 打开工具栏中的数据传输功能。 如上图所示&#xff0c;选择目标选为文件&#xff0c;并且将默认勾选的与源服务器相同…
阅读更多...
oracle读写时相关字符集详解

oracle读写时相关字符集详解

服务器端操作系统&#xff08;Oracle linux&#xff09;字符集 服务器端数据库字符集 客户端操作系统&#xff08;Oracle linux&#xff09;字符集 客户端工具sqlplus字符集 结论1&#xff1a;客户端工具sqlplus的会话&#xff0c;使用的字符集&#xff0c;是数据库字符集。…
阅读更多...
Android 15 适配整理——实践版

Android 15 适配整理——实践版

背景 谷歌发布Android 15后&#xff0c;国内的手机厂商迅速行动&#xff0c;开始了新系统的适配工作。小米、OPPO、vivo和联想等金标联盟成员联合发布了适配公告&#xff0c;督促APP开发者在2024年8月31日前完成适配工作&#xff0c;否则将面临搜索标签提示、应用降级、分机型…
阅读更多...
zookeeper开启SASL权限认证

zookeeper开启SASL权限认证

目录 一、SASL介绍 二、使用 SASL 进行身份验证 2.1 服务器到服务器的身份验证 2.2 客户端到服务器身份验证 三、验证功能 一、SASL介绍 默认情况下&#xff0c;ZooKeeper 不使用任何形式的身份验证并允许匿名连接。但是&#xff0c;它支持 Java 身份验证与授权服务(JAAS)…
阅读更多...
学习日记：数据类型2

学习日记：数据类型2

目录 1.转义字符 2.隐式类型转换 2.1 强制类型转换 2.2 不同类型间赋值 3.运算符 表达式 3.1 算术运算符 3.2 算术运算优先级 3.3 赋值运算 3.3.1 不同类型间混合赋值 3.4 逗号运算 4.生成随机数 5. 每日一练 1.转义字符 \n 表示换行 \t …
阅读更多...
最新文章

Copyright @ 2022~2023