文章目录
- 一、抽屉半自动点赞
- 二、xpath的使用
- 三、动作链
- 四、打码平台
- 介绍
- 超级鹰打码基本测试
- 五、自动登录超级鹰
- 六、scrapy框架
- 介绍
- 安装
- 创建爬虫项目
一、抽屉半自动点赞
'登录抽屉账号保存cookies'import timeimport jsonfrom selenium import webdriverfrom selenium.webdriver.common.by import Bybro = webdriver.Chrome()bro.get('https://dig.chouti.com/')bro.implicitly_wait(10)bro.maximize_window()# 找到登录按钮,点击submit_btn = bro.find_element(by=By.ID,value='login_btn')submit_btn.click()# 找到用户名密码框--输入用户名和密码username = bro.find_element(By.CSS_SELECTOR,'body > div.login-dialog.dialog.animated2.scaleIn > div > div.login-body > div.form-item.login-item.clearfix.phone-item.mt24 > div.input-item.input-item-short.left.clearfix > input')password = bro.find_element(By.CSS_SELECTOR,'body > div.login-dialog.dialog.animated2.scaleIn > div > div.login-footer > div.form-item.login-item.clearfix.mt24 > div > input.input.pwd-input.pwd-input-active.pwd-password-input')username.send_keys('xxxxx') # 手机号time.sleep(2)password.send_keys('xxxx') # 密码time.sleep(2)submit = bro.find_element(By.CSS_SELECTOR,'body > div.login-dialog.dialog.animated2.scaleIn > div > div.login-footer > div:nth-child(4) > button')submit.click()input('等待人工确认登录----回车键后登录')# 登陆成功保存cookiecookies = bro.get_cookies()print(cookies)with open('chouti.json','wt',encoding='utf-8')as f:json.dump(cookies,f)time.sleep(5)bro.close()
'使用上面保存的cookie进行登录并点赞'# 使用requests模块点赞，把当前页面所有的文章点一遍import requestsfrom bs4 import BeautifulSoupimport json# 1.获取第一个的所有文章的id号headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/121.0.0.0 Safari/537.36','Referer':'https://dig.chouti.com/'}res = requests.get('https://dig.chouti.com/',headers=headers)# print(res.text)# 解析soup=BeautifulSoup(res.text,'lxml')div_list = soup.find_all(name='div',class_='link-item')# 获取本地cookiewith open('chouti.json','rt',encoding='utf-8')as f:cookies = json.load(f)requests_cookies={}for cookie in cookies:requests_cookies[cookie['name']]=cookie['value']print('requests模块需要的cookie格式',requests_cookies)for div in div_list:article_id = div.attrs.get('data-id')# print(article_id)# 要携带cookiedata = {'linkId':article_id}res = requests.post('https://dig.chouti.com/link/vote',headers=headers,cookies=requests_cookies,data=data)print(res.text)
二、xpath的使用
'''
# 语法格式如下（记住这几个）
1 标签名 # 找xml中所有这个标签
2 / # 只找一层]
3 // # 子子孙孙都会找
4 . # 从当前路径下
5 .. # 上一层
6 @属性名 # 找有这个属性的标签
'''doc='''
<html><head><base href='http://example.com/' /><title>Example website</title></head><body><div id='images'><a href='image1.html' id='id_a' name='lqz'>Name: My image 1 <br /><img src='image1_thumb.jpg' /></a><a href='image2.html'>Name: My image 2 <br /><img src='image2_thumb.jpg' /></a><a href='image3.html'>Name: My image 3 <br /><img src='image3_thumb.jpg' /></a><a href='image4.html' class='li'>Name: My image 4 <br /><img src='image4_thumb.jpg' /></a><a href='image5.html' class='li li-item' name='items'>Name: My image 5 <br /><img src='image5_thumb.jpg' /></a><a href='image6.html' name='items'><span><h5>test</h5></span>Name: My image 6 <br /><img src='image6_thumb.jpg' /></a></div></body>
</html>
'''
from lxml import etree
html=etree.HTML(doc) # 加载字符串
# html=etree.parse('search.html',etree.HTMLParser()) # 加载文件# 1 所有节点
print(html.xpath('//*'))
print(html.xpath('/*'))# 2 指定节点（结果为列表）
print(html.xpath('//head'))# 3 子节点，子孙节点
print(html.xpath('//div/a'))
print(html.xpath('//body/a')) #无数据
print(html.xpath('//body//a'))# 4 父节点
print(html.xpath('//body//a[@href="image1.html"]/..')) # 上一节点 div a..
print(html.xpath('//body//a[1]/..')) # 从1开始 第一个a标签..
# 也可以这样
print(html.xpath('//body//a[1]/parent::*')) # 找父亲---》父亲可以是任意标签
print(html.xpath('//body//a[1]/parent::div')) # 找父亲---》父亲可以是任意标签# 5 属性匹配
print(html.xpath('//a[@href="image1.html"]')) # 属性匹配 标签为 a# 6 文本获取（记住）
print(html.xpath('//body//a[@href="image1.html"]/text()')) # 内容获取 a标签内的内容['Name: My image 1 ']# 7 属性获取（记住）
print(html.xpath('//body//a/@href')) # 拿所有a的href属性
print(html.xpath('//body//a[1]/@href')) # 从1开始
# 注意从1 开始取（不是从0）
print(html.xpath('//body//a[1]/@href'))# 8 属性多值匹配
# a 标签有多个class类，直接匹配就不可以了，需要用contains
print(html.xpath('//body//a[@class="li"]')) # 有个类叫li的所有a标签，因为这个a有俩类
print(html.xpath('//body//a[contains(@class,"li")]')) # 属性多值匹配 匹配a标签内有class = li的标签
print(html.xpath('//body//a[contains(@class,"li")]/text()')) # 属性多值匹配 匹配a标签内有class = li的标签的值# 9 多属性匹配
print(html.xpath('//body//a[contains(@class,"li") or @name="items"]')) # 多属性匹配 匹配a标签内有class=li or name=itmes的内容
print(html.xpath('//body//a[contains(@class,"li") and @name="items"]/text()')) # 多属性匹配 匹配a标签内有class=li and name=itmes的内容
print(html.xpath('//body//a[contains(@class,"li")]/text()'))# 10 按序选择
print(html.xpath('//a[2]/text()')) # 按序选择 查找第二个a标签的内容
print(html.xpath('//a[2]/@href')) # 按序选择 查找第三个a标签的@href内容
# 取最后一个
print(html.xpath('//a[last()]/@href')) # 按序选择 查找最后一个a标签的@href内容
# 位置小于3的
print(html.xpath('//a[position()<3]/@href')) # 按序选择 查找标签位置小于3的位置
# 倒数第二个
print(html.xpath('//a[last()-2]/@href')) # 按序选择 查找倒数第二个a标签# 11 节点轴选择
# ancestor：祖先节点
# 使用了* 获取所有祖先节点
print(html.xpath('//a/ancestor::*'))
# # 获取祖先节点中的div
print(html.xpath('//a/ancestor::html'))# attribute：属性值
print(html.xpath('//a[1]/attribute::*')) # 获取第一个a标签的属性值
print(html.xpath('//a[1]/attribute::id'))# child：直接子节点
print(html.xpath('//a[1]/child::*')) # 获取第一个a标签的的子节点
print(html.xpath('//a[1]/child::img'))
# descendant：所有子孙节点
print(html.xpath('//a[6]/descendant::*')) # 获取第六个a标签的子节点
# following:当前节点之后所有节点
print(html.xpath('//a[1]/following::*')) # 获取第一个a标签之后的所有节点
print(html.xpath('//a[1]/following::*[1]/@href')) # 获取第1个a标签之后的所有节点里面的第一个href里面所有的节点
# following-sibling:当前节点之后同级节点
print(html.xpath('//a[1]/following-sibling::*')) # 获取第一个a标签之后所有同级节点
print(html.xpath('//a[1]/following-sibling::a')) # 获取第一个a标签之后同级a节点
print(html.xpath('//a[1]/following-sibling::*[2]')) # 获取第一个a标签之后所有同级节点第二个节点
print(html.xpath('//a[1]/following-sibling::*[2]/@href')) # 获取第一个a标签之后所有同级节点第二个节点里面href的属性
三、动作链
from selenium import webdriverfrom selenium.webdriver import ActionChainsfrom selenium.webdriver.support.wait import WebDriverWait # 等待页面加载某些元素import timefrom selenium.webdriver.common.by import Bydriver = webdriver.Chrome()driver.get('http://www.runoob.com/try/try.php?filename=jqueryui-api-droppable')driver.implicitly_wait(3)driver.maximize_window()try:driver.switch_to.frame('iframeResult') ##切换到iframeResultsourse = driver.find_element(By.ID, 'draggable')target = driver.find_element(By.ID, 'droppable')'''拿到actions对象后，对象有很多方法1 把标签1 拖动到标签2上actions.drag_and_drop(标签1,标签2) 2 一点点滑动某个标签actions.click_and_hold(标签1).perform()actions.move_by_offset(x,y) # 把标签1 滑动x轴和y轴的距离3 滑动某个标签，一些距离actions.drag_and_drop_by_offset(标签1,x,y)'''# 方式一：基于同一个动作链串行执行# actions = ActionChains(driver) # 拿到动作链对象# actions.drag_and_drop(sourse, target) # 把动作放到动作链中，准备串行执行# actions.perform()# 方式二：不同的动作链，每次移动的位移都不同ActionChains(driver).click_and_hold(sourse).perform() # 鼠标点中源 标签 不松开distance=target.location['x']-sourse.location['x']track = 0while track < distance:ActionChains(driver).move_by_offset(xoffset=10, yoffset=0).perform()track += 10ActionChains(driver).release().perform()# 方式三：# actions = ActionChains(driver)# actions.drag_and_drop_by_offset(sourse,200,0).perform()time.sleep(5)finally:driver.close()
四、打码平台
介绍
'网站有验证码，验证码破解'-简单验证码：字母数字组合---》免费的就能破---》ddddocr-https://www.jb51.net/article/249636.htm-复杂的：收费---》打码平台--》花钱帮我们破解验证码把验证码图片传给它--->它识别完--》返回结果---》根据复杂度收费-超级鹰:http://www.chaojiying.com/-下载SDK-云打码:https://zhuce.jfbym.com/price/
超级鹰打码基本测试
#!/usr/bin/env python
# coding:utf-8import requests
from hashlib import md5class Chaojiying_Client(object):def __init__(self, username, password, soft_id):self.username = usernamepassword = password.encode('utf8')self.password = md5(password).hexdigest()self.soft_id = soft_idself.base_params = {'user': self.username,'pass2': self.password,'softid': self.soft_id,}self.headers = {'Connection': 'Keep-Alive','User-Agent': 'Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0)',}def PostPic(self, im, codetype):"""im: 图片字节codetype: 题目类型 参考 http://www.chaojiying.com/price.html"""params = {'codetype': codetype,}params.update(self.base_params)files = {'userfile': ('ccc.jpg', im)}r = requests.post('http://upload.chaojiying.net/Upload/Processing.php', data=params, files=files, headers=self.headers)return r.json()def PostPic_base64(self, base64_str, codetype):"""im: 图片字节codetype: 题目类型 参考 http://www.chaojiying.com/price.html"""params = {'codetype': codetype,'file_base64':base64_str}params.update(self.base_params)r = requests.post('http://upload.chaojiying.net/Upload/Processing.php', data=params, headers=self.headers)return r.json()def ReportError(self, im_id):"""im_id:报错题目的图片ID"""params = {'id': im_id,}params.update(self.base_params)r = requests.post('http://upload.chaojiying.net/Upload/ReportError.php', data=params, headers=self.headers)return r.json()if __name__ == '__main__':# chaojiying = Chaojiying_Client('超级鹰用户名', '超级鹰用户名的密码', '96001') #用户中心>>软件ID 生成一个替换 96001im = open('a.jpg', 'rb').read() #本地图片文件路径 来替换 a.jpg 有时WIN系统须要//print(chaojiying.PostPic(im, 1902)) #1902 验证码类型 官方网站>>价格体系 3.4+版 print 后要加()#print chaojiying.PostPic(base64_str, 1902) #此处为传入 base64代码
五、自动登录超级鹰
import time
from selenium import webdriver
from selenium.webdriver.common.by import By
from PIL import Image
from chaojiying import Chaojiying_Client
bro = webdriver.Chrome()
bro.get('https://www.chaojiying.com/user/login/')
bro.implicitly_wait(10)
bro.maximize_window()# 截图全屏
bro.save_screenshot('main.png')
# 找到用户名和密码，验证码输入框
username = bro.find_element(By.CSS_SELECTOR,'body > div.wrapper_danye > div > div.content_login > div.login_form > form > p.login_form_item > input')
password = bro.find_element(By.CSS_SELECTOR,'body > div.wrapper_danye > div > div.content_login > div.login_form > form > p:nth-child(2) > input')
code = bro.find_element(By.XPATH,'/html/body/div[3]/div/div[3]/div[1]/form/p[3]/input')# 输入用户名，密码，验证码
username.send_keys('')
time.sleep(2)
password.send_keys('!')
time.sleep(2)
# 破解验证码，从截图中获取验证码
img=bro.find_element(By.XPATH,'/html/body/div[3]/div/div[3]/div[1]/form/div/img')
# 找到img的大小和位置
location = img.location
size = img.size
print('大小是：', img.size)
print('位置是：', img.location)
# 获取图的 起始位置坐标 结束位置坐标
img_tu = (int(location['x']), int(location['y']), int(location['x'] + size['width']), int(location['y'] + size['height']))
# 使用pillow，根据坐标，扣除验证码图片
img = Image.open('./main.png')
# 抠图
fram = img.crop(img_tu)
# 截出来的小图
fram.save('code1.png')# 调用超级鹰
# chaojiying = Chaojiying_Client('17786176326','Mao0227!','958083')
# im = open('code1.png', 'rb').read() #本地图片文件路径 来替换 a.jpg 有时WIN系统须要//
# real_code = chaojiying.PostPic(im, 1902)['pic_str'] #1902 验证码类型 官方网站>>价格体系 3.4+版 print 后要加()# 使用ddddocr
import ddddocr
ocr = ddddocr.DdddOcr(old=True,show_ad=False)
# 第一个验证码截图保存：verification_code_1.png
with open('./code1.png','rb')as f:image = f.read()
real_code = ocr.classification(image)code.send_keys(real_code)
time.sleep(5)# 找到登录按钮，登录
submit = bro.find_element(By.XPATH,'/html/body/div[3]/div/div[3]/div[1]/form/p[4]/input')
submit.click()
time.sleep(10)
bro.close()
六、scrapy框架
介绍
前面讲的都是使用模块 做专业的爬虫可以使用框架Scrapy爬虫框架（做爬虫用的东西都封装好了只需要在固定的位置写固定的代码即可）
Scrapy一个开源和协作的框架，其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的，使用它可以以快速、简单、可扩展的方式从网站中提取所需的数据。但目前Scrapy的用途十分广泛，可用于如数据挖掘、监测和自动化测试等领域，也可以应用在获取API所返回的数据或者通用的网络爬虫
安装
'安装 （win看人品，linux，mac一点问题没有）'-pip install scrapy-装不上，基本上是因为twisted装不了，单独装1、pip3 install wheel #安装后，便支持通过wheel文件安装软件，wheel文件官网：https://www.lfd.uci.edu/~gohlke/pythonlibs3、pip3 install lxml4、pip3 install pyopenssl5、下载并安装pywin32：https://sourceforge.net/projects/pywin32/files/pywin32/6、下载twisted的wheel文件：http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted7、执行pip3 install 下载目录\Twisted-17.9.0-cp36-cp36m-win_amd64.whl8、pip3 install scrapy在 D:\Python解释器对应的版本\Scripts 路径下 会有scrapy可执行文件-它等同于，你安装了django--》多两个djagno-admin可执行文件
创建爬虫项目
1.创建项目scrapy startproject 爬虫名称2.创建爬虫scrapy genspider cnblogs www.cnblogs.com # 这里是创建一个cnblogs的爬虫3.scrapy crawl cnblogs --nolog # --log 取消日志功能4.pycharm中运行新建run.pyfrom scrapy.cmdline import executeexecute(['scrapy', 'crawl', 'cnblogs','--nolog'])
