Python爬虫

爬虫学习思路

URL内容获取，requests的基本常用语法

import  requests
# 先向目标网站发送请求
url =  "http://www.baidu.com"
r = requests.get(url)
# 可以用看一下访问码返回值是不是200，若是200则表示访问成功
print(r.status_code)
# 输出头部格式查看，文本格式
print(r.headers)
# 如果content-type没有写文件格式，那获取文本内容时，中文会出现乱码
print(r.encoding)  # 用于查看文本格式
print(r.text)
# 所以可以先指定utf-8的格式，然后再访问文本内容
r.encoding="utf-8"
print(r.text)