1.什么是爬虫

1.爬虫（又被称为网页蜘蛛，网络机器人），是按照一定规则，自动的抓取万维网中的程序或者脚本，是搜索引擎的重要组成；比如：百度、

2.爬虫应用：1.搜索引擎，2.数据分析，3.人工智能，4.薅羊毛（抢车票）

3.常见爬虫产品：神箭手、八爪鱼、造数、后裔采集器

4.什么事是爬虫工程师：我们不生成数据我们是数据的搬运工

5.爬虫工程师的基础

        1.python编程基础

        2.linux系统操作

        3.http协议

        4.数据库的增删改查

2.网络协议

1. 协议可以理解为“规则”，是数据传输和数据的解释和规则

OSI七层参考模型

TCP/IP模型

1. 1974年诞生，5层协议

1.应用层

基于tcp和udp

1.http:超文本传输协议，基于tcp，使用80端口号，适用于从www服务器传输超文本到本地浏览器的传输协议

2.SMTP：用于简单的邮件传输协议，基于tcp，使用25端口号，是一组2用于由源地址到目的地传送邮件的规则，用来控制信件的发送，中转。

3.FTP：文件传送协议，基于tcp,一般上传下载用FTP服务，数据端口20，控制端口21

4.telnet:远程登录协议，基于tcp，使用23端口，是internet远程登录服务的标准协议和主要方式。为用户提供了本地计算机上完成远程主机工作的能力。在终端使用者的电脑上使用telnet程序链接到服务器。使用明码传送，保密性差，简单方便。

5.dns:域名解析，基于UDP，使用53端口，提供域名到ip之间的转换

6.SSH:安全外壳协议，基于tcp，使用端口22，为建立在应用层和传输层基础上的安全协议，SSH是目前比较可靠，专门为远程登录会话和其他网络服务提供安全性的协议

2.传输层

1. TCP: 传输控制协议，一种面向链接的可靠的，基于字节流的传输层通信协议。

2.UDP：用户数据报协议，一种无链接的通信协议，不可靠，基于报文的传输层通信协议；

3.SCTP: 流量传输控制协议，一种面向连接的流传输协议，是tcp的升级改善tcp的不足

4.MPTCP：多路径传输协议。

3.网络层

1. IP:Internet协议。通过路由选择将下一条ip封装后交给接口层。ip数据报是无连接服务。

2. ICMP:Internet控制报文协议，是网络层的补充。用于在P主机、路由器之间传递控制消息，检测网络通不通，主机是否可达，路由是否可用等网络本身的消息；如：ping ip地址 就是使用本协议

3.ARP: 地址解析协议，是通过目标设备的ip地址，查询目标设备的mac地址，以保证通信的顺利进行；

4.RARP:反向地址解析协议。

3.HTTP协议

1.介绍

HTTP（HyperText Transfer Protocol，超文本传输协议）是互联网上应用最广泛的一种网络协议，他基于TCP的应用层协议，客户端和服务端进行通信的一种规则，他的模式非常简单，就是客户端发起请求，服务器响应请求；

2.http版本：

目前使用最多的是HTTP/1.1

3.请求格式

4.请求方法

5.HTTP响应

  

状态码：

未完....