正则表达式实战


title: 爬虫系列之正则表达式实战
date: 2019-04-15 23:14:30
tags: 正则表达式
categories: 爬虫
toc: true


前言
我们前面已经详细的了解过了正则表达式的具体功能和用法,今天我们就在实战过程中使用正则表达式。我们的目标网站是:http://maoyan.com/board/4
1、准备工作
首先,我们要确保我们已经安装了request库,其次,我们要具体的学过正则表达式。
2、爬取目标分析
点击我们的目标网站地址,映入我们眼帘的信息如下图所示:
在这里插入图片描述
排名第一的电影是霸王别姬,页面中显示的有效信息有影片名称、主演、上映时间、上映地区、评分、图片等信息。

将网页滚动到最下方,可以发现有分页的列表,直接点击第2页,观察页面的URL和内容发生了怎样的变化,如下图所示。

图3-12
我们可以发现,网页的URL变为了:https://maoyan.com/board/4?offset=10
我们依次点击其余的页码,我们会发现,网页的URL是每一页增加10的,所以我们就可以很轻易地得到所有网页的URL。

3、获取所有网页的 URL
根据我们从上面所得到的信息,我们可以得到所有网页的URL,代码如下:

def get_all_url():# 存放所有网页URL的列表url_list=[]# 基础的网址base_url = "https://maoyan.com/board/4?offset="# 10个页码依次循环for i in range(10):value = i * 10# 单个网页URL的列表url = base_url + str(value)url_list.append(url)return url_list

4、获取单个页面的内容
我们在上一步的过程中,已经得到了所有网页的URL,所以我们这一步就是要获取单个网页上我们所需要的内容。
首先,我们看一下页面的源码:
在这里插入图片描述
注意,这里不要在Elements选项卡中直接查看源码,因为那里的源码可能经过JavaScript操作而与原始请求不同,而是需要从Network选项卡部分查看原始请求得到的源码。
其中我们可以发现,其中一部电影中所有我们所需要爬取的信息都包含在一个dd节点中,我们的目标就是用正则匹配来提取包含在其中的所有信息。
首先是它的排名信息,排名信息是在class为board-index的i节点内,因此我们这里用非贪婪匹配来提取:

<dd>.*?board-index.*?>(.*?)</i>

随后是要提取影片的图片,这里的图片地址有两个,但是第二个图片地址才是我们真正想要的,也就是data-src之后的部分,因此我们继续使用非贪婪匹配:

<dd>.*?board-index.*?>(.*?)</i>.*?data-src="(.*?)"

再提取主演、发布时间、评分等内容时,都是同样的原理。最后,正则表达式写为:

<dd>.*?board-index.*?>(.*?)</i>.*?data-src="(.*?)".*?name.*?a.*?>(.*?)</a>.*?star.*?>(.*?)</p>.*?releasetime.*?>(.*?)</p>.*?integer.*?>(.*?)</i>.*?fraction.*?>(.*?)</i>.*?</dd>

这样我们就可以完整地提取到整部电影的所有信息了,但是,这只是一部电影而已,但是一个页面有10部电影,我们应该怎样做呢?我 们就想到了我们上节降到的正则匹配中的re.findall()方法:

# 获取匹配规则patter = re.compile('<dd>.*?board-index.*?>(.*?)</i>.*?data-src="(.*?)".*?name.*?a.*?>(.*?)</a>.*?star.*?>(.*?)</p>.*?releasetime.*?>(.*?)</p>.*?integer.*?>(.*?)</i>.*?fraction.*?>(.*?)</i>.*?</dd>',re.S)# 找出所有符合的项res=re.findall(patter,resp)

这样我们就可以将整个页面的所有电影信息都爬取下来了:

[('1', 'http://p1.meituan.net/movie/20803f59291c47e1e116c11963ce019e68711.jpg@160w_220h_1e_1c', '霸王别姬', '\n                主演:张国荣,张丰毅,巩俐\n        ', '上映时间:1993-01-01(中国香港)', '9.', '6'), ('2', 'http://p0.meituan.net/movie/__40191813__4767047.jpg@160w_220h_1e_1c', '肖申克的救赎', '\n                主演:蒂姆·罗宾斯,摩根·弗里曼,鲍勃·冈顿\n        ', '上映时间:1994-10-14(美国)', '9.', '5'), ('3', 'http://p0.meituan.net/movie/fc9d78dd2ce84d20e53b6d1ae2eea4fb1515304.jpg@160w_220h_1e_1c', '这个杀手不太冷', '\n                主演:让·雷诺,加里·奥德曼,娜塔莉·波特曼\n        ', '上映时间:1994-09-14(法国)', '9.', '5'), ('4', 'http://p0.meituan.net/movie/23/6009725.jpg@160w_220h_1e_1c', '罗马假日', '\n                主演:格利高利·派克,奥黛丽·赫本,埃迪·艾伯特\n        ', '上映时间:1953-09-02(美国)', '9.', '1'), ('5', 'http://p0.meituan.net/movie/53/1541925.jpg@160w_220h_1e_1c', '阿甘正传', '\n                主演:汤姆·汉克斯,罗宾·怀特,加里·西尼斯\n        ', '上映时间:1994-07-06(美国)', '9.', '4'), ('6', 'http://p0.meituan.net/movie/11/324629.jpg@160w_220h_1e_1c', '泰坦尼克号', '\n                主演:莱昂纳多·迪卡普里奥,凯特·温丝莱特,比利·赞恩\n        ', '上映时间:1998-04-03', '9.', '5'), ('7', 'http://p0.meituan.net/movie/99/678407.jpg@160w_220h_1e_1c', '龙猫', '\n                主演:日高法子,坂本千夏,糸井重里\n        ', '上映时间:1988-04-16(日本)', '9.', '2'), ('8', 'http://p0.meituan.net/movie/92/8212889.jpg@160w_220h_1e_1c', '教父', '\n                主演:马龙·白兰度,阿尔·帕西诺,詹姆斯·凯恩\n        ', '上映时间:1972-03-24(美国)', '9.', '3'), ('9', 'http://p0.meituan.net/movie/62/109878.jpg@160w_220h_1e_1c', '唐伯虎点秋香', '\n                主演:周星驰,巩俐,郑佩佩\n        ', '上映时间:1993-07-01(中国香港)', '9.', '2'), ('10', 'http://p0.meituan.net/movie/9bf7d7b81001a9cf8adbac5a7cf7d766132425.jpg@160w_220h_1e_1c', '千与千寻', '\n                主演:柊瑠美,入野自由,夏木真理\n        ', '上映时间:2001-07-20(日本)', '9.', '3')]

但这样还不够,数据比较杂乱,我们再将匹配结果处理一下,遍历提取结果写入文件,此时方法改写如下:

        for item in res:index=item[0]image=item[1]title=item[2]octor=item[3].strip()[3:]time= item[4].strip()[5:]score=item[5]+item[6]data='index:'+index+','+'image:'+image+','+'title:'+title+','+'octor:'+octor+','+'time:'+time+','+'score:'+scorewith open('result.txt', 'a', encoding='utf-8') as f:f.write(json.dumps(data, ensure_ascii=False) + '\n')

5、整合代码
因为我们是要爬取所有的页面的电影信息,所以我们必须要把我们上面的两段代码进行整合:

import requests
import re
import json
import timedef get_all_url():# 存放所有网页URL的列表url_list=[]# 基础的网址base_url = "https://maoyan.com/board/4?offset="# 10个页码依次循环for i in range(10):value = i * 10# 单个网页URL的列表url = base_url + str(value)url_list.append(url)return url_listdef get_page():url_list=get_all_url()for url in url_list:resp = requests.get(url).text# 获取匹配规则patter = re.compile('<dd>.*?board-index.*?>(.*?)</i>.*?data-src="(.*?)".*?name.*?a.*?>(.*?)</a>.*?star.*?>(.*?)</p>.*?releasetime.*?>(.*?)</p>.*?integer.*?>(.*?)</i>.*?fraction.*?>(.*?)</i>.*?</dd>',re.S)# 找出所有符合的项res=re.findall(patter,resp)for item in res:index=item[0]image=item[1]title=item[2]octor=item[3].strip()[3:]time= item[4].strip()[5:]score=item[5]+item[6]data='index:'+index+','+'image:'+image+','+'title:'+title+','+'octor:'+octor+','+'time:'+time+','+'score:'+scorewith open('result.txt', 'a', encoding='utf-8') as f:f.write(json.dumps(data, ensure_ascii=False) + '\n')if __name__ == '__main__':time.sleep(1)get_page()

现在猫眼多了反爬虫,如果速度过快,则会无响应,所以这里又增加了一个延时等待。

6、最后的结果

"index:1,image:https://p1.meituan.net/movie/20803f59291c47e1e116c11963ce019e68711.jpg@160w_220h_1e_1c,title:霸王别姬,octor:张国荣,张丰毅,巩俐,time:1993-01-01,score:9.5"
"index:2,image:https://p0.meituan.net/movie/283292171619cdfd5b240c8fd093f1eb255670.jpg@160w_220h_1e_1c,title:肖申克的救赎,octor:蒂姆·罗宾斯,摩根·弗里曼,鲍勃·冈顿,time:1994-10-14(美国),score:9.5"
"index:3,image:https://p0.meituan.net/movie/289f98ceaa8a0ae737d3dc01cd05ab052213631.jpg@160w_220h_1e_1c,title:罗马假日,octor:格利高里·派克,奥黛丽·赫本,埃迪·艾伯特,time:1953-09-02(美国),score:9.1"
"index:4,image:https://p1.meituan.net/movie/6bea9af4524dfbd0b668eaa7e187c3df767253.jpg@160w_220h_1e_1c,title:这个杀手不太冷,octor:让·雷诺,加里·奥德曼,娜塔莉·波特曼,time:1994-09-14(法国),score:9.5"
"index:5,image:https://p1.meituan.net/movie/b607fba7513e7f15eab170aac1e1400d878112.jpg@160w_220h_1e_1c,title:泰坦尼克号,octor:莱昂纳多·迪卡普里奥,凯特·温丝莱特,比利·赞恩,time:1998-04-03,score:9.5"
"index:6,image:https://p0.meituan.net/movie/da64660f82b98cdc1b8a3804e69609e041108.jpg@160w_220h_1e_1c,title:唐伯虎点秋香,octor:周星驰,巩俐,郑佩佩,time:1993-07-01(中国香港),score:9.1"
"index:7,image:https://p0.meituan.net/movie/b076ce63e9860ecf1ee9839badee5228329384.jpg@160w_220h_1e_1c,title:千与千寻,octor:柊瑠美,入野自由,夏木真理,time:2001-07-20(日本),score:9.3"
"index:8,image:https://p0.meituan.net/movie/46c29a8b8d8424bdda7715e6fd779c66235684.jpg@160w_220h_1e_1c,title:魂断蓝桥,octor:费雯·丽,罗伯特·泰勒,露塞尔·沃特森,time:1940-05-17(美国),score:9.2"
"index:9,image:https://p0.meituan.net/movie/223c3e186db3ab4ea3bb14508c709400427933.jpg@160w_220h_1e_1c,title:乱世佳人,octor:费雯·丽,克拉克·盖博,奥利维娅·德哈维兰,time:1939-12-15(美国),score:9.1"
"index:10,image:https://p1.meituan.net/movie/ba1ed511668402605ed369350ab779d6319397.jpg@160w_220h_1e_1c,title:天空之城,octor:寺田农,鹫尾真知子,龟山助清,time:1992,score:9.1"
"index:11,image:https://p0.meituan.net/movie/b0d986a8bf89278afbb19f6abaef70f31206570.jpg@160w_220h_1e_1c,title:辛德勒的名单,octor:连姆·尼森,拉尔夫·费因斯,本·金斯利,time:1993-12-15(美国),score:9.2"
"index:12,image:https://p1.meituan.net/movie/18e3191039d5e71562477659301f04aa61905.jpg@160w_220h_1e_1c,title:喜剧之王,octor:周星驰,莫文蔚,张柏芝,time:1999-02-13(中国香港),score:9.1"
"index:13,image:https://p1.meituan.net/movie/14a7b337e8063e3ce05a5993ed80176b74208.jpg@160w_220h_1e_1c,title:大闹天宫,octor:邱岳峰,毕克,富润生,time:1965-12-31,score:9.0"
"index:14,image:https://p1.meituan.net/movie/6bc004d57358ee6875faa5e9a1239140128550.jpg@160w_220h_1e_1c,title:音乐之声,octor:朱莉·安德鲁斯,克里斯托弗·普卢默,埃琳诺·帕克,time:1965-03-02(美国),score:9.0"
"index:15,image:https://p0.meituan.net/movie/ae7245920d95c03765fe1615f3a1fe3865785.jpg@160w_220h_1e_1c,title:春光乍泄,octor:张国荣,梁朝伟,张震,time:1997-05-30(中国香港),score:9.2"
"index:16,image:https://p1.meituan.net/movie/6a964e9cee699267053bd6a4bf6f2671195394.jpg@160w_220h_1e_1c,title:剪刀手爱德华,octor:约翰尼·德普,薇诺娜·瑞德,黛安·韦斯特,time:1990-12-06(美国),score:8.8"
"index:17,image:https://p0.meituan.net/movie/43d259ecbcd53e8bbe902632772281d6327525.jpg@160w_220h_1e_1c,title:美丽人生,octor:罗伯托·贝尼尼,尼可莱塔·布拉斯基,乔治·坎塔里尼,time:1997-12-20(意大利),score:9.3"
"index:18,image:https://p0.meituan.net/movie/2bbaa395c825920fac397706369746e4300686.jpg@160w_220h_1e_1c,title:海上钢琴师,octor:蒂姆·罗斯,普路特·泰勒·文斯,比尔·努恩,time:1998-10-28(意大利),score:9.2"
"index:19,image:https://p1.meituan.net/movie/ad974d3527879f00be2eec29135118163728582.jpg@160w_220h_1e_1c,title:黑客帝国,octor:基努·里维斯,凯瑞-安·莫斯,劳伦斯·菲什伯恩,time:2000-01-14,score:9.0"
"index:20,image:https://p0.meituan.net/movie/932bdfbef5be3543e6b136246aeb99b8123736.jpg@160w_220h_1e_1c,title:指环王3:王者无敌,octor:伊莱贾·伍德,伊恩·麦克莱恩,丽芙·泰勒,time:2004-03-15,score:9.2"
"index:21,image:https://p1.meituan.net/movie/aacb9ed2a6601bfe515ef0970add1715623792.jpg@160w_220h_1e_1c,title:哈利·波特与魔法石,octor:丹尼尔·雷德克里夫,鲁伯特·格林特,艾玛·沃特森,time:2002-01-26,score:9.1"
"index:22,image:https://p0.meituan.net/movie/b05b94b28eca53f325ae8d807fcd4ce01798036.jpg@160w_220h_1e_1c,title:加勒比海盗,octor:约翰尼·德普,凯拉·奈特莉,奥兰多·布鲁姆,time:2003-11-21,score:8.9"
"index:23,image:https://p1.meituan.net/movie/53b6f0b66882a53b08896c92076515a8236400.jpg@160w_220h_1e_1c,title:射雕英雄传之东成西就,octor:张国荣,梁朝伟,张学友,time:1993-02-05(中国香港),score:8.9"
"index:24,image:https://p0.meituan.net/movie/606de8f394d40dbcbb9b87943fec71a2130408.jpg@160w_220h_1e_1c,title:无间道,octor:刘德华,梁朝伟,黄秋生,time:2003-09-05,score:9.1"
"index:25,image:https://p0.meituan.net/movie/8959888ee0c399b0fe53a714bc8a5a17460048.jpg@160w_220h_1e_1c,title:楚门的世界,octor:金·凯瑞,劳拉·琳妮,诺亚·艾默里奇,time:1998-06-01(美国),score:8.9"
"index:26,image:https://p0.meituan.net/movie/bb1dee5e0b25889a2410211c1d5010ae190824.jpg@160w_220h_1e_1c,title:教父2,octor:阿尔·帕西诺,罗伯特·德尼罗,黛安·基顿,time:1974-12-12(美国),score:9.0"
"index:27,image:https://p0.meituan.net/movie/09658109acfea0e248a63932337d8e6a4268980.jpg@160w_220h_1e_1c,title:蝙蝠侠:黑暗骑士,octor:克里斯蒂安·贝尔,希斯·莱杰,阿伦·伊克哈特,time:2008-07-18(美国),score:9.3"
"index:28,image:https://p1.meituan.net/movie/dd08154878aac7c8c649fe3eeb8ccd0a2498277.jpg@160w_220h_1e_1c,title:指环王1:护戒使者,octor:伊莱贾·伍德,伊恩·麦克莱恩,丽芙·泰勒,time:2002-04-04,score:9.0"
"index:29,image:https://p0.meituan.net/movie/02bb9fd161c05bad6089133098efcdb5546589.jpg@160w_220h_1e_1c,title:指环王2:双塔奇兵,octor:伊莱贾·伍德,伊恩·麦克莱恩,丽芙·泰勒,time:2003-04-25,score:9.1"
"index:30,image:https://p0.meituan.net/movie/76fc92cfa6c8f2959431b8aa604ef7ae126414.jpg@160w_220h_1e_1c,title:天堂电影院,octor:菲利浦·诺瓦雷,赛尔乔·卡斯特利托,蒂兹亚娜·罗达托,time:1988-11-17(意大利),score:9.2"
"index:31,image:https://p0.meituan.net/movie/267dd2483f0fb57081474c00fbea38451415571.jpg@160w_220h_1e_1c,title:机器人总动员,octor:本·贝尔特,艾丽莎·奈特,杰夫·格尔林,time:2008-06-27(美国),score:9.3"
"index:32,image:https://p0.meituan.net/movie/27b76fe6cf3903f3d74963f70786001e1438406.jpg@160w_220h_1e_1c,title:狮子王,octor:马修·布罗德里克,尼基塔·卡兰姆,詹姆斯·厄尔·琼斯,time:1995-07-15,score:8.8"
"index:33,image:https://p0.meituan.net/movie/4c41068ef7608c1d4fbfbe6016e589f7204391.jpg@160w_220h_1e_1c,title:活着,octor:葛优,巩俐,牛犇,time:1994-05-18(法国),score:9.0"
"index:34,image:https://p1.meituan.net/movie/a2a287c77415dc1f85b04d288f7d63ab1089754.jpg@160w_220h_1e_1c,title:拯救大兵瑞恩,octor:汤姆·汉克斯,马特·达蒙,汤姆·塞兹摩尔,time:1998-07-24(美国),score:8.9"
"index:35,image:https://p0.meituan.net/movie/7787c10ad5e95b03cf83ef9473500d8e282796.jpg@160w_220h_1e_1c,title:忠犬八公的故事,octor:Forest,理查·基尔,琼·艾伦,time:2010-03-12(英国),score:9.3"
"index:36,image:https://p0.meituan.net/movie/0127b451d5b8f0679c6f81c8ed414bb2432442.jpg@160w_220h_1e_1c,title:哈尔的移动城堡,octor:倍赏千惠子,木村拓哉,美轮明宏,time:2004-11-20(日本),score:9.0"
"index:37,image:https://p1.meituan.net/movie/91f575ec93f019f428d1f33e3ceca7c5115495.jpg@160w_220h_1e_1c,title:阿凡达,octor:萨姆·沃辛顿,佐伊·索尔达娜,米歇尔·罗德里格兹,time:2010-01-04,score:9.1"
"index:38,image:https://p1.meituan.net/movie/2f344a9f9575edbcae9f0abe0578bc90339773.jpg@160w_220h_1e_1c,title:盗梦空间,octor:莱昂纳多·迪卡普里奥,渡边谦,约瑟夫·高登-莱维特,time:2010-09-01,score:9.2"
"index:39,image:https://p0.meituan.net/movie/b3defc07dfaa1b6f5b74852ce38a3f8f242792.jpg@160w_220h_1e_1c,title:搏击俱乐部,octor:爱德华·哈里森·诺顿,布拉德·皮特,海伦娜·伯翰·卡特,time:1999-10-15(美国),score:8.8"
"index:40,image:https://p1.meituan.net/movie/7e471a9171a410ebc9413b2f1de67afc130067.jpg@160w_220h_1e_1c,title:东邪西毒,octor:张国荣,梁朝伟,刘嘉玲,time:1994-09-17,score:8.8"
"index:41,image:https://p0.meituan.net/movie/a08f65e6cb50fab32df5da69ff116f593095363.jpg@160w_220h_1e_1c,title:幽灵公主,octor:松田洋治,石田百合子,田中裕子,time:1998-05-01,score:8.9"
"index:42,image:https://p0.meituan.net/movie/4f9638ba234c3fb673f23a09968db875371576.jpg@160w_220h_1e_1c,title:风之谷,octor:岛本须美,永井一郎,坂本千夏,time:1992,score:8.9"
"index:43,image:https://p1.meituan.net/movie/06ec3c1c647942b1e40bca84036014e9490863.jpg@160w_220h_1e_1c,title:V字仇杀队,octor:娜塔莉·波特曼,雨果·维文,斯蒂芬·瑞,time:2006-03-17(美国),score:8.8"
"index:44,image:https://p0.meituan.net/movie/df15efd261060d3094a73ef679888d4f238149.jpg@160w_220h_1e_1c,title:十二怒汉,octor:亨利·方达,李·科布,马丁·鲍尔萨姆,time:1957-04-13(美国),score:9.1"
"index:45,image:https://p1.meituan.net/movie/5896de3c1474277730e321c9b1db04a9205644.jpg@160w_220h_1e_1c,title:当幸福来敲门,octor:威尔·史密斯,贾登·史密斯,坦迪·牛顿,time:2008-01-17,score:8.9"
"index:46,image:https://p1.meituan.net/movie/bc022b86345c643ca21d759166f77a553679589.jpg@160w_220h_1e_1c,title:疯狂原始人,octor:尼古拉斯·凯奇,艾玛·斯通,瑞安·雷诺兹,time:2013-04-20,score:9.5"
"index:47,image:https://p0.meituan.net/movie/70de97ebb6b5251ecb7c3f6d7a782a7f189340.jpg@160w_220h_1e_1c,title:放牛班的春天,octor:热拉尔·朱尼奥,让-巴蒂斯特·莫尼耶,玛丽·布奈尔,time:2004-10-16,score:8.8"
"index:48,image:https://p1.meituan.net/movie/f8e9d5a90224746d15dfdbd53d4fae3d209420.jpg@160w_220h_1e_1c,title:勇敢的心,octor:梅尔·吉布森,苏菲·玛索,帕特里克·麦高汉,time:1995-05-24(美国),score:8.8"
"index:49,image:https://p1.meituan.net/movie/ca4a128a5a54d5b5e35ceba622636c831810197.jpg@160w_220h_1e_1c,title:三傻大闹宝莱坞,octor:阿米尔·汗,黄渤,卡琳娜·卡普,time:2011-12-08,score:9.1"
"index:50,image:https://p1.meituan.net/movie/8d7b0b902afd4ec1a3dd7a9c6149463c187734.jpg@160w_220h_1e_1c,title:闻香识女人,octor:阿尔·帕西诺,克里斯·奥唐纳,加布里埃尔·安瓦尔,time:1992-12-23(美国),score:8.8"
"index:51,image:https://p0.meituan.net/movie/2e383b5f5f306f10f9f26d9f1c28cf1d825537.jpg@160w_220h_1e_1c,title:黑客帝国3:矩阵革命,octor:基努·里维斯,雨果·维文,凯瑞-安·莫斯,time:2003-11-05,score:8.8"
"index:52,image:https://p0.meituan.net/movie/b0d97e4158b47d653d7a81d66f7dd3092146907.jpg@160w_220h_1e_1c,title:驯龙高手,octor:杰伊·巴鲁切尔,杰拉德·巴特勒,亚美莉卡·费雷拉,time:2010-05-14,score:9.0"
"index:53,image:https://p0.meituan.net/movie/845ce32778a1b3f258de089f91a3979b5766154.jpg@160w_220h_1e_1c,title:速度与激情5,octor:范·迪塞尔,保罗·沃克,道恩·强森,time:2011-05-12,score:9.2"
"index:54,image:https://p0.meituan.net/movie/e71affe126eeb4f8bfcc738cbddeebc8288766.jpg@160w_220h_1e_1c,title:断背山,octor:希斯·莱杰,杰克·吉伦哈尔,米歇尔·威廉姆斯,time:2006-01-13(美国),score:9.0"
"index:55,image:https://p0.meituan.net/movie/85c2bfba6025bfbfb53291ae5924c215308805.jpg@160w_220h_1e_1c,title:神偷奶爸,octor:史蒂夫·卡瑞尔,杰森·席格尔,拉塞尔·布兰德,time:2010-07-09(美国),score:9.0"
"index:56,image:https://p0.meituan.net/movie/34998e31c6d07475f1add6b8b16fd21d192579.jpg@160w_220h_1e_1c,title:少年派的奇幻漂流,octor:苏拉·沙玛,伊尔凡·可汗,塔布,time:2012-11-22,score:9.1"
"index:57,image:https://p0.meituan.net/movie/47dd790e19dad72b50580641de5608c5199014.jpg@160w_220h_1e_1c,title:飞屋环游记,octor:爱德华·阿斯纳,乔丹·长井,鲍勃·彼德森,time:2009-08-04,score:8.9"
"index:58,image:https://p0.meituan.net/movie/92eb862c42c49f8e41e459c369c4512b226610.jpg@160w_220h_1e_1c,title:大话西游之月光宝盒,octor:周星驰,莫文蔚,吴孟达,time:2014-10-24,score:9.6"
"index:59,image:https://p0.meituan.net/movie/15f1ac49b6d1ff7b71207672993ed6901536456.jpg@160w_220h_1e_1c,title:怦然心动,octor:玛德琳·卡罗尔,卡兰·麦克奥利菲,艾丹·奎因,time:2010-08-06(美国),score:8.9"
"index:60,image:https://p1.meituan.net/movie/75c0d3eb584be030a01f2e26741a8f41251454.jpg@160w_220h_1e_1c,title:致命魔术,octor:休·杰克曼,克里斯蒂安·贝尔,迈克尔·凯恩,time:2006-10-20(美国),score:8.8"
"index:61,image:https://p1.meituan.net/movie/0b507aa44c4dfbbcc91949b69b1b39a168922.jpg@160w_220h_1e_1c,title:鬼子来了,octor:姜文,姜宏波,陈强,time:2000-05-12(法国戛纳),score:8.9"
"index:62,image:https://p1.meituan.net/movie/21b9211eb1094af360842472018db634286646.jpg@160w_220h_1e_1c,title:末代皇帝,octor:尊龙,陈冲,彼得·奥图尔,time:1987-10-23,score:8.8"
"index:63,image:https://p0.meituan.net/movie/7b7d1f8aa36d7a15463ce6942708a1a7265296.jpg@160w_220h_1e_1c,title:美丽心灵,octor:罗素·克洛,詹妮弗·康纳利,艾德·哈里斯,time:2001-12-21(美国),score:8.8"
"index:64,image:https://p0.meituan.net/movie/fcc17667b8343131101eeb4c67d90bf9150883.jpg@160w_220h_1e_1c,title:无敌破坏王,octor:约翰·C·赖利,萨拉·西尔弗曼,简·林奇,time:2012-11-06,score:9.1"
"index:65,image:https://p0.meituan.net/movie/7ec873ba943f13e3c63789d899bd0e23256871.jpg@160w_220h_1e_1c,title:夜访吸血鬼,octor:汤姆·克鲁斯,布拉德·皮特,克尔斯滕·邓斯特,time:1994-11-11(美国),score:8.8"
"index:66,image:https://p1.meituan.net/movie/96bb58f3e9d213fb0438987d16d27561379209.jpg@160w_220h_1e_1c,title:蝙蝠侠:黑暗骑士崛起,octor:克里斯蒂安·贝尔,迈克尔·凯恩,加里·奥德曼,time:2012-08-27,score:8.9"
"index:67,image:https://p1.meituan.net/movie/96d98200d2afb4b87ff189f9c15b6545568339.jpg@160w_220h_1e_1c,title:倩女幽魂,octor:张国荣,王祖贤,午马,time:2011-04-30,score:9.2"
"index:68,image:https://p1.meituan.net/movie/bb0eca029cd25329776a4549b3fbe262924727.jpg@160w_220h_1e_1c,title:哈利·波特与死亡圣器(下),octor:丹尼尔·雷德克里夫,鲁伯特·格林特,艾玛·沃特森,time:2011-08-04,score:9.0"
"index:69,image:https://p0.meituan.net/movie/2526f77c650bf7cf3d5ee2dccdeac332244951.jpg@160w_220h_1e_1c,title:本杰明·巴顿奇事,octor:布拉德·皮特,凯特·布兰切特,塔拉吉·P·汉森,time:2008-12-25(美国),score:8.8"
"index:70,image:https://p1.meituan.net/movie/484171372de45945e8bbbcc97db57e09136701.jpg@160w_220h_1e_1c,title:钢琴家,octor:艾德里安·布洛迪,艾米莉娅·福克斯,米哈乌·热布罗夫斯基,time:2002-09-25(法国),score:8.8"
"index:71,image:https://p1.meituan.net/movie/0b0d45b58946078dd24d4945dd6be3b51329411.jpg@160w_220h_1e_1c,title:甜蜜蜜,octor:黎明,张曼玉,曾志伟,time:2015-02-13,score:9.2"
"index:72,image:https://p1.meituan.net/movie/1e700e53e4fe29dd5942381bb353c8532239179.jpg@160w_220h_1e_1c,title:触不可及,octor:弗朗索瓦·克鲁塞,奥玛·希,安娜·勒尼,time:2011-11-02(法国),score:9.1"
"index:73,image:https://p1.meituan.net/movie/7833126c8c21a11571bb52fbdece0acb811449.jpg@160w_220h_1e_1c,title:新龙门客栈,octor:张曼玉,梁家辉,甄子丹,time:2012-02-24,score:8.8"
"index:74,image:https://p1.meituan.net/movie/2a0783b4fd95566568f24adfad2181bb5392280.jpg@160w_220h_1e_1c,title:熔炉,octor:孔刘,郑有美,金智英,time:2011-09-22(韩国),score:8.8"
"index:75,image:https://p1.meituan.net/movie/7ed07b8ea8c0e0d0c7b685d20e3ec64e232004.jpg@160w_220h_1e_1c,title:初恋这件小事,octor:马里奥·毛瑞尔,平采娜·乐维瑟派布恩,阿查拉那·阿瑞亚卫考,time:2012-06-05,score:8.8"
"index:76,image:https://p1.meituan.net/movie/dc2246233a6f5ac1e34c7176b602c8ca174557.jpg@160w_220h_1e_1c,title:大话西游之大圣娶亲,octor:周星驰,朱茵,莫文蔚,time:2014-10-24,score:8.8"
"index:77,image:https://p1.meituan.net/movie/135c612860fae899df2220149664d97a173555.jpg@160w_220h_1e_1c,title:小鞋子,octor:默罕默德·阿米尔·纳吉,Kamal Mirkarimi,Behzad Rafi,time:1999-01-22(美国),score:9.1"
"index:78,image:https://p0.meituan.net/movie/19653e8af59cf473cd40f9ccc0658d93692304.jpg@160w_220h_1e_1c,title:素媛,octor:李来,薛耿求,严志媛,time:2013-10-02(韩国),score:9.1"
"index:79,image:https://p0.meituan.net/movie/5420be40e3b755ffe04779b9b199e935256906.jpg@160w_220h_1e_1c,title:萤火之森,octor:内山昂辉,佐仓绫音,后藤弘树,time:2011-09-17(日本),score:9.0"
"index:80,image:https://p1.meituan.net/movie/d5970e36c8868a4b746c80f3b3f8a404174615.jpg@160w_220h_1e_1c,title:穿条纹睡衣的男孩,octor:阿沙·巴特菲尔德,维拉·法梅加,大卫·休里斯,time:2008-09-12(英国),score:9.0"
"index:81,image:https://p0.meituan.net/movie/3985eaf3858bea0f2a3d966bf7ee2103178217.jpg@160w_220h_1e_1c,title:窃听风暴,octor:乌尔里希·穆埃,塞巴斯蒂安·科赫,马蒂娜·格德克,time:2006-03-23(德国),score:9.0"
"index:82,image:https://p0.meituan.net/movie/4abc8c932cfacfc0089e2883765d02d1295222.jpg@160w_220h_1e_1c,title:时空恋旅人,octor:瑞秋·麦克亚当斯,多姆纳尔·格里森,比尔·奈伊,time:2013-09-04(英国),score:8.9"
"index:83,image:https://p0.meituan.net/movie/1199dc6273680f175fd9b06c9c36d08a219658.jpg@160w_220h_1e_1c,title:教父,octor:马龙·白兰度,阿尔·帕西诺,詹姆斯·肯恩,time:2015-04-18,score:9.3"
"index:84,image:https://p1.meituan.net/movie/6a6e74b2c289f9fa4433dd2dc04a7741331638.jpg@160w_220h_1e_1c,title:7号房的礼物,octor:柳承龙,郑镇荣,朴信惠,time:2013-01-23(韩国),score:8.9"
"index:85,image:https://p0.meituan.net/movie/b5ff0216e689b3fcc065590c48cd5105255305.jpg@160w_220h_1e_1c,title:恐怖直播,octor:河正宇,李璟荣,李大为,time:2013-07-31(韩国),score:8.8"
"index:86,image:https://p0.meituan.net/movie/7373dbba07b50ce6f24336edb96b2ea4271536.jpg@160w_220h_1e_1c,title:海豚湾,octor:里克·奥巴瑞,路易·西霍尤斯,哈迪·琼斯,time:2009-07-31(美国),score:8.9"
"index:87,image:https://p1.meituan.net/movie/c835b3588d0061ed3b992388a0a96f15160913.jpg@160w_220h_1e_1c,title:忠犬八公物语,octor:仲代达矢,春川真澄,井川比佐志,time:1987-08-01(日本),score:9.0"
"index:88,image:https://p1.meituan.net/movie/b553d13f30100db731ab6cf45668e52d94703.jpg@160w_220h_1e_1c,title:上帝之城,octor:亚历桑德雷·罗德里格斯,艾莉丝·布拉加,莱安德鲁·菲尔米诺,time:2002-08-30(巴西),score:8.9"
"index:89,image:https://p1.meituan.net/movie/4ffca83fd972f71e291f8ea8d78a4b58594878.jpg@160w_220h_1e_1c,title:七武士,octor:三船敏郎,志村乔,千秋实,time:1954-04-26(日本),score:9.1"
"index:90,image:https://p1.meituan.net/movie/92198a6fc8c3f5d13aa1bdf203572c0f99438.jpg@160w_220h_1e_1c,title:美国往事,octor:罗伯特·德尼罗,詹姆斯·伍兹,伊丽莎白·麦戈文,time:2015-04-23,score:9.1"
"index:91,image:https://p1.meituan.net/movie/30310858fdab34c7a17cfd7ec8ad8bfc112201.jpg@160w_220h_1e_1c,title:完美的世界,octor:凯文·科斯特纳,克林特·伊斯特伍德,T·J·劳瑟,time:1993-11-24(美国),score:8.9"
"index:92,image:https://p0.meituan.net/movie/3e5f5f3aa4b7e5576521e26c2c7c894d253975.jpg@160w_220h_1e_1c,title:英雄本色,octor:狄龙,张国荣,周润发,time:2017-11-17,score:9.2"
"index:93,image:https://p1.meituan.net/movie/2c0a5fedf4b43d142121b91c6ccabe1b59051.jpg@160w_220h_1e_1c,title:一一,octor:吴念真,金燕玲,李凯莉,time:2000-09-20(法国),score:8.9"
"index:94,image:https://p1.meituan.net/movie/36a893c53a13f9bb934071b86ae3b5c492427.jpg@160w_220h_1e_1c,title:爱·回家,octor:俞承豪,金艺芬,童孝熙,time:2002-04-05(韩国),score:9.0"
"index:95,image:https://p0.meituan.net/movie/0018b57299d0d4540330a31244c880a9112971.jpg@160w_220h_1e_1c,title:海洋,octor:雅克·贝汉,姜文,兰斯洛特·佩林,time:2011-08-12,score:9.0"
"index:96,image:https://p1.meituan.net/movie/ed50b58bf636d207c56989872a91f4cf305138.jpg@160w_220h_1e_1c,title:我爱你,octor:宋在浩,李顺才,尹秀晶,time:2011-02-17(韩国),score:9.0"
"index:97,image:https://p0.meituan.net/movie/cd18ed2c5cda9e71e17e5e6ef61ced172912303.jpg@160w_220h_1e_1c,title:黄金三镖客,octor:克林特·伊斯特伍德,李·范·克里夫,埃里·瓦拉赫,time:1966-12-23(意大利),score:8.9"
"index:98,image:https://p1.meituan.net/movie/a1634f4e49c8517ae0a3e4adcac6b0dc43994.jpg@160w_220h_1e_1c,title:迁徙的鸟,octor:雅克·贝汉,Philippe Labro,time:2001-12-12(法国),score:9.1"
"index:99,image:https://p0.meituan.net/movie/885fc379c614a2b4175587b95ac98eb95045650.jpg@160w_220h_1e_1c,title:阿飞正传,octor:张国荣,张曼玉,刘德华,time:2018-06-25,score:8.8"
"index:100,image:https://p0.meituan.net/movie/c304c687e287c7c2f9e22cf78257872d277201.jpg@160w_220h_1e_1c,title:龙猫,octor:秦岚,糸井重里,岛本须美,time:2018-12-14,score:9.1"

可以看到,电影信息也已全部保存到了文本文件中了,大功告成!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://xiahunao.cn/news/352351.html

如若内容造成侵权/违法违规/事实不符,请联系瞎胡闹网进行投诉反馈,一经查实,立即删除!

相关文章

使用正则表达式爬虫抓取猫眼电影排行Top100

目标站点分析 分析网址 首页 https://maoyan.com/点击榜单 https://maoyan.com/board点击Top100 https://maoyan.com/board/4目标站点为 https://maoyan.com/board/4https://maoyan.com 为首页/board 为榜单标签/4 就是下面第五个按钮Top100这是第一页 第二页 https://mao…

新手如何发布第一个Python项目开源包?这里有一份详细指南

选自 medium&#xff1b;作者&#xff1a;Gabriel Lerner、Nathan Toubiana 机器之心编译&#xff1b;参与&#xff1a;陈韵莹、张倩 好不容易码了个 python 项目&#xff0c;是不是很兴奋&#xff1f;那么怎么把这个项目发出去让大家看到呢&#xff1f;本文作者写了一份在 Git…

Requests+正则表达式爬取猫眼电影(TOP100榜)

猫眼电影网址:www.maoyan.com 前言:网上一些大神已经对猫眼电影进行过爬取,所用的方法也是各有其优,最终目的是把影片排名、图片、名称、主要演员、上映时间与评分提取出来并保存到文件或者数据库,本人也是巩固知识进行练习,整理笔记方便阅读 获取单个网页 # 获取单个…

推荐 :深入浅出之个性化推荐系统实践

大数据在网易内部的应用丰富多彩&#xff0c;在《让机器读懂用户--大数据中的用户画像》一文中&#xff0c;网易工程师对用户画像进行了较为系统的介绍&#xff0c;并提到用户画像的一个重要作用在于个性化推荐。但企业怎样才能正确认识和利用推荐系统来拓展业务&#xff1f; 本…

7个Python特殊技巧,助力你的数据分析工作之路

选自TowardsDataScience 作者&#xff1a; Perter Nistrup 机器之心编译 参与&#xff1a; 魔王 如何提升数据分析能力&#xff1f;Peter Nistrup 根据自身经验列出了 7 个有用工具。 本文列举了一些提升或加速日常数据分析工作的技巧&#xff0c;包括&#xff1a; 1. Pandas…

推荐 :一文带你了解协同过滤的前世今生

导读 协同过滤&#xff1a;在推荐领域中&#xff0c;让人耳熟能详、影响最大、应用最广泛的模型莫过于协同过滤。2003年&#xff0c;Amazon发表的论文[1]让协同过滤成为今后很长时间的研究热点和业界主流的推荐模型。 什么是协同过滤 协同过滤是基于用户行为设计的推荐算法&…

【Python爬虫】:使用高性能异步多进程爬虫获取豆瓣电影Top250

在本篇博文当中&#xff0c;将会教会大家如何使用高性能爬虫&#xff0c;快速爬取并解析页面当中的信息。一般情况下&#xff0c;如果我们请求网页的次数太多&#xff0c;每次都要发出一次请求&#xff0c;进行串行执行的话&#xff0c;那么请求将会占用我们大量的时间&#xf…

爬虫之静态页面抓取

静态网页抓取 在网络爬虫中&#xff0c;静态网页的数据比较容易获取&#xff0c;因为其所有数据都呈现在网页的HTML代码中 在静态网页抓取中&#xff0c;Python中的Requests库能够容易实现这个需求 通过requests发起Http请求 import requests url"http://www.santostan…

京东常用的API接口

今天分享的是京东平台API&#xff0c;关键字搜索接口。 点击测试​​​​​​​ 万邦京东按关键字搜索商品 API 返回值说明&#xff1a; { "items": { "keyword": "游戏", "page": 1, "real_total…

请问,你了解推荐系统吗

你知道吗 推荐系统&#xff1a;解决问题&#xff1a;系统环节&#xff1a;召回路径&#xff1a;推荐架构&#xff1a;通用技术架构&#xff1a;实现推荐&#xff1a;基于内容的推荐系统【Content-Based Recommendations】余弦相似度&#xff1a;示例计算&#xff1a;余弦相似度…

一条挨踢老狗的 2017 年终总结

2018年是中国的狗年&#xff0c;狗常常象征着忠诚&#xff0c;有忠贞不渝的意义&#xff0c;有时也代表财富。一条常年战斗在挨踢界&#xff0c;对挨踢事业忠贞不渝的老狗今天来回顾2017、展望2018。 作为一条对挨踢事业忠贞不渝的老狗&#xff0c;理所当然是热爱这个工作的&a…

Java面对对象三大特性之封装】

目录 1.封装2. 访问权限2.1 public权限2.2private权限2.3 默认权限 3.包的定义4. static成员5.静态成员初始化6.对象的打印 1.封装 封装&#xff1a;就是将数据和操作数据的方法进行结合&#xff0c;隐藏对象的属性和方法&#xff0c;仅对外实现一些接口和对象进行交互 其实就是…

Storm入门之第6章一个实际的例子

本文翻译自《Getting Started With Storm》译者&#xff1a;吴京润 编辑&#xff1a;郭蕾 方腾飞 本章要阐述一个典型的网络分析解决方案&#xff0c;而这类问题通常利用Hadoop批处理作为解决方案。与Hadoop不同的是&#xff0c;基于Storm的方案会实时输出结果。 我们的这个…

20222817 2022-2023-2《网络攻防实践》第十一次作业

目录 1.实践内容 2.实践过程 3 学习中遇到的问题及解决 4 实践总结 1.实践内容 1.Web浏览器渗透攻击实验 任务&#xff1a;使用攻击机和Windows靶机进行浏览器渗透攻击实验&#xff0c;体验网页木马构造及实施浏览器攻击的实际过程。 2.取证分析实践—网页木马攻击场景分析…

【Storm入门指南】第六章 真实示例

本章将演示一个典型的网页分析方案&#xff0c;通常使用 Hadoop 批量作业来解决的问题。不像 Hadoop 的实现方案&#xff0c;基于 Storm 的解决方案实时刷新并呈现结果。 示例有三个主要部分&#xff08;如图6.1所示&#xff09;&#xff1a; 一个 Node.js 的web应用&#xff0…

Storm 实时分析系统详解

一、Storm 概述 1、Storm 简介 Storm 是一个分布式的,可靠的,容错的数据流处理系统。它会把工作任务委托给不同类型的组件,每个组件负责处理一项简单特定的任务。Storm 集群的输入流由一个被称作 spout 的组件管理,spout 把数据传递给 bolt, bolt 要么把数据保存到某种存…

Storm 的一个案例

本章要阐述一个典型的网络分析解决方案&#xff0c;而这类问题通常利用Hadoop批处理作为解决方案。与Hadoop不同的是&#xff0c;基于Storm的方案会实时输出结果。 我们的这个例子有三个主要组件&#xff08;见图6-1&#xff09; 一个基于Node.js的web应用&#xff0c;用于测试…

getting start with storm 翻译 第六章 part-4

转载请注明出处&#xff1a;http://blog.csdn.net/lonelytrooper/article/details/9982967 Redis服务器 Redis是一套高级的用于持久化的内存KeyValue存储系统(见http://redis.io)。使用它来存储下述信息&#xff1a; ﹒产品信息&#xff0c;用于服务网站。 ﹒用户导航队列…

Phpstorm调试详解(包含命令行以及浏览器)

2019独角兽企业重金招聘Python工程师标准>>> 运行环境 PHP版本&#xff1a;5.5.12 Phpstorm : 9.0.2 xdebug : 2.2.5 下载地址&#xff0c;请下载与当前PHP版本对应的版本 系统平台&#xff1a;Windows 7 一 &#xff0c;要先给php安装xdebug扩展 1&#xff0c;…

windows核心编程之进程(3)

获取系统版本的函数: GetVersion返回一个DWORD类型的值&#xff0c;高子返回MS-DOS版本号&#xff0c;低字返回windows版本号 本来按照逻辑来说应该是低字的高字节返回windows的主版本号&#xff0c;低字节返回此版本号&#xff0c;但是编写该代码程序员犯了一个小错误&#…