EX3 | 用Python完成对豆瓣电影TOP250数据的爬取与保存

nianqunsh 2018-10-17 20:17:13 2097

欢迎关注微信号:student_Shang
小编是985院校小硕士一枚,欢迎关注,持续更新中~

豆瓣电影TOP250
哈喽,大家好~

在本次推送中,以豆瓣网站电影数据作为采集目标,重点采集并保存豆瓣电影 TOP250 中的电影名、导演、一句话总结、电影海报链接、豆瓣单页链接等信息,在本地根目录下以 .txt 的文件形式进行存储。

1 准备工作

在本次爬虫开始之前,请确保已经安装好了第三方 requests 库、BeautifulSoup 库等。如果没有安装,请使用cmd打开命令行界面,并逐行键入以下代码:

pip install requests

pip install bs4

2 抓取分析

本次抓取的信息内容较上一次简单。只需要利用 requests 库向指定网站发送请求,获取服务器传来的响应,随后利用BeautifulSoup库完成对网页代码的解析,同时为了进一步防止触发反爬虫机制。具体分析如下:
首先,我们本次爬取的网站是

https://movie.douban.com/top250?start=00&filter=

右键点击 检查 按钮,或者直接按下 F12 进入开发者界面,点开 Network 一栏,并按下 F5 刷新按钮,必要时请按下 CTRL + F5 组合键完成页面的刷新。随后我们点击刷新后出现的第一个子栏目。如下图所示:

观察list表单中的相关信息

这里我们可以看到,网站请求的 Request URL ,再往下翻观察 Request Headers信息,为了避免触发反爬虫机制,我们要尽量把爬虫程序做的更像是人在浏览网页。

接下来便是对网页的提取与保存,我们开始今天的爬虫工作。

3 爬取信息与保存

在安装完毕我们在一开始介绍的第三方库后,这里我们需要首先导入这些文件才能够进行后续的操作。

import requests
from bs4 import BeautifulSoup
3.1 网页请求头的设置

为了使爬虫程序模拟的更像人在操作,因此我们添加了请求过程中一些比较重要的请求头信息,并将其整理成一个请求函数,具体如下:

def get_page(url):
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 '
                      '(KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36',
        'Host':'movie.douban.com'
            }
    r = requests.get(url,headers = headers)
    return r

接下来我们便开始网页的爬取工作。

3.2 豆瓣电影TOP250数据的爬取与保存

首先,我们需要对单个网页的信息进行爬取,通过对响应代码的分析,我们利用 BeautifulSoup 库完成对代码的解析。同时将其定义为 get_pictures_url() 函数。具体如下:

def get_pictures_url(url,number):
    r = get_page(url)
    Number = 0 + number * 25
    if r.status_code == 200:
        soup = BeautifulSoup(r.content)
        pictures_url = soup.find_all('div',class_="item")
        for pictures in pictures_url:
            Number += 1
            try:

                with open('douban_top250.txt','a') as f:
                    print('正在存储top第{}'.format(Number))
                    f.write('TOP排名:' + str(Number) + '\n')
                    f.write('源网页:' + pictures.find('a',class_="")['href'] + '\n')
                    f.write('海报地址:' + pictures.find('img', class_="")['src'] + '\n')
                    f.write('片名:' + pictures.find('img', class_="")['alt'] + '\n')
                    f.write(pictures.find('div', class_="bd").p.get_text()[29:40] + '\n')
                    f.write('一句话介绍:' + str(pictures.find('span', class_='inq').string) + '\n\n\n')
                    f.flush()
                    print("%s已存储" % pictures.find('img', class_="")['alt'])
            except:
                print('Fail download')

单个网页的内容收集完毕后,我们需要获取如何跳入下一页。这里我们发现,通过更改不同页数的网页 URL 之间的 pageNum 参数,可以实现网页之间的切换。

https://movie.douban.com/top250?start=0&filter=
https://movie.douban.com/top250?start=25&filter=
https://movie.douban.com/top250?start=50&filter=

3.3 启动程序

最后,键入以下代码便能够实现整个程序的运行:

if __name__ == "__main__":
    for i in range(11):
        get_pictures_url("https://movie.douban.com/top250?start={}&filter=".format(i*25),i)
    print('-------------------------------------')
    print('数据保存完毕')

4 总结与展望

本次爬虫程序在编写过程中,遇到了无法对字符串进行保存的尴尬情况,主要原因在于写入文件的首个字符不应当为转义字符。在爬虫程序完成后,会在文件保存的根目录下出现 douban_top250.txt 的文件。此外,本次爬虫只限于对数据的爬取与保存工作,数据的分析工作留待后续进行再处理。

微信公众号:Python一号通
关注可了解更多的爬虫教程及机器学习内容。
问题或建议,请公众号留言

声明:本文内容由易百纳平台入驻作者撰写,文章观点仅代表作者本人,不代表易百纳立场。如有内容侵权或者其他问题,请联系本站进行删除。
红包 点赞 收藏 评论 打赏
评论
0个
内容存在敏感词
手气红包
    易百纳技术社区暂无数据
相关专栏
关于作者
nianqunsh

nianqunsh

暂无个性签名~

原创6
阅读1.3w
收藏0
点赞0
评论0
打赏用户 0
我要创作
分享技术经验,可获取创作收益
分类专栏
置顶时间设置
结束时间
删除原因
  • 广告/SPAM
  • 恶意灌水
  • 违规内容
  • 文不对题
  • 重复发帖
打赏作者
易百纳技术社区
nianqunsh
您的支持将鼓励我继续创作!
打赏金额:
¥1易百纳技术社区
¥5易百纳技术社区
¥10易百纳技术社区
¥50易百纳技术社区
¥100易百纳技术社区
支付方式:
微信支付
支付宝支付
易百纳技术社区微信支付
易百纳技术社区
打赏成功!

感谢您的打赏,如若您也想被打赏,可前往 发表专栏 哦~

举报反馈

举报类型

  • 内容涉黄/赌/毒
  • 内容侵权/抄袭
  • 政治相关
  • 涉嫌广告
  • 侮辱谩骂
  • 其他

详细说明

审核成功

发布时间设置
发布时间:
是否关联周任务-专栏模块

审核失败

失败原因
备注
拼手气红包 红包规则
祝福语
恭喜发财,大吉大利!
红包金额
红包最小金额不能低于5元
红包数量
红包数量范围10~50个
余额支付
当前余额:
可前往问答、专栏板块获取收益 去获取
取 消 确 定

小包子的红包

恭喜发财,大吉大利

已领取20/40,共1.6元 红包规则

    易百纳技术社区