EX2 | 用Python爬取彩票网站的信息
欢迎关注微信号:student_Shang
小编是985院校小硕士一枚,欢迎关注,持续更新中~
哈喽,大家好~
在本次推送中,以彩票网站的数据作为采集目标,重点采集并保存彩票网站的3D项目开奖日期、期号、中奖号码、中奖注数、销售金额、以及返奖比例等信息,在本地根目录下以 .xls
的文件形式进行存储。
1 准备工作
在本次爬虫开始之前,请确保已经安装好了第三方 requests 库、xlwt 库、time 库、以及BeautifulSoup 库等。如果没有安装,请使用cmd打开命令行界面,并逐行键入以下代码:
pip install requests
pip install xlwt
pip install bs4
pip install time
2 抓取分析
本次抓取的信息内容较上一次简单。只需要利用 requests 库向指定网站发送请求,获取服务器传来的响应,随后利用BeautifulSoup库完成对网页代码的解析,同时为了进一步防止触发反爬虫机制,我们加入了 time库的延迟操作。具体分析如下:
首先,我们本次爬取的网站是
右键点击 检查
按钮,或者直接按下 F12
进入开发者界面,点开 Network
一栏,并按下 F5
刷新按钮,必要时请按下 CTRL
+ F5
组合键完成页面的刷新。随后我们点击刷新后出现的第一个子栏目。如下图所示:
这里我们可以看到,网站请求的 Request URL
,再往下翻观察 Request Headers
信息,为了避免触发反爬虫机制,我们要尽量把爬虫程序做的更像是人在浏览网页。
接下来便是对网页的提取与保存,我们开始今天的爬虫工作。
3 爬取信息与保存
在安装完毕我们在一开始介绍的第三方库后,这里我们需要首先导入这些文件才能够进行后续的操作。
import requests
from bs4 import BeautifulSoup
import xlwt
import time
3.1 网页请求头的设置
为了使爬虫程序模拟的更像人在操作,因此我们添加了请求过程中一些比较重要的请求头信息,并将其整理成一个请求函数,具体如下:
def get_one_page(url):
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.140 Safari/537.36',
'Host': 'kaijiang.zhcw.com'
}
response = requests.get(url, headers=headers)
if response.status_code == 200:
return response.text
return None
接下来我们便开始网页的爬取工作。
3.2 彩票网站数据的爬取与保存
首先,我们需要对单个网页的信息进行爬取,通过对响应代码的分析,我们利用 BeautifulSoup 库完成对代码的解析。同时将其定义为 parse_one_page()
函数。具体如下:
def parse_one_page(html):
soup = BeautifulSoup(html, 'lxml')
i = 0
for item in soup.select('tr')[2:-1]:
yield {
'time': item.select('td')[i].text,
'issue': item.select('td')[i + 1].text,
'digits': item.select('td em')[0].text,
'ten_digits': item.select('td em')[1].text,
'hundred_digits': item.select('td em')[2].text,
'single_selection': item.select('td')[i + 3].text,
'group_selection_3': item.select('td')[i + 4].text,
'group_selection_6': item.select('td')[i + 5].text,
'sales': item.select('td')[i + 6].text,
'return_rates': item.select('td')[i + 7].text
}
单个网页的内容收集完毕后,我们需要获取如何跳入下一页。这里我们发现,通过更改不同页数的网页 URL 之间的 pageNum
参数,可以实现网页之间的切换。
http://kaijiang.zhcw.com/zhcw/inc/3d/3d_wqhg.jsp?pageNum=1
http://kaijiang.zhcw.com/zhcw/inc/3d/3d_wqhg.jsp?pageNum=50
此外,利用 xlwt 库完成对数据的保存工作。具体代码如下:
def write_to_excel():
f = xlwt.Workbook()
sheet1 = f.add_sheet('3D', cell_overwrite_ok=True)
row0 = ["开奖日期", "期号", "个位数", "十位数", "百位数", "单数", "组选3", "组选6", "销售额", "返奖比例"]
# 写入第一行
for j in range(0, len(row0)):
sheet1.write(0, j, row0[j])
# 依次爬取每一页内容的每一期信息,并将其依次写入Excel
i = 0
for k in range(1, 247):
time.sleep(0.1)
url = 'http://kaijiang.zhcw.com/zhcw/inc/3d/3d_wqhg.jsp?pageNum=%s' % (str(k))
html = get_one_page(url)
print('正在保存第%d页。' % k)
# 写入每一期的信息
for item in parse_one_page(html):
sheet1.write(i + 1, 0, item['time'])
sheet1.write(i + 1, 1, item['issue'])
sheet1.write(i + 1, 2, item['digits'])
sheet1.write(i + 1, 3, item['ten_digits'])
sheet1.write(i + 1, 4, item['hundred_digits'])
sheet1.write(i + 1, 5, item['single_selection'])
sheet1.write(i + 1, 6, item['group_selection_3'])
sheet1.write(i + 1, 7, item['group_selection_6'])
sheet1.write(i + 1, 8, item['sales'])
sheet1.write(i + 1, 9, item['return_rates'])
i += 1
f.save('3D.xls')
3.3 启动程序
最后,键入以下代码便能够实现整个程序的运行:
def main():
write_to_excel()
4 总结与展望
本次爬虫程序在编写过程中,遇到了改变页码爬取信息只到50页便终止的反爬虫机制,因此改变为上述的爬取 URL 。在爬虫程序完成后,会在文件保存的根目录下出现 3D.xls
的文件。此外,本次爬虫只限于对数据的爬取与保存工作,数据的分析工作留待后续进行再处理。
微信公众号:Python一号通
关注可了解更多的爬虫教程及机器学习内容。
问题或建议,请公众号留言
- 分享
- 举报
-
浏览量:1893次2018-10-19 18:10:59
-
浏览量:2148次2018-10-15 21:45:22
-
浏览量:2096次2018-10-17 20:17:13
-
浏览量:3204次2018-10-18 18:19:54
-
浏览量:13880次2020-12-09 09:53:36
-
浏览量:4338次2021-09-13 13:44:04
-
浏览量:740次2023-12-15 14:10:52
-
2023-01-13 11:35:13
-
浏览量:1021次2023-01-29 11:28:01
-
浏览量:5149次2021-04-10 14:21:38
-
浏览量:4970次2021-01-11 15:33:50
-
浏览量:2893次2019-01-18 13:46:24
-
浏览量:5243次2021-01-12 23:46:34
-
浏览量:1198次2020-03-16 13:54:52
-
2022-11-07 14:56:46
-
浏览量:1536次2023-03-09 09:38:33
-
浏览量:2818次2018-09-05 19:19:31
-
2023-04-18 08:55:43
-
浏览量:6959次2020-03-18 14:32:08
-
广告/SPAM
-
恶意灌水
-
违规内容
-
文不对题
-
重复发帖
nianqunsh
感谢您的打赏,如若您也想被打赏,可前往 发表专栏 哦~
举报类型
- 内容涉黄/赌/毒
- 内容侵权/抄袭
- 政治相关
- 涉嫌广告
- 侮辱谩骂
- 其他
详细说明