没啥课的时候闲着也是闲着,不如。。。。
哎最近想搞点数据研究研究,我不太喜欢看着高大上实际上对日常生活毫无影响的各种数据分析(譬如做作业的时候各种商品分析房产售价之类的东西),于是就把目标盯上了枪枪
而枪神纪什么数据最整齐又最容易获取呢?答案就是经常更新的封神榜!
于是就花了点时间修改了一下以前写的爬虫

运行后得出了封神榜的数据

debug过程中其实还是遇到了很多问题的,我放到后面讲
但是官方给的封神榜也是有爬取限制的,最早同格式的网页只能追溯到这里了:

原因其实很简单,这之前的封神榜布局格式是图片类型

之后才是我代码中可爬取的写在html中的格式:

因此记录时间实际上仅限于2022/3/18至今两年半多一点的时间(一坤年
)

哎最近想搞点数据研究研究,我不太喜欢看着高大上实际上对日常生活毫无影响的各种数据分析(譬如做作业的时候各种商品分析房产售价之类的东西),于是就把目标盯上了枪枪
而枪神纪什么数据最整齐又最容易获取呢?答案就是经常更新的封神榜!

于是就花了点时间修改了一下以前写的爬虫


运行后得出了封神榜的数据

debug过程中其实还是遇到了很多问题的,我放到后面讲

但是官方给的封神榜也是有爬取限制的,最早同格式的网页只能追溯到这里了:

原因其实很简单,这之前的封神榜布局格式是图片类型

之后才是我代码中可爬取的写在html中的格式:

因此记录时间实际上仅限于2022/3/18至今两年半多一点的时间(一坤年
