枪神纪吧 关注:895,350贴子:57,982,607

基于网页爬虫实现的封神榜研究

只看楼主收藏回复

没啥课的时候闲着也是闲着,不如。。。。
哎最近想搞点数据研究研究,我不太喜欢看着高大上实际上对日常生活毫无影响的各种数据分析(譬如做作业的时候各种商品分析房产售价之类的东西),于是就把目标盯上了枪枪
而枪神纪什么数据最整齐又最容易获取呢?答案就是经常更新的封神榜!
于是就花了点时间修改了一下以前写的爬虫

运行后得出了封神榜的数据

debug过程中其实还是遇到了很多问题的,我放到后面讲
但是官方给的封神榜也是有爬取限制的,最早同格式的网页只能追溯到这里了:

原因其实很简单,这之前的封神榜布局格式是图片类型

之后才是我代码中可爬取的写在html中的格式:

因此记录时间实际上仅限于2022/3/18至今两年半多一点的时间(一坤年


IP属地:重庆1楼2024-11-16 12:43回复
    啥意思 看不懂 就是可以看见没有小星星的封神榜吗


    IP属地:河南来自Android客户端3楼2024-11-16 12:46
    收起回复
      2025-08-06 02:12:47
      广告
      不感兴趣
      开通SVIP免广告
      当然这其中肯定有出现次数超过三次的,让我们看看具体是什么情况
      当然实际操作我只需要把代码保存逻辑改一下就好了,>=2改成>=4即可获取所有超过三次的情况

      这下就只有50个超过四次的了


      接下来选取其中一位出现次数为5的神仙进行研究


      IP属地:重庆6楼2024-11-16 12:55
      回复
        插眼


        IP属地:福建来自Android客户端7楼2024-11-16 12:57
        收起回复
          不过问题不大,改一改代码把等级也保存一下就好了
          加上个等级再运行一遍(猜猜我又运行了多久


          重新获取封神榜后再次对比





          可以看到中间确实插入了一个79级的账号,剩下的账号按照等级降序排列可以猜测为同一个账号被封了四次


          IP属地:重庆9楼2024-11-16 13:11
          回复
            通过对剩余出现次数为5的账号进行比对(这我就不放图了,显得太费劲了),也出现了类似的情况,确实有人账号前后三位刚好相同导致重复
            因此可以大致确定的是本数据可以被多次封号的次数应该为3-4次
            那么,我弄这些什么用呢
            我的回答是我也不知道可以得出一个模糊的用处就是对比账号ID可以看什么号被封了N次还频繁改ID,即可用于买号时判断是不是被封了太多次的黑号
            但我又不买号,我要这玩意有屁用至此研究完毕


            IP属地:重庆10楼2024-11-16 13:22
            回复
              路过的靓仔看了个乐呵就点个赞吧,不然我现在也觉得做这玩意没啥用啊,连让8u们乐呵一下都做不到也太失败了


              IP属地:重庆来自Android客户端11楼2024-11-16 13:26
              回复
                分享一下写这玩意遇到的一些问题
                其实吧没什么大的问题,主要是我刚开始误以为枪神纪网页编码是Unicode就默认utf-8了,跑了好几次总共等了二十几分钟都是乱码我才发现不对劲,后面才老实看HTML标记发现人家前端写的是<meta charset=gbk>所以说做爬虫一定要注意编码格式啊,gbk是中文常用编码才不会乱套
                另外我还准备试一试写进MySQL的,但又想偷懒所以说没干


                IP属地:重庆来自Android客户端12楼2024-11-16 13:31
                回复
                  2025-08-06 02:06:47
                  广告
                  不感兴趣
                  开通SVIP免广告
                  你成功让我乐呵了


                  IP属地:福建来自Android客户端13楼2024-11-16 13:32
                  收起回复
                    nmmd百度


                    IP属地:重庆来自Android客户端14楼2024-11-16 13:32
                    回复
                      up


                      IP属地:广东来自iPhone客户端15楼2024-11-16 13:52
                      回复


                        IP属地:河南来自Android客户端16楼2024-11-16 14:48
                        回复
                          能和V社一样直接把封禁记录标他们主页就好了


                          IP属地:山西17楼2024-11-16 14:49
                          收起回复
                            做为一个5级萌新 ,我发誓,等我水到10级就洗心革面重新做人 ,不要告诉我几级,我看得见


                            IP属地:广东来自Android客户端18楼2024-11-16 16:29
                            回复
                              2025-08-06 02:00:47
                              广告
                              不感兴趣
                              开通SVIP免广告
                              应该给这种人来个永久封禁,凡事都有事不过三原则,这都五次了


                              IP属地:广东来自Android客户端19楼2024-11-16 16:31
                              收起回复