生个女孩吧 关注:678,374贴子:38,322,617

小偶像微博数据爬取【长期更新】

只看楼主收藏回复

新浪微博有反爬取防护措施,所以不能像B站,百度贴吧一样直接通过网址进行数据采集。
所以我采用了selenium+Firefoxdriver人工模拟的方式来收集数据
(这个方法有点笨,它相当于把人手动登录,以及手动点开每个页面的活交给浏览器自动完成)
所以这个方法比较吃网速,网速不好就非常慢。

这是测试程序时跑的11名成员近期微博数据,每个人采集了最新的44个微博。


1楼2020-01-05 18:09回复
    微博刷的太夸张了,转评都有人刷


    IP属地:浙江来自Android客户端2楼2020-01-05 18:11
    回复
      2025-06-08 16:41:38
      广告
      段艺璇这数据就是NB,比许佳琪都厉害


      3楼2020-01-05 18:11
      收起回复
        这数据不就是扯淡吗


        IP属地:浙江来自手机贴吧4楼2020-01-05 18:11
        收起回复
          测试打投组努力程度


          IP属地:湖北5楼2020-01-05 18:12
          回复
            大家大概不清楚,许佳琪,戴莫这些S队
            大top微博数据有多厉害,她们每天相关微博能新增3000多个。
            而我唐莉佳每天相关微博新增条数也就 300+


            6楼2020-01-05 18:13
            收起回复
              这段时间选秀刷的更厉害估计


              IP属地:广东7楼2020-01-05 18:13
              收起回复
                爬几百条微博完全不需要登录,一秒一条就行了。爬几千上万条就麻烦一点。


                来自iPhone客户端8楼2020-01-05 18:16
                收起回复
                  2025-06-08 16:35:38
                  广告
                  其实我河top人人都在刷数据,
                  比如段艺璇家有一个 id 为 小不悔+数字的每天能给段艺璇刷50+的微博
                  当然这些微博都是毫无营养的lj。


                  9楼2020-01-05 18:16
                  收起回复
                    另外这些买的数据基本屁也看不出来。


                    来自iPhone客户端10楼2020-01-05 18:16
                    收起回复
                      冉冉家好佛啊


                      IP属地:湖北来自Android客户端11楼2020-01-05 18:16
                      回复
                        微博数据挺假的。。说实话,还不如等节目开始扒拉集资数据,那个比较接近真实。
                        后面判断官推也是通过那个来判断


                        IP属地:重庆13楼2020-01-05 18:19
                        回复
                          宋昕冉家真佛系 有胸有腰有屁股安利还跟不上


                          IP属地:河南来自Android客户端14楼2020-01-05 18:19
                          回复
                            我建议爬一下回复自己微博的评论的点赞数据,应该比较真实


                            IP属地:山东来自Android客户端15楼2020-01-05 18:20
                            回复
                              2025-06-08 16:29:38
                              广告
                              心疼➕ 被骂了这么多次


                              IP属地:辽宁17楼2020-01-05 18:22
                              回复