如题,楼主今天做了个神仙作业 ,作为北石化的一名不算那么优秀的大学生,我要在此感谢一下《媒体数据挖掘分析》这门课,这课的结课作业是上大众点评上爬评论。非常正常哈,然后我的噩梦开始了。
首先出场的是后裔爬取器,我按照课上教的步骤一步步地把流程图搞好,发现并不能爬。加载网页时验证码把我卡住了。而这时,我想起了老师的一句话:“如果爬不了的话,可以用八爪鱼软件爬取信息哦。”我醍醐灌顶,马上去下载了八爪鱼软件然后理所应当的爬取失败了。爬出来的字一段一段的(划重点)。
而上课时只讲了这两种爬虫软件,Python虽然提了一嘴但是完全没教,甚至没有让我们去安装Python。
连连受挫的咱放平心态(´-ω-`)开始寻找到底是哪出了问题。在楼主痛定思痛,痛改前非,太痛了之后,楼主将目光投向了baidu
baidu不愧是baidu,果然有很多人提出了同样的问题,而这时我发现这大众点评竟然是有反爬取系统的!(;´Д`)
我灵机一动,发动符卡
想起:《Ctrl_C/V》大法
然后发现这评论并不让选中字体,不过问题不大,好歹也是大学生了,已经有了一定的基础知识٩( 'ω' )و
我打开盖卡《超级复制》
此卡可以在浏览器里使用插件的力量,无视字体不可选中状态
然后发现可选的字一段段的,就和八爪鱼爬的结果一模一样。
于是我放弃了,已经万策尽了,连最基础的复制粘贴都做不到了,我是多么可悲的家伙啊。
这时我看到了知乎上有人说“如果不会Python的话可以去叫人帮你做哦”
对哦(。ò ∀ ó。)我不会总有人会,于是我掏出某宝,找到一家Python代做,他们说:“啊这,做不了啊”
一家不会还能家家不会?
然而不管哪家都做不了
因为大众点评有一种加密叫做字体加密 指的是随机把评论里的一些字加密。
我也只能就此作罢。
然后我就开始了无意义的乱逛,(-o-)偶然看见了另一款爬虫软件:Selenium,而我,用了4天来学习这个软件,成功破解了字体加密。
对这件事,我只想说:谢谢您,我亲爱的老师,因为你,我意识到了原来我是如此的愚钝 ,甚至不能用您要求的软件去爬取一个高防平台的评论。这课,真是一堂好课。






首先出场的是后裔爬取器,我按照课上教的步骤一步步地把流程图搞好,发现并不能爬。加载网页时验证码把我卡住了。而这时,我想起了老师的一句话:“如果爬不了的话,可以用八爪鱼软件爬取信息哦。”我醍醐灌顶,马上去下载了八爪鱼软件然后理所应当的爬取失败了。爬出来的字一段一段的(划重点)。
而上课时只讲了这两种爬虫软件,Python虽然提了一嘴但是完全没教,甚至没有让我们去安装Python。
连连受挫的咱放平心态(´-ω-`)开始寻找到底是哪出了问题。在楼主痛定思痛,痛改前非,太痛了之后,楼主将目光投向了baidu
baidu不愧是baidu,果然有很多人提出了同样的问题,而这时我发现这大众点评竟然是有反爬取系统的!(;´Д`)
我灵机一动,发动符卡
想起:《Ctrl_C/V》大法
然后发现这评论并不让选中字体,不过问题不大,好歹也是大学生了,已经有了一定的基础知识٩( 'ω' )و
我打开盖卡《超级复制》
此卡可以在浏览器里使用插件的力量,无视字体不可选中状态
然后发现可选的字一段段的,就和八爪鱼爬的结果一模一样。
于是我放弃了,已经万策尽了,连最基础的复制粘贴都做不到了,我是多么可悲的家伙啊。
这时我看到了知乎上有人说“如果不会Python的话可以去叫人帮你做哦”
对哦(。ò ∀ ó。)我不会总有人会,于是我掏出某宝,找到一家Python代做,他们说:“啊这,做不了啊”
一家不会还能家家不会?
然而不管哪家都做不了
因为大众点评有一种加密叫做字体加密 指的是随机把评论里的一些字加密。
我也只能就此作罢。
然后我就开始了无意义的乱逛,(-o-)偶然看见了另一款爬虫软件:Selenium,而我,用了4天来学习这个软件,成功破解了字体加密。
对这件事,我只想说:谢谢您,我亲爱的老师,因为你,我意识到了原来我是如此的愚钝 ,甚至不能用您要求的软件去爬取一个高防平台的评论。这课,真是一堂好课。






来打我呀










