网络爬虫（又称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。——源自百度百科
我的知识储备不足以支持太过专业的说法，只能用通俗的方式表达出来
从定义上来说，网络爬虫是针对网页中包含的数据（对百度百科中关于信息的说话暂有争议，先以数据代替）的软件。网络爬虫应该来说是一种技术手段且存在的时间已经非常久远，应用范围相当广泛。技术无所谓好坏，看用的人怎么用。
有的网页不反对数据被抓取甚至希望，有的网页不希望数据被抓取，这就衍生出了Robots协议，网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取，对不希望数据被抓取的部分甚至进行加密处理。当一个爬虫接触到某个网页时，首先接触到的是robots.txt，如果该文件不反对甚至欢迎数据被抓取，此时爬虫程序获取数据有经过授权，法律上来说没问题。
但现在很多网页不希望数据被抓取，这个时候爬虫程序以技术手段扔然获取了网页中的数据，这才是使用或提供爬虫软件涉嫌刑事犯罪的原因。
刑法第285条第2款规定了非法获取计算机信息系统数据罪，该罪的核心就在于超权授权的访问，超越方式可以是从无到有，也可以是从低权限到高权限，爬虫软件无视robots.txt中的拒绝，将无权获取的数据非法获取，所以有可能涉嫌非法获取计算机信息系统数据罪；而提供爬虫软件的人则可能涉嫌刑法第285条第3款规定的提供侵入、非法控制计算机信息系统程序、工具罪。

案例 1
林某非法获取计算机信息系统数据罪(2020)京0105刑初2594号
法院查明：被告单位房麦公司，法定代表人为被告人林某，公司成立后研发“推房神器”等APP。并使用网络爬虫技术爬取北京某信息技术有限公司经营的“某”网站房产数据。在某公司增加反爬取策略后，被告单位房麦公司使用破解验证码、绕开挑战登录等方式破解某公司的反爬取措施，非法获取“某”网站的房源数据，并将非法获取的房产数据存放在自己的服务器中供“推房神器”APP调用，并向该APP用户收取会员费盈利。造成某公司网络资费、人力成本等经济损失人民币10万余元。
法院认为：本院认为，被告单位房麦公司违法国家规定,非法获取某公司计算机信息系统中的数据，情节特别严重，依法应予惩处。被告人林某（法定代表人）作为被告单位直接负责的主管人员，被告人程某、林某购买破解的程序并日常维护，是被告单位其他直接责任人员，亦应予以惩处。

案例 2
李某等非法侵入计算机信息系统罪(2018)川3424刑初169号
法院查明：被告人李某使用“爬虫”软件，大量爬取全国各地及凉山州公安局交警支队车管所公告的车牌放号信息，之后使用软件采用多线程提交、批量刷单、验证码自动识别等方式，突破系统安全保护措施，将爬取的车牌号提交至“交通安全服务管理平台”车辆报废查询系统，进行对比，并根据反馈情况自动记录未注册车牌号，建立全国未注册车牌号数据库。之后编写客户端查询软件，由李某通过QQ、淘宝、微信等方式，以300-3000元每月的价格，分省市贩卖数据库查阅权限。
法院认为：本院认为，被告人李文某为牟取私利，违法国家规定，侵入国家事务领域的计算机信息系统，被告人的行为均已构成非法侵入计算机信息系统罪。

案例 3
杨某、张某破坏计算机信息系统罪（2019）粤0305刑初193号
法院查明：杨某授权公司员工张某开发一款名为“快鸽信贷系统”的软件，该软件内的“网络爬虫”功能能与深圳市居住证网站链接，可以在深圳市居住证网站上查询到房产地址、房屋编码等对应的资料，该软件对深圳市居住证网站访问量能达到每小时数十万次，以达到为其公司主营业务便捷的目的。2018年5月2日10时至5月2日12时许两小时内，该软件对深圳市居住证系统查询访问量为每秒183次，共计查询信息1510140条次并将查询的信息以阿某云网络云盘的形式保存，深圳市公安局居住证服务平台服务器遭受了该爬虫软件的自动化程序攻击，在该时段内造成深圳市居住证系统服务器阻塞，无法正常运行，深圳市公安局居住证服务平台无法正常对外提供服务，其他用户无法正常使用平台业务，极大地影响了该居住证系统使用方深圳市公安局人口管理处的日常运作。
法院认为：本院认为，被告人杨某、张某违反国家规定，对计算机信息系统功能进行干扰，造成为5万以上用户提供服务的计算机信息系统不能正常运行累计1小时以上，后果特别严重，其行为已构成破坏计算机信息系统罪。

案例4
杭州魔蝎数据科技有限公司、周江翔、袁冬侵犯公民个人信息罪（2020）浙0106刑初437号
法院查明：2016年初，被告单位魔蝎公司由周江翔等人出资成立，被告人周江翔系魔蝎公司法定代表人、总经理，负责公司整体运营，被告人袁冬系魔蝎公司技术总监，系技术负责人，负责相关程序设计。魔蝎公司主要与各网络贷款公司、小型银行进行合作，为网络贷款公司、银行提供需要贷款的用户的个人信息及多维度信用数据，方式是魔蝎公司将其开发的前端插件嵌入上述网贷平台APP中，在网贷平台用户使用网贷平台的APP借款时，贷款用户需要在魔蝎公司提供的前端插件上，输入其通讯运营商、社保、公积金、淘宝、京东、学信网、征信中心等网站的账号、密码，经过贷款用户授权后，魔蝎公司的爬虫程序代替贷款用户登录上述网站，进入其个人账户，利用各类爬虫技术，爬取（复制）上述企、事业单位网站上贷款用户本人账户内的通话记录、社保、公积金等各类数据。
法院认为：本院认为，被告单位杭州魔蝎数据科技有限公司以其他方法非法获取公民个人信息，情节特别严重，其行为已构成侵犯公民个人信息罪。被告人周江翔、袁冬分别系对被告单位魔蝎公司侵犯公民个人信息行为直接负责的主管人员和其他直接责任人员，其行为均已构成侵犯公民个人信息罪。