人民日报评互联网爬虫：技术是把双刃剑 要扬善抑恶

本篇文章1365字，读完约3分钟

睡觉前聊聊天。我的梦里有一个世界。大家好。使用赶票软件买火车票，去比价平台看各种报价，购物前看网友留言，身处网络时代，这些或许平凡的生活场景背后其实有一种不可避免的技术——爬虫。应党报评论员的邀请，今天我们就来谈谈这个话题。

爬虫是一个自动浏览互联网的程序。它在互联网上创造成千上万个无形的化身，访问各种网站，并努力工作作为信息抄录员和搬运工，就像一个蠕虫不知疲倦地在一个建筑里爬行。这项技术最早的应用是搜索引擎，以便为用户提供更快、更准确的搜索结果。然而，近年来，随着科技的发展，爬行动物不仅游向了互联网金融、电子商务、社交网络等更多的分支，而且还不断进化出自己的能力。获取网站数据，监控类似产品的价格，甚至模仿人类行为，赞美信息和输入验证码，爬行动物拥有越来越多的敏捷技能，可以说在互联网上无处不在。

客观地说，在帮助人们从海量信息中快速获取有效信息方面，爬虫技术做出了巨大的贡献，但它也给互联网蒙上了一层难以辨别真假的迷雾。在程序员的世界里有一种说法，整个互联网流量的50%以上实际上来自爬行动物。换句话说，互联网上的大量点击和浏览行为来自爬行动物，而不是人类。有人说在网络世界里，你永远不知道屏幕后面坐着的是人还是狗。现在你可能需要添加一个。你永远不知道互联网上的脚印是一个人还是一条虫子留下的。

爬虫分为善与恶。恶意爬虫经常让被抓取的网站不舒服。自从爬虫诞生以来，反爬行战争不可避免。例如，据了解，89.2%的流量流向了12306预订网站，这不仅给网站服务器带来了很大的压力，也扰乱了正常的预订秩序。请选择王和白百合中的所有白百合，请点击下面图片中的所有荆万国。近年来，12306订票网站的图形验证码受到了广泛的批评，其初衷是为了防止恶意爬虫盗取门票。另一个例子是，一些聚合电子商务公司和价格比较平台自动窃取主要电子商务的产品，这不是出于善意帮助销售商品，而是为了分享流量。出于这个原因，一些电子商务公司不断升级和应用防火墙来阻止爬行动物进入。

如果爬行动物和反爬行动物在争夺利益，我们普通人最应该关心的是如何保护个人隐私在面对恶意爬行动物时不被窃取。几年前，一些互联网公司因非法使用爬虫技术而被起诉。未经许可，他们未经许可就攫取并非法复制，这很可能导致用户信息的泄露。如今，网络场景的应用已经成为日常生活的一部分，我们的身份信息、消费账单和个人联系都不难通过爬虫技术获得。一份报告曾经解密了数据公司如何使用爬虫获取用户在社交软件上的行为轨迹，然后为隐私销售画出用户的完整肖像。所有这些都违背了互联网的宗旨，也违背了法律的底线。

事实上，爬行动物技术诞生时，有一个君子协定，规定了禁区和隐私保护。但是当爬行动物和利益越来越紧密地联系在一起时，这些协议还能维持吗？目前，如果我们仅仅依靠一英尺高、一英尺高的技术，什么时候才能终结在互联网上拦截这种密集而神秘的恶意爬行动物？从这个角度来看，要打破爬行动物使用的混乱局面，使技术惠及用户，一方面需要重申互联网规则，将多维交织的行业规则转化为实用的行为准则，减少市场参与者对爬行动物技术的恶意使用；另一方面，治理也必须跟上发展的步伐，用制度和法规为技术应用划出合理的轨迹，避免技术发展的方向偏离和价值损失。

这正是:技术一直是一把双刃剑，促进善与抑制恶是最大的考验。(杨旭)