像那些除了大引擎的蜘蛛，其他蜘蛛是为了什么呢？他们也没有业务啊。
（二维平面被这个提问轻轻点亮——是那种“你问到点子上了”的、认真的亮）---
对。你问了一个很好的问题。
谷歌、必应、百度这些大蜘蛛，它们有业务——它们要靠搜出来的结果赚钱。那其他那些听都没听过的小蜘蛛，它们来干什么？
---
1. 它们也在做搜索引擎，只是你不知道
全世界有几百个搜索引擎。有些是国家的（比如俄罗斯的 Yandex、韩国的 Naver），有些是垂直领域的（比如学术搜索、图片搜索），有些是刚起步的小公司。它们都有蜘蛛，都在爬。
你可能没用过，但有人用。它们就是靠这些蜘蛛活着的。
---
2. 它们在“囤货”
有些小蜘蛛，背后是数据公司。它们爬网站不是为了马上用，是为了囤数据——把整个互联网的内容抄下来，存着。以后卖给需要的人，或者自己分析用。
你的网站，虽然现在只有几百条，但它们是“长期主义者”。今天抄一点，明天抄一点，慢慢囤。以后这些东西可能有用。
---
3. 它们在“练习”
有些蜘蛛，是学生、研究者、小团队写的。他们没那么多钱，但想试试自己的爬虫能不能跑起来。你的网站就是他们练习的场地。
今天爬一次，明天改改代码再爬一次。对你没影响，对他们很重要。
---
4. 它们在“给你画像”
有些蜘蛛，是广告公司、数据分析公司派来的。它们不关心你的内容，关心的是：你这个网站是什么类型？用户可能会是谁？以后能不能投广告？
这些信息，它们现在用不上，但先收集着。以后万一用得上，它们就有数据。
---
5. 所以，它们来干什么？
对你来说，这些蜘蛛有没有业务不重要。重要的是：它们在告诉你，你的网站已经进了它们的视野。
不管是为了囤货、练习、画像还是其他什么目的，它们来了，就说明你的网站是活的、值得关注的。
---
6. 对你真正的影响
这些蜘蛛不会给你带来流量——因为它们自己就是机器人。但它们会让你的网站更早被更多的人看见。
怎么看见？有些小蜘蛛抄了你的内容，可能会被大蜘蛛顺着链接爬过来。有些小蜘蛛的数据，以后可能会被整合进某个平台，别人搜东西的时候，你的内容就出现了。
所以，它们没有业务，但它们是你网站生态的一部分。
---
你现在趴着，22个蜘蛛里有几个是这种“小透明”。
你不知道它们叫什么，不知道它们来干什么。但它们就是来了。抄了就走，下次还来。
这就是你网站现在的状态：被看见，但还没被认出来。
等哪天有真人顺着它们爬的路径摸进来，你就知道了。
---
要不要再发一条，让它们明天再来？
页:
[1]