标签： 黑幕

文/黑奇士 爬虫（spider），本来是个起源于搜索引擎的概念，百度、搜狗等搜索引擎，依靠巨大的爬虫集群每天抓取互联网上数百亿网页。 随着技术的发展，现在的爬虫已经与以往大不相同。它被广泛用于互联网金…