楼上(shàng )说的很多,我(wǒ )补充一(yī )下,正确的应该(gāi )叫网络蜘蛛(zhū ),又称爬(pá )虫,本质(zhì )是(shì )搜(sōu )索引(yǐn )擎派出(chū )的一(yī )个执行抓取任务的(de )程序(xù )蜘蛛池的(de )本(běn )质是(shì )大(dà )量的(de )网(wǎng )站互相链接,每个站(zhàn )单独产生大(dà )量的内容吸引蜘蛛来爬,几千个网(wǎng )站(zhàn )互链(liàn )时,可以想(xiǎng )象蜘(zhī )蛛(zhū )的链接
Copyright © 2008-2018