您当前的位置：首页 > 汽车点评

络蜘蛛深度优先还是广度优先

2020-11-16 15:47:01

络蜘蛛:深度优先还是广度优先

A5任务 SEO诊断选学淘宝客站长团购云主机

络蜘蛛学名Spider,又叫络爬虫 ! 关于络蜘蛛的概述这里就不多讲了今天我主要想说的是关于蜘蛛的爬行设计的方式与方法

我们可以分为2种:

那么什么是深度优先? 什么是广度优先?有甚么用? 上海SEO (SWJ) 下面为大家讲授 !

本人学知浅薄只会用通俗的话与道理与大家分析如有毛病请及时联系我所以还请大家多多见谅包括!

一种是深度优先策略一种是广度优先策略! 以下我们就围绕这2点进行分析 SWJ 非常欢迎大家一起交换学习与探讨!

深度优先顾名思义就是让络蜘蛛尽可能的在抓取页时往页更深层次的发掘进去讲求的是深度!

也泛指: 络蜘蛛将会从起始页开始，一个链接一个链接跟踪下去，处理完这条线路以后再转入下一个起始页，继续跟踪链接!

以下我发张图大家看下: (下面这张是简单化的页连接模型图其中A为出发点也就是蜘蛛索引的出发点!)

总共分了5条路径供蜘蛛爬行! 讲求的是深度!

(下面这张是经过优化的页连接模型图! 也就是改进过的蜘蛛深度爬行策略图!)

根据以上2个表格我们可以得出以下结论:

图1:

路径1 == A -- B -- E -- H

路径2 == A -- B -- E -- i

路径3 == A -- C

路径4 == A -- D -- F -- K -- L

路径5 == A -- D -- G -- K -- L

经过优化后

图2: (图片已经帮大家标上方向了!)

路径1 == A -- B -- E -- H

路径2 == i

路径3 == C

路径4 == D -- F -- K -- L

路径5 == G

深度爬行的优点是:

络蜘蛛程序在设计的时候相对比较容易些把其他我也没发觉有甚么优点... 还有就是蜘蛛的这类勇往直前的精神值得学习下! ^_^

深度爬行的缺点是:

缺点么多了一点点呵呵! 每次爬行一层总要向蜘蛛老家数据库访问一下问问老总有必要还要爬下一层吗! 爬一层问一次.... 援用1句高人的话如果一个蜘蛛不管3721不断往下爬极可能迷路更有可能爬到国外的站去.. 本来目标是中文站由于IP的问题国外IP做了中文站的话.... 就容易去他人老家了..这样不但增加了系统数据的复杂度更是增加的服务器的负担我想没有一家搜索公司会愿意则样的把,...除非头脑秀了 .. ^_^

接下来我们介绍下普遍使用的广度优先策略大家休息下喝杯咖啡看的也累把我写的也累.... ^^

广度优先在这里的定义就是层爬行

甚么叫蜘蛛层爬行?

就是一层一层的爬行依照层的散布与布局去索引处理与抓取页! 固然SE不会派一个蜘蛛去的每层会派一个或多个蜘蛛Spider去抓取内容!

(下面这张就是广度优先策略图(层爬行图))

大家一看就明白了把聪明的人下面的文章也不需要看了答案已告知你了 ^ ^

根据以上表格我们可以得出以下结论路径图:

路径1 == A

路径2 == B -- C -- D

路径3 == E -- F -- G

路径4 == H -- i -- K

路径5 == L