热门关键词

搜索引擎是如何工作的-搜索引擎蜘蛛&算法&索引

不同的搜索引擎

最受欢迎的搜索引擎是Google,全球市场份额约90%,这意味着它是最流行的搜索引擎,在全球有90%的人使用Google,但除了Google外,还有其他的搜索引擎供我们选择吗?

必应Bing是全球第二大搜索引擎,在美国和加拿大,大约有6%的人将必应作为主要的搜索引擎,除此之外,还有少数人使用雅虎Yahoo,这意味着,如果我们要做搜索引擎上的SEO,我们需要研究我们的目标受众所使用的搜索引擎

但还不止这些,在一些地区,其它搜索引擎则更具地理优势和语言优势

例如:在俄罗斯,Yandex以45%的市场份额遥遥领先

而在中国,百度也是市场的领导者,百度在中国占据了65%的市场份额

还有一些主打隐私保护的搜索引擎,例如:DuckduckgoStartpage 以及 kagi

关于以上搜索引擎的市场份额会随着时间的推移而变化

谷歌的使命

组织全世界的信息,并使其普遍可用和有用

谷歌的使用为我们提供了他们认为重要的信息,但搜索引擎是如何工作的?

搜索引擎是如何工作的

搜索引擎通过追踪网络上的链接,从而去到目标页面,然后抓取保存

链接的作用是:可以把网页和文档链接起来,就像道路将村庄和城市连接起来一样

通过跟踪这些链接,搜索引擎收集相关的数据并向用户展示,但它们具体是如何做到的?

搜索引擎一般包括:蜘蛛(也被称为机器人或爬虫)、索引、算法

蜘蛛、爬虫、机器人

蜘蛛是一种内容抓取程序,它会跟踪网络上的链接,所以蜘蛛也叫爬虫、机器人,它在互联网上全天24小时运行,你可以把蜘蛛想象为一个好奇的探险家,它到处乱跑,通过收集所遇见网站的文字、图片、视频、新闻等内容,以及任何搜索引擎感兴趣的内容

当蜘蛛进入到网站后,会将王爷的HTML版本保存在一个巨大的数据库中,这个被称为索引,每当蜘蛛访问你的网站并发现一个新的或修改过的页面时,这个索引就会更新。当你的网站变得足够重要时,谷歌派出的爬取蜘蛛就会变多

搜索引擎算法

索引网站后,我们的网站就在搜索引擎的搜索结果中显示出来了,但它如何决定哪些内容出现在结果中?

搜索引擎有算法来帮助它们做到这一点,算法从索引中提取了相关数据,根据用户的查询,最后计算出最受用户欢迎且用户最喜欢查看的网站

想通过调查和分析得出谷歌搜索引擎算法的运行规律是非常困难的,没有人知道哪些因素决定了谷歌如何确定该页面的搜索结果。而且,这些因素及其变化都很好的让Google在全球拥有高的使用率和支持率

搜索引擎是如何找到我们网站的

要让搜索引擎知道我们的网站,在以前,需要在一个其他的网站上做一个链接指向我们的网站,通过这个链接,搜索引擎的蜘蛛程序就会从顺着链接从其他网站来到我们网站,在2025年的今天,已经不需要上述提到的操作了,搜索引擎会跟踪网站上的所有链接

链接对搜索引擎的作用

对于谷歌和大多数的搜索引擎关于如何使用链接有一个基本的了解是非常重要的

它们使用指向一个页面的链接数量用来判断该页面的重要性

如:内部链接(来自网站内部的链接)和外部链接(来自其他网站的外部链接)都有助于提高页面的排名

有些链接比其他链接更重要:拥有外部链接多的网站做的链接通常比外联部份少的网站链接更重要

搜索引擎对网站的抓取能力

根据网站的维护方式,谷歌抓取网站可能很容易,也可能很困难。

如果网站具有良好的抓取能力,谷歌就能顺利地索引您的网站。

有几种方法可以阻止爬虫抓取网站。

如果网站或网站上的某个页面被屏蔽,就意味着你在告诉谷歌的蜘蛛”不要来这里,这个区域是禁止的”

然后这些页面不会出现在搜索结果中。

RankBrain算法

算法是搜索引擎根据内容排名创建的一种排名机制和内容检测机制

RankBrain算法是一种机器学习系统,能够帮助谷歌更好的解读人们搜索词背后的含义,并提供与之相关的最佳匹配搜索结果

对于查询词,谷歌称rankbrain能够以某种方式总结网页的内容,评估搜索结果的相关性,随着时间的推移自学成才,从而发展成为第三重要的排名因素

RankBrain一般依赖于传统搜索引擎的优化因素(链接、内容、关键词等),但也会考虑与搜索词相关的其他因素

然后识别出搜索引擎中最相关的页面,并将相应的结果排列在SERP(搜索引擎结果页面全程:search enginge result page)中

过去十五年中谷歌的重大更新及影响

这些年来,谷歌推出了多项重大更新,这里简单了解一下在过去十五年中谷歌所做的重大更新及影响

被谷歌的更新所影响是正常的,但优化每一个细节的更新虽然会消耗掉我们的精力,但谷歌的使命是:为用户提供服务,因此无论是优秀的文案还是网站的加载时间亦或是网站的交互细节,请务必做到最好

panda(熊猫更新2011)

2011年谷歌发布了熊猫更新,熊猫更新的主要作用是削弱那些纯粹为了SEO排名而创建的网站

该更新主要关注页面元素,它查看了网站上是否提供了与搜索者使用的搜索词相关的信息

熊猫主要打击以链接其他网站网页的附属网站(通过链接提高自己网站的)、内容单薄的网站

Penguin(企鹅2012)

2012年后,谷歌推出了企鹅更新,该特别关注网站从其他网站获得的外链

通过外链来到网站的用户是否喜欢和欣赏你的产品或内容,如果连接是人为的,则不再赋予链接价值

过去很多人试图通过购买外链这种行为来提高排名

企鹅主要削弱和打击了购买、交换或其他方式创建外部链接的效果

购买了拥有大量人工外部链接的网站受到重创,失去了谷歌中的排名

Hummingbird(蜂鸟2013)

2013年8月,谷歌发布了蜂鸟更新,在这次更新中,谷歌为语音搜索奠定了基础

蜂鸟主要关注的是查询中的每个单词和整个搜索短语,而不是特定的单词,这将使搜索结果与整个查询更加匹配

随着时间的推移,谷歌能在SERP中显示更多的答案框,并直接给出答案,而不是诱导人们去进入网页获取答案.随着越来越多的设备开始使用语音搜索,语音搜索变得越来越重要

这里的语音搜索实际上是通过语音转文字的方式,让搜索引擎开始去理解短语而不是最初的一个单词

理解了短语背后的含义,就能更加精准的输出相关的搜索结果

Mobilegeddon(移动末日2015)

2015年谷歌推出了移动设备的更新-Mobilegeddon

越来越多的人在移动设备上使用谷歌,谷歌推出这个更新用来提升移动设备的搜索结果并拥有更多移动友好界面的网站

移动设备在2015年后在搜索引擎查询次数中占比为50%以上,自此随着移动设备的升高,使用移动搜索的人数也在逐步升高

Possum(负鼠2016)

2016年9月,Possum负鼠推出,对谷歌上的本地排名筛选器进行了多项修改,在这之后

谷歌就能根据搜索者的实际位置和查询的词语显示出更多不同的结果

如果你的位置是日本,那么当搜索相关菜肴或餐厅时,就会出现本地的相关结果

如果你搜索了某个词的同义词,即使与某个词很接近,但同义词的搜索结果与某个词的搜索结果是不同的

Mobile-first index (移动优先索引2018)

2018年谷歌针对移动推出了移动优先索引更新,这意味着谷歌将根据移动版网站的质量来决定排名

随着移动设备搜索次数的增加,谷歌希望索引的质量和搜索的结果能够代表大多数移动搜索用户

新的谷歌爬虫googlebot会抓取你的移动版网站并判断其性能、内容和用户体验是否符合要求

如果是,你将获得更好的排名,如果不合格,则其他网站排名靠前

Medic, or Query Intent Update(医疗或查询意图更新)

同年,谷歌发布了一项新的更新,记者称其为医疗medic,因为起初是针对医疗网站的,随着时间的推移,人们发现这个更新影响了各行各业的搜索结果,这个更新使那些热门内容与用户提问方式去匹配

当你搜索”治疗烧伤“时?这种情况下,谷歌的算法可以推断出你的查询意图

用户希望的是找出治疗烧伤中的最佳的方法,这与搜索治疗烧伤的搜索意图不同,所以,谷歌会向您推荐治疗烧伤的方案

这也被人们成为查询意图更新

Continuous Updates(持续更新2018)

自2018年以来,谷歌开始了持续更新,每天都会产生多个小的算法调整,每隔几个月谷歌就会继续发布更大的更新,也成为核心更新,这意味着预测排名算法变得越来越困难。

因此,不如专注我们网站的内容和质量,提升网站的交互友好性

BERT(2019)

2019年谷歌发布了一种叫bert的自然语言编程模型,是双向编码器Bidirectional Encoder Representations from transformers的缩写

更新后,谷歌可以更擅长阅读和理解文章的内容了

以前谷歌只能单向和解读文本,而现在,它可以同时从两个方向联想词语,谷歌可以轻易的理解上下文,然后通过bert的拆解,谷歌可以将搜索查询与某文章出现的上下文联系起来

总结

最有影响力的搜索引擎是谷歌,但根据地区的不同,百度和yandex的市场份额也高

搜索引擎通过爬虫顺着链接来到网站,如果找到了网站,就将内容保存到索引中

将网站编入索引后,网站就出现在搜索结果中了

搜索结果中的位置一般是由算法决定的

谷歌的几次重要更新使得优质内容越来越符合用户的搜索需求和背后的搜索意图

评论
收藏
微海报
分享

评论留言