剖析网络查询：揭秘搜索引擎背后的奥秘 (剖析网络查询工具)

搜索引擎的奥秘：工作原理与分类

搜索引擎是我们日常生活中不可或缺的工具，它能够从海量的互联网信息中为我们找到答案。

本文将深入探究搜索引擎的分类和工作原理，帮助读者更好地了解这个神奇的工具。

🔍全文搜索引擎全文搜索引擎通过爬虫技术，搜集互联网上的网页，建立起庞大的数据库。

当你输入关键词时，它能够快速找到匹配的网页，并以一定的顺序返回结果。

📚目录索引类搜索引擎目录索引类搜索引擎依赖于人工编辑，通过人工分类和筛选，将互联网上的信息分门别类地整理好，方便用户查找。

🌐元搜索引擎元搜索引擎是一个中介，将用户的查询请求转发给多个其他搜索引擎，然后收集并整合这些搜索引擎的结果，再返回给用户。

🕷️网页抓取搜索引擎派出称为“爬虫”的程序，沿着网页中的超链接爬行，自动抓取网页。

这些被抓取的网页被存储为网页快照。

🔍预处理爬虫抓取的网页会被进行一系列的预处理，包括关键词提取、去重、分词等操作，以便提供更准确的检索服务。

🔎检索服务当用户输入关键词进行搜索时，搜索引擎会在索引数据库中快速找到匹配的网页。

为了帮助用户快速判断结果的相关性，除了网页标题和URL外，还会提供一段来自网页的摘要以及其他相关信息。

搜索引擎历史

一、简述：搜索引擎发展历史

搜索引擎的发展史 1990年以前，没有任何人能搜索互联网。

所有搜索引擎的祖先，是1990年由Montreal的McGill University学生Alan Emtage、Peter Deutsch、Bill Wheelan发明的Archie(Archie FAQ)。虽然当时World Wide Web还未出现，但网络中文件传输还是相当频繁的，由于大量的文件散布在各个分散的FTP主机中，查询起来非常不便，因此Alan Emtage等想到了开发一个可以用文件名查找文件的系统，于是便有了Archie。

Archie是第一个自动索引互联网上匿名FTP网站文件的程序，但它还不是真正的搜索引擎。Archie是一个可搜索的FTP文件名列表，用户必须输入精确的文件名搜索，然后Archie会告诉用户哪一个FTP地址可以下载该文件。

由于Archie深受欢迎，受其启发，Nevada System puting Services大学于1993年开发了一个Gopher(Gopher FAQ)搜索工具Veronica(Veronica FAQ)。Jughead是后来另一个Gopher搜索工具。

Robot（机器人）一词对编程者有特殊的意义。puter Robot是指某个能以人类无法达到的速度不断重复执行某项任务的自动程序。

由于专门用于检索信息的Robot程序象蜘蛛（spider）一样在网络间爬来爬去，因此，搜索引擎的Robot程序被称为spider(Spider FAQ)程序。世界上第一个Spider程序，是MIT Matthew Gray的World wide Web Wanderer，用于追踪互联网发展规模。

刚开始它只用来统计互联网上的服务器数量，后来则发展为也能够捕获网址（URL）。 与Wanderer相对应，1993年10月Martijn Koster创建了ALIWEB(Martijn Koster Annouces the Availability of Aliweb)，它相当于Archie的HTTP版本。

ALIWEB不使用网络搜寻Robot，如果网站主管们希望自己的网页被ALIWEB收录，需要自己提交每一个网页的简介索引信息，类似于后来大家熟知的Yahoo。 随着互联网的迅速发展，使得检索所有新出现的网页变得越来越困难，因此，在Wanderer基础上，一些编程者将传统的Spider程序工作原理作了些改进。

其设想是，既然所有网页都可能有连向其他网站的链接，那么从一个网站开始，跟踪所有网页上的所有链接，就有可能检索整个互联网。到1993年底，一些基于此原理的搜索引擎开始纷纷涌现，其中最负盛名的三个是：Scotland的JumpStation、Colorado 大学Oliver McBryan的The World Wide Web Worm(First Mention of McBryans World Wide Web Worm)、NASA的Repository-Based Software Engineering (RBSE) spider。

JumpStation和WWW Worm只是以搜索工具在数据库中找到匹配信息的先后次序排列搜索结果，因此毫无信息关联度可言。而RBSE是第一个索引Html文件正文的搜索引擎，也是第一个在搜索结果排列中引入关键字串匹配程度概念的引擎。

Excite 的历史可以上溯到1993年2月，6个Stanford（斯坦福）大学生的想法是分析字词关系，以对互联网上的大量信息作更有效的检索。到1993年中，这已是一个完全投资项目Architext，他们还发布了一个供webmasters在自己网站上使用的搜索软件版本，后来被叫做Excite for Web Servers。

（注：Excite后来曾以概念搜索闻名，2002年5月，被Infospace收购的Excite停止自己的搜索引擎，改用元搜索引擎Dogpile） 1994年1月，第一个既可搜索又可浏览的分类目录EINet Galaxy(Tradewave Galaxy)上线。除了网站搜索，它还支持Gopher和Tel搜索。

1994年4月，Stanford University的两名博士生，美籍华人Jerry Yang（杨致远）和David Filo共同创办了Yahoo(Jerry Yang Alerts a Use group to the Yahoo Database ,1996年的Yahoo)。随着访问量和收录链接数的增长，Yahoo目录开始支持简单的数据库搜索。

因为Yahoo！的数据是手工输入的，所以不能真正被归为搜索引擎，事实上只是一个可搜索的目录。Wanderer只抓取URL，但URL信息含量太小，很多信息难以单靠URL说清楚，搜索效率很低。

Yahoo！中收录的网站，因为都附有简介信息，所以搜索效率明显提高。（注：Yahoo以后陆续使用Altavista、Inktomi、Google提供搜索引擎服务；2002年10月9日，Yahoo放弃自己的网站目录默认搜索，改为默认Google的搜索结果，成为一个真正的搜索引擎。

并于2002年12月23日收购inktomi，于2003年7月14日收购包括Fast和Altavista在内的Overture） 1994年初，Washington大学CS学生Brian Pinkerton开始了他的小项目WebCrawler(Brian Pinkerton Announces the Availability of Webcrawler)。1994年4月20日，WebCrawler正式亮相时仅包含来自6000个服务器的内容。

WebCrawler是互联网上第一个支持搜索文件全部文字的全文搜索引擎，在它之前，用户只能通过URL和摘要搜索，摘要一般来自人工评论或程序自动取正文的前100个字。（注：后来webcrawler陆续被AOL和Excite收购，现在和excite一样改用元搜索引擎Dogpile） Lycos(Carnegie Mellon University Center for Machine Translation Announces Lycos )是搜索引擎史上又一个重要的进步。

Carnegie Mellon University的Michael Mauldin将John Leavitt的spider程序接入到其索引程序中，创建了Lycos。1994年7月20日，数据量为54,000的。

二、简述：搜索引擎发展历史

1990年以前，没有任何人能搜索互联网。

所有搜索引擎的祖先，是1990年由Montreal的McGill University学生Alan Emtage、Peter Deutsch、Bill Wheelan发明的Archie(Archie FAQ)。 虽然当时World Wide Web还未出现，但网络中文件传输还是相当频繁的，由于大量的文件散布在各个分散的FTP主机中，查询起来非常不便，因此Alan Emtage等想到了开发一个可以用文件名查找文件的系统，于是便有了Archie。

Archie是第一个自动索引互联网上匿名FTP网站文件的程序，但它还不是真正的搜索引擎。Archie是一个可搜索的FTP文件名列表，用户必须输入精确的文件名搜索，然后Archie会告诉用户哪一个FTP地址可以下载该文件。

由于Archie深受欢迎，受其启发，Nevada System puting Services大学于1993年开发了一个Gopher(Gopher FAQ)搜索工具Veronica(Veronica FAQ)。Jughead是后来另一个Gopher搜索工具。

扩展资料 搜索引擎的作用 搜索引擎是网站建设中针对“用户使用网站的便利性”所提供的必要功能，同时也是“研究网站用户行为的 一个有效工具”。 高效的站内检索可以让用户快速准确地找到目标信息，从而更有效地促进产品/服务的销售，而且通过对网站访问者搜索行为的深度分析，对于进一步制定更为有效的网络营销策略具有重要价值。

1、从网络营销的环境看，搜索引擎营销的环境发展为网络营销的推动起到举足轻重的作用； 2、从效果营销看，很多公司之所以可以应用网络营销是利用了搜索引擎营销； 3、就完整型电子商务概念组成部分来看，网络营销是其中最重要的组成部分，是向终端客户传递信息的重要环节。 参考资料来源：网络百科-搜索引擎。

三、请讲一下搜索引擎的历史

搜索引擎的发展历史 1990年，加拿大麦吉尔大学（University of McGill）计算机学院的师生开发出Archie。

当时，万维网（World Wide Web）还没有出现，人们通过FTP来共享交流资源。Archie能定期搜集并分析FTP服务器上的文件名信息，提供查找分别在各个FTP主机中的文件。

用户必须输入精确的文件名进行搜索，Archie告诉用户哪个FTP服务器能下载该文件。虽然Archie搜集的信息资源不是网页（HTML文件），但和搜索引擎的基本工作方式是一样的：自动搜集信息资源、建立索引、提供检索服务。

所以，Archie被公认为现代搜索引擎的鼻祖。 Robot（机器人）一词对编程者有特殊的意义。

puter Robot是指某个能以人类无法达到的速度不断重复执行某项任务的自动程序。由于专门用于检索信息的Robot程序象蜘蛛（spider）一样在网络间爬来爬去，因此，搜索引擎的Robot程序被称为spider程序。

1993年Matthew Gray开发了 World Wide Web Wanderer，这是第一个利用HTML网页之间的链接关系来检测万维网规模的“机器人（Robot）”程序。开始，它仅仅用来统计互联网上的服务器数量，后来也能够捕获网址（URL）。

1994年4月，斯坦福大学（Stanford University）的两名博士生，美籍华人Jerry Yang（杨致远）和David Filo共同创办了Yahoo。随着访问量和收录链接数的增长，Yahoo目录开始支持简单的数据库搜索。

因为Yahoo！的数据是手工输入的，所以不能真正被归为搜索引擎，事实上只是一个可搜索的目录。雅虎于2002年12月23日收购inktomi,2003年7月14日收购包括Fast和Altavista在内的Overture,2003年11月，Yahoo全资收购3721公司。

1994年初，华盛顿大学（University of Washington ）的学生Brian Pinkerton开始了他的小项目WebCrawler。1994年4月20日，WebCrawler正式亮相时仅包含来自6000个服务器的内容。

WebCrawler是互联网上第一个支持搜索文件全部文字的全文搜索引擎，在它之前，用户只能通过URL和摘要搜索，摘要一般来自人工评论或程序自动取正文的前100个字。 1994年7月，卡内基·梅隆大学（Carnegie Mellon University） 的Michael Mauldin将John Leavitt的spider程序接入到其索引程序中，创建了Lycos。

除了相关性排序外，Lycos还提供了前缀匹配和字符相近限制，Lycos第一个在搜索结果中使用了网页自动摘要，而最大的优势还是它远胜过其它搜索引擎的数据量。 1994年底，Infoseek正式亮相。

其友善的界面，大量的附加功能，使之和Lycos一样成为搜索引擎的重要代表。 1995年，一种新的搜索引擎形式出现了——元搜索引擎（A Meta Search Engine Roundup）。

用户只需提交一次搜索请求，由元搜索引擎负责转换处理，提交给多个预先选定的独立搜索引擎，并将从各独立搜索引擎返回的所有查询结果，集中起来处理后再返回给用户。第一个元搜索引擎，是Washington大学硕士生 Eric Selberg 和 Oren Etzioni 的 Metacrawler。

1995年12月，DEC的正式发布AltaVista。AltaVista是第一个支持自然语言搜索的搜索引擎，第一个实现高级搜索语法的搜索引擎（如AND, OR, NOT等）。

用户可以用AltaVista搜索新闻组（Newsgroups）的内容并从互联网上获得文章，还可以搜索图片名称中的文字、搜索Titles、搜索Java applets、搜索ActiveX objects。AltaVista也声称是第一个支持用户自己向网页索引库提交或删除URL的搜索引擎，并能在24小时内上线。

AltaVista最有趣的新功能之一，是搜索有链接指向某个URL的所有网站。在面向用户的界面上，AltaVista也作了大量革新。

它在搜索框区域下放了“tips”以帮助用户更好的表达搜索式，这些小tip经常更新，这样，在搜索过几次以后，用户会看到很多他们可能从来不知道的的有趣功能。这系列功能，逐渐被其它搜索引擎广泛采用。

1997年，AltaVista发布了一个图形展示系统LiveTopics，帮助用户从成千上万的搜索结果中找到想要的。1995年9月26日，加州伯克利分校助教Eric Brewer、博士生Paul Gauthier创立了Inktomi,1996年5月20日，Inktomi公司成立，强大的HotBot出现在世人面前。

声称每天能抓取索引1千万页以上，所以有远超过其它搜索引擎的新内容。HotBot也大量运用cookie储存用户的个人搜索喜好设置。

1997年8月，Northernlight搜索引擎正式现身。它曾是拥有最大数据库的搜索引擎之一，它没有Stop ，它有出色的Current News、7,100多出版物组成的Special Collection、良好的高级搜索语法，第一个支持对搜索结果进行简单的自动分类。

1998年10月之前，Google只是斯坦福大学（Stanford University）的一个小项目BackRub。1995年博士生Larry Page开始学习搜索引擎设计，于1997年9月15日注册了google的域名，1997年底，在Sergey Brin和Scott Hassan、Alan Steremberg的共同参与下，BachRub开始提供Demo。

1999年2月，Google完成了从Alpha版到Beta版的蜕变。Google公司则把1998年9月27日认作自己的生日。

Google以网页级别（Pagerank）为基础，判断网页的重要性，使得搜索结果的相关性大大增强。Google公司的奇客（Geek）文。

四、搜索引擎发展历程

1990年：第一个互联网上的搜索引擎Archie出现，用于搜索FTP服务器上的文件。

1993年：6月，第一个Web搜索引擎World Wide Web Wandere出现，它只用来收集网址。10月，第二个Web搜索引擎ALIWEB出现。开始索引标题标签等信息。

1994年：1月，早起最重要的搜索引擎之一Infoseek创立。（网络创始人李彦宏就是其核心工程师之一）

4月，雅虎Yahoo！创立。同月，第一个全文搜索引擎（索引文件全部内容）WebCrawler推出。

6月，Lycos创立。迅速成为最受欢迎的搜索引擎之一。

1995年：4月，雅虎Yahoo！正式成立。

12月，Infoseek成为网景浏览器的默认搜索引擎。同月，Alta Vista创立，迅速成为搜索引擎发展中最受欢迎的，堪称当时的谷歌Glloge。

1996年：4月，雅虎Yahoo！上市。

1997年：4月，Ask Jeeves上线，唯一一个至今仍真实存在并有一定市场份额的早起搜索引擎。

1998年：9月，谷歌Google正式成立。

1999年：6月，曾经流行一时的搜索引擎Infoseek消失。

2000年：1月18日：网络成立。

7月，雅虎Yahoo！使用谷歌Google搜索数据。

2001年：10月，网络作为搜索引擎正式上线。

2002年：3月，谷歌Google Ad 推出PPC形式，也就是按点击付费。

2003年：7月，雅虎Yahoo！将除了谷歌Google之外的几乎所有主流搜索技术收归旗下。2004年：8月，谷歌Google上市。

2005年：8月，网络上市。

2006年：9月，MSN网络品牌全部改为Live、并做了大量推广，Google仍然占最大地位。

2007年：3月，谷歌Google开始提供类似网站联盟的按转化付费的广告形式。

2009年：6月，微软Live Search 改名为必应（Bing）

7月29，雅虎Yahoo！被自己亲手培养的Google谷歌彻底打败在搜索引擎战场。

2010年：8月，Yahoo！雅虎开始使用必应Bing搜索数据。

2011年：2月，Google谷歌推出Panda更新，旨在减少搜索结果中低质量页面。对seo优化业绩影响深远。

2010年8月，NetMarketShare 统计数据，全球搜索引擎市场份额中谷歌Google占据.73，占世界绝对领先地位，网络由于中国搜索用户数量庞大，搜索量排在第三位。但是国外使用网络者很少。

五、搜索引擎发展史有哪些

所有搜索引擎的祖先，是1990年由Montreal的McGill University学生Alan Emtage、Peter Deutsch、Bill Wheelan发明的Archie(Archie FAQ)。当时World Wide Web还未出现。

Archie是第一个自动索引互联网上匿名FTP网站文件的程序，但它还不是真正的搜索引擎。 Archie是一个可搜索的FTP文件名列表，用户必须输入精确的文件名搜索，然后Archie会告 你的网络游戏联盟 新浪点点通个性 *** sDIY 海纳百川 候车亭媒体 轻松填问卷开心拿大奖 诉用户哪一个FTP地址可以下载该文件。

由于Archie深受欢迎，受其启发，Nevada System puting Services大学于1993年开发了一个Gopher(Gopher FAQ)搜索工具Veronica(Veronica FAQ)。Jughead是后来另一个Gopher搜索工具。

由于专门用于检索信息的Robot程序象蜘蛛（spider）一样在网络间爬来爬去，因此，搜索引擎的Robot程序被称为spider(Spider FAQ)程序。世界上第一个Spider程序，是MIT Matthew Gray的World wide Web Wanderer，用于追踪互联网发展规模。

刚开始它只用来统计互联网上的服务器数量，后来则发展为也能够捕获网址（URL）。 与Wanderer相对应，1993年10月Martijn Koster创建了ALIWEB(Martijn Koster Annouces the Availability of Aliweb)，它相当于Archie的HTTP版本。

ALIWEB不使用网络搜寻Robot，如果网站主管们希望自己的网页被ALIWEB收录，需要自己提交每一个网页的简介索引信息，类似于后来大家熟知的Yahoo。 1993年底，一些基于此原理的搜索引擎开始纷纷涌现，其中最负盛名的三个是：Scotland的JumpStation、Colorado 大学Oliver McBryan的The World Wide Web Worm(First Mention of McBryans World Wide Web Worm)、NASA的Repository-Based Software Engineering (RBSE) spider。

1993年2月，6个Stanford（斯坦福）大学生的想法是分析字词关系，以对互联网上的大量信息作更有效的检索。这就是Excite。

后来曾以概念搜索闻名，2002年5月，被Infospace收购的Excite停止自己的搜索引擎，改用元搜索引擎Dogpile 1994年1月，第一个既可搜索又可浏览的分类目录EINet Galaxy(Tradewave Galaxy)上线。除了网站搜索，它还支持Gopher和Tel搜索。

1994年4月，Stanford两名博士生，美籍华人Jerry Yang（杨致远）和David Filo共同创办了Yahoo。随着访问量和收录链接数的增长，Yahoo目录开始支持简单的数据库搜索。

因为Yahoo！的数据是手工输入的，所以不能真正被归为搜索引擎，事实上只是一个可搜索的目录。搜索效率明显提高。

（Yahoo以后陆续使用Altavista、Inktomi、Google提供搜索引擎服务） 1994年初，Washington大学CS学生Brian Pinkerton开始了他的小项目WebCrawler(Brian Pinkerton Announces the Availability of Webcrawler)。1994年4月20日，WebCrawler正式亮相时仅包含来自6000个服务器的内容。

WebCrawler是互联网上第一个支持搜索文件全部文字的全文搜索引擎，在它之前，用户只能通过URL和摘要搜索，摘要一般来自人工评论或程序自动取正文的前100个字。（后来webcrawler陆续被AOL和Excite收购，现在和excite一样改用元搜索引擎Dogpile） Lycos(Carnegie Mellon University Center for Machine Translation Announces Lycos )是搜索引擎史上又一个重要的进步。

Carnegie Mellon University的Michael Mauldin将John Leavitt的spider程序接入到其索引程序中，创建了Lycos。1994年7月20日，数据量为54,000的Lycos正式发布。

除了相关性排序外，Lycos还提供了前缀匹配和字符相近限制，Lycos第一个在搜索结果中使用了网页自动摘要，而最大的优势还是它远胜过其它搜索引擎的数据量：1994年8月--394,000 documents;1995年1月--1.5 million documents;1996年11月--over 60 million documents。（注：1999年4月，Lycos停止自己的Spider，改由Fast提供搜索引擎服务） Infoseek(Steve Kirsch Announces Free Demos Of the Infoseek Search Engine)是另一个重要的搜索引擎，虽然公司声称1994年1月已创立，但直到年底它的搜索引擎才与公众见面。

起初，Infoseek只是一个不起眼的搜索引擎，它沿袭Yahoo！和Lycos的概念，并没有什么独特的革新。但是它的发展史和后来受到的众口称赞证明，起初第一个登台并不总是很重要。

Infoseek友善的用户界面、大量附加服务（such as UPS tracking, News, a directory, and the like） 使它声望日隆。而1995年12月与Netscape的战略性协议，使它成为一个强势搜索引擎：当用户点击Netscape浏览器上的搜索按钮时，弹出Infoseek的搜索服务，而此前由Yahoo！提供该服务。

（注：Infoseek后来曾以相关性闻名，2001年2月，Infoseek停止了自己的搜索引擎，开始改用Overture的搜索结果） 1995年，一种新的搜索引擎形式出现了——元搜索引擎（A Meta Search Engine Roundup）。用户只需提交一次搜索请求，由元搜索引擎负责转换处理后提交给多个预先选定的独立搜索引擎，并将从各独立搜索。

搜索引擎是什么

搜索引擎是一个对互联网信息资源进行搜索整理和分类，并储存在网络数据库中供用户查询的系统，包括信息搜集、信息分类、用户查询三部分。

工作原理1.爬行：搜索引擎是通过一种特定规律的软件跟踪网页的链接，从一个链接爬到另外一个链接，像蜘蛛在蜘蛛网上爬行一样，所以被称为“蜘蛛”也被称为“机器人”。

搜索引擎蜘蛛的爬行是被输入了一定的规则的，它需要遵从一些命令或文件的内容。

2.抓取存储：搜索引擎是通过蜘蛛跟踪链接爬行到网页，并将爬行的数据存入原始页面数据库。

其中的页面数据与用户浏览器得到的HTML是完全一样的。

搜索引擎蜘蛛在抓取页面时，也做一定的重复内容检测，一旦遇到权重很低的网站上有大量抄袭、采集或者复制的内容，很可能就不再爬行。

3.预处理：搜索引擎将蜘蛛抓取回来的页面，进行各种步骤的预处理。