Что породили “пауки”

 

“Пауки” (spider) используются для создания и обновления гигантских таблиц содержания хаотично развертывающейся Internet. Наиболее известная из этих “карт местности”  -  база данных Lycos, обратиться к которой можно с помощью программ просмотра в Web (http://www.lycos.com).

 

Yahoo (http://www.yahoo.com) была создана занесением информации “вручную”, но теперь в ней используется индексация на основе “пауков”. В одном из “списков популярности” Yahoo назван наиболее часто опрашиваемым универсальным указателем ресурсов (URL) в Internet.

 

Среди других известных баз данных можно отметить WebCrawler (http://www.webcrawler.com), в которой впервые был применен механизм широкого поиска, InfoSeek (http://www.infoseek.com) и Alta Vista (http://www.altavista.com), спонсируемую корпорацией Digital Equipment. Для получения списка других баз нажмите кнопку Search на базовой странице Netscape (http://www.netscape.com).

 

Любой, кто запрашивает информацию из этих баз данных, например ищет источники информации по запасам пшеницы, косвенно использует “пауков”.

 

Персональные “пауки” в отличие от механизмов общедоступных баз данных предназначены для независимого просмотра.

 

Старые персональные “пауки” (Fish и TkWWW) отправлены на пенсию из-за их неэффективности. На смену им пришли механизмы поиска, иногда также называемые “пауками”. Некоторые из них, получившие распространение, для повышения индивидуальной производительности могут работать с индексами, генерируемыми “пауками”.

 

Программа WebCompass

 

(http://www.quarterdeck.com) корпорации Quarterdeck, работающая под Windows, сначала опрашивает крупные базы данных, а затем по релевантным связям обращается к данным, находящимся в конференциях Usenet, узлах File Transfer Protocol, World-Wide Web, gopher-серверах и т. д. Она аннотирует документы и организует их по персональному индексу.

 

SavvySearch (http://rampal.cs.colostate.edu:2000) и MetaCrawler (http://metacrawler.cs.washington.edu:8080/index.html)  -  бесплатные механизмы поиска в Internet, аналогичные WebCompass.

 

CyberSearch (http://www.frontiertech.com) корпорации Frontier Technologies, распространяется по подписке и использует другой подход: на диске CD-ROM поставляется подмножество базы данных Lycos (500 000 URL-указателей) и органайзер/браузер.

 

До сих пор нет “пауков”, использующих Java.

 

Кен Филлипс

Версия для печати