Что породили “пауки”
“Пауки” (spider) используются для создания и обновления гигантских таблиц содержания хаотично развертывающейся Internet. Наиболее известная из этих “карт местности” - база данных Lycos, обратиться к которой можно с помощью программ просмотра в Web (http://www.lycos.com).
Yahoo (http://www.yahoo.com) была создана занесением информации “вручную”, но теперь в ней используется индексация на основе “пауков”. В одном из “списков популярности” Yahoo назван наиболее часто опрашиваемым универсальным указателем ресурсов (URL) в Internet.
Среди других известных баз данных можно отметить WebCrawler (http://www.webcrawler.com), в которой впервые был применен механизм широкого поиска, InfoSeek (http://www.infoseek.com) и Alta Vista (http://www.altavista.com), спонсируемую корпорацией Digital Equipment. Для получения списка других баз нажмите кнопку Search на базовой странице Netscape (http://www.netscape.com).
Любой, кто запрашивает информацию из этих баз данных, например ищет источники информации по запасам пшеницы, косвенно использует “пауков”.
Персональные “пауки” в отличие от механизмов общедоступных баз данных предназначены для независимого просмотра.
Старые персональные “пауки” (Fish и TkWWW) отправлены на пенсию из-за их неэффективности. На смену им пришли механизмы поиска, иногда также называемые “пауками”. Некоторые из них, получившие распространение, для повышения индивидуальной производительности могут работать с индексами, генерируемыми “пауками”.
Программа WebCompass
(http://www.quarterdeck.com) корпорации Quarterdeck, работающая под Windows, сначала опрашивает крупные базы данных, а затем по релевантным связям обращается к данным, находящимся в конференциях Usenet, узлах File Transfer Protocol, World-Wide Web, gopher-серверах и т. д. Она аннотирует документы и организует их по персональному индексу.
SavvySearch (http://rampal.cs.colostate.edu:2000) и MetaCrawler (http://metacrawler.cs.washington.edu:8080/index.html) - бесплатные механизмы поиска в Internet, аналогичные WebCompass.
CyberSearch (http://www.frontiertech.com) корпорации Frontier Technologies, распространяется по подписке и использует другой подход: на диске CD-ROM поставляется подмножество базы данных Lycos (500 000 URL-указателей) и органайзер/браузер.
До сих пор нет “пауков”, использующих Java.
Кен Филлипс
