YaCy

0
Ваша оценка: Нет

YaCy - это поисковый движок с открытым исходным кодом, отличающийся децентрализованной архитектурой и использованием технологий P2P (peer-to-peer). Ключевой задачей YaCy является обеспечение защиты персональных данных и гарантирование конфиденциальности запросов.

В рамках проекта YaCy разработан кардинально новый подход к решению проблемы организации независимого поиска, сконцентрированный на идее отказа от использования центрального сервера, вместо которого результаты поиска формируются при участии независимых друг от друга узлов распределённой сети, состоящей на сегодняшний день из более чем 600 узлов. В подобной распределённой сети ни один из элементов не может единолично решить, что именно будет отражено в поисковом выводе (исключается возможность цензуры) и в каком порядке будут показаны результаты. Движок работает непосредственно на компьютерах пользователей, использующих поисковую систему. Иными словами, каждый из пользователей YaCy является частью большой поисковой сети и непосредственно принимает участие в обеспечении её работы. Условия поиска шифруются перед тем, как покинуть компьютер пользователя.
Каждый пир в поисковой P2P сети хранит определённый фрагмент общего индекса, обмениваясь данными о своём контенте с другими пирами. Сам глобальный индекс представлен в виде распределённой хэш-таблицы (DHT - Distributed Hash Table). Части индекса многократно дублируются, поэтому постоянное отсоединение и подключение новых пиров не приводит к потере информации.
По желанию пользователя его машина может принимать участие в сборе и анализе данных для формирования индекса, но даже если пользователь просто подключился для отправки поискового запроса, часть индекса копируется на его машину и в дальнейшем может использоваться для обслуживания собственных запросов и запросов других участников. Размер выделяемого под локальный индекс дискового пространства и степень участия в работе P2P-сети выбирается пользователем. Операции индексации страниц могут выполняться локальным краулером или инициироваться для распределённого краулинга с привлечением других участников сети. Обнаружение других участников P2P-сети производится через обращение к 4 предопределённым seed-серверам. Отключив в настройках участие в P2P-сети пользователь может использовать YaCy для организации поиска по собственным ресурсам, в этом случае YaCy выступает в роли локального поискового движка.
Попробовать YaCy в деле можно на сайте search.yacy.net. Стать членом сети YaCy можно установив на свой компьютер специальное программное обеспечение, написанное на языке Java и доступное для платформ Linux, Windows и Mac OS X. Сеть уже работает и на текущий момент содержит в индексе более 1.4 млрд документов, обрабатывая примерно 130 тысяч поисковых запросов ежедневно.
Исходные тексты всех наработок проекта распространяются в рамках лицензии GPLv2.

Тип приложения: другие программы для графического режима
Сайт разработчика: http://yacy.net/en/
Что почитать?


Разместил: vikos 1 Декабрь 2011 в 18:35