ASPseek

ASPseek является обеспечение Интернет поисковой разработан SWsoft и лицензируется как свободное программное обеспечение под GNU GPL.
ASPseek состоит из индексации роботом, поиска демона, и поиск CGI интерфейса. Это может индексировать, как многие, как несколько миллионов адресов и поиск слов и фраз, использование масок, и сделать логическое поиска. Результаты поиска могут быть ограничены периода, определенного, сайт или веб-пространство (набор участков) и отсортировано по релевантности (PageRank используется) или дата.
ASPseek оптимизирован для нескольких сайтов (резьбовой индекса, асинхронных поисков DNS, группировка результатов по сайту, веб-пространства), но может быть использован для поиска один сайт, а также. ASPseek может работать с несколькими языками / кодировки сразу (в том числе многобайтовых кодировок, таких как китайский) из-за способа хранения Unicode. Другие функции включают в себя стоп-слова и поддержку, ISpell кодировку и язык Guesser, шаблоны HTML для результатов поиска, выдержки и слов запроса подсветки.
ASPseek написан на С ++ с использованием библиотеки STL в, и использует сочетание SQL базы данных и двоичных файлов для хранения.
Вот некоторые ключевые особенности "ASPseek":
Возможность индексировать и искать по несколько миллионов документов
 
· Использование ASPseek, вы можете создать базу данных и поиск через много сайтов, и результаты для каждого запроса будут возвращены быстро, даже если у вас есть несколько миллионов документов, индексированных. Конечно, это зависит от аппаратного обеспечения, так что не ожидайте "старый добрый" i486 машина справиться с любой сайт в домене .com. Все зависит от процессора (ов), память, скорость диска и т.д. Так что ваши собственные испытания, прежде чем купить специальную аппаратуру.
 
· Тот факт, что ASPseek оптимизирован для больших объемов не должно остановить вас от использования его для поиска свой собственный сайт, который содержит несколько сотен документов - она ​​работает там же.
 
Очень хорошо релевантности результатов
 
· Цель поисковой системы, чтобы найти то пользователь хочет. Там может быть тысячи адресов найденных в результате поискового запроса, но все они могут быть несущественными, так что пользователь будет неудовлетворенной.
 
· Выходные результаты в ASPseek сортируются по релевантности (или ранга), но расчет Оценка не является легкой задачей. Разработчики старались включить большие и новейшие методы в ASPseek двигателя при сохранении хорошей скорости поиска.
 
Поддержка Ispell
 
· Когда ASPseek используется с ISpell поддержки, SearchD (1) может дополнительно найти все формы для всех указанных слов (пример: создать -> Создание или создано или создает). Таким образом, это позволяет найти слово во всех различных формах.
 
Режим хранения Unicode
 
· ASPseek может хранить информацию о документах в Unicode, что делает возможным реализовать многоязычную поисковую машину в. Таким образом, вы можете индексировать и искать документы на русском, английском и даже китайский, все в одной базе данных.
 
HTTP, HTTPS, HTTP-прокси FTP (через прокси-сервер) протоколы
 
· Как ASPseek является веб-поисковой системы, он использует протокол HTTP для индексации сайтов. ASPseek также поддерживает безопасные HTTPS: // протокол. Протокол FTP не поддерживается напрямую, но вы можете использовать прокси-сервер (например, кальмары) и индекс FTP сайты через прокси-сервер.
 
· ASPseek поддерживает "основной авторизации" особенность HTTP так что вы можете индекс защищенные паролем области (например, частная информация в интрасети).
 
Текст / HTML и текст / обычный поддержка типов документов
 
· ASPseek могу понять документы, написанные на HTML и текстовые документы. Они являются наиболее популярных форматов в Интернете.
 
· Другие форматы, такие как PDF, RTF и т.д., могут быть поддержаны с помощью какого-либо внешнего программы / скрипта, который способен конвертировать форматы, которые HTML или обычный текст.
 
Многопоточный дизайн, асинхронный DNS-преобразователь и т.д.
 
· ASPseek использует POSIX темы, это означает, что один процесс имеет много потоков, выполняющихся параллельно. Так скачиваний индексировать документы из многих сайтов, и поиск процессы демонов много поисковых запросов одновременно. Это не только помогает ASPseek хорошо масштабируется на SMP (многопроцессорных) систем, но также улучшает скорость индексирования, потому что в случае одного потока большую часть времени будет потрачено на ожидание данных из сети.
 
· Одна вещь, которая медленно процесс индексации вниз много это DNS-поиск (процесс определения IP-адреса с помощью имени сервера). Чтобы избежать задержек, асинхронные запросы (поиск производится по отдельным выделенным процессов) и IP-адрес кэш реализованы.
 
Стоп-слова
 
· Стоп-слов являются слова, которые не имеют никакого смысла само по себе. Примеры: есть, есть, на это. Поиск по бесполезно, поэтому такие слова, исключаются из поискового запроса. Стоп-слова также исключаются из базы данных во время индексации, так база данных становится меньше и быстрее.
 
· Там нет "встроенных" стоп-слова в ASPseek, они загружаются при запуске из файлов. Многие файлы стоп-слов для различных языков поставляется с ASPseek.
 
Кодировка guesse
 
· Некоторые сломанные или неправильно серверы не сказать клиентам кодировку, в которой они предоставляют контент. Если вы индексации таких серверов, или с помощью ASPseek индексировать FTP-серверов (протокол FTP не знает ничего о кодировках), кодировка отгадывающий могут быть использованы для борьбы с ним. Кодировка отгадывающий использует таблицы частот слово (называемые langmaps) для определения правильной кодовой.
 
Стандарт исключений для роботов (robots.txt) поддержка
 
· ASPseek полностью поддерживает этот стандарт. Он предназначен для авторов веб-сайта для говорить робота (например, индекс ASPseek (1)), чтобы пропустить индексации некоторые каталоги своих сайтов.
 
· Для получения дополнительной информации см http://www.robotstxt.org/wc/robots.html
 
Настройки для контроля использования пропускной способности сети и веб-серверов нагрузку
 
· Вы можете точно контролировать пропускную способность сети, что индекс (1) использует. Точно, вы можете ограничить полосу пропускания (выраженный в байтах в секунду), используемый по индексу (1) для заданного времени в день. Например, вы можете ограничить пропускную способность в рабочие часы, чтобы люди в вашем офисе не будет испытывать медленный интернет.
 
· Вы также можете установить минимальное время между двумя запросами к одном веб-сервере, так что это не будет перегружен и получил на колени во время запуска индекс (1).
 
В режиме реального времени асинхронный индексации
 
· Некоторые поисковые системы требует, что поиск должен быть остановлен на время обновления базы данных. ASPseek не нужно, так что вы можете искать нон-стоп.
 
· Больше сказать, есть специальный режим индексации называется "реального времени" индексация. Вы можете использовать его для небольшого числа документов, и, насколько такой документ загружается и обрабатывается, изменения сразу видны в поисковый интерфейс. Эта функция является большим подспорьем, если вы строите поисковик для страниц с быстро меняющимся содержанием, например, онлайн-новости и т.д.
 
· Обратите внимание, что ряд документов, в "режиме реального времени" базы данных ограничен. Это около 1000 на нашем аппаратных (ваш пробег может варьироваться), и больше документов вы должны в базе данных "в режиме реального времени", тем медленнее будет скорость индексации в этом (и только этой) базы данных. Это не повлияет на скорость поиска, хотя.
 
· Документы, из базы данных "в режиме реального времени", перемещаются в нормальном базе данных после запуска индекс (1) в обычном порядке.
 
Сортировка результатов по релевантности или по дате
 
· Поисковые системы, как правило, возвращает наиболее релевантные результаты в первую очередь. Но если вы ищете для последних страниц, вы можете сказать, ASPseek для сортировки результатов по дате последнего изменения, так недавно изменены (или создается) страницы будут отображаться первым.
 
Отрывки, слова запроса, освещающие
· Выдержка кусок найденного документа со словами искали подчеркнул, просто чтобы дать представление о том, что документ о. Вы можете настроить количество отрывков отображения и их длины. Если вы отключите отрывки, начало документа будет отображаться.
 
· Каждый нашел документ сопровождается "Cached" ссылку. ASPseek держит местный сжатую копию каждого документа обработанного, так что пользователь может увидеть весь документ с (опционально) выделены слова, которые были искали, даже если она была удалена из первоначального места (что иногда случается).
 
Группировка результатов по территории
 
· Результаты одном сайте, могут быть сгруппированы вместе. Если группировка по сайтам на только два Результаты отображаются с того же сайта по умолчанию, и пользователь может увидеть другие страницы с того же сайта, следуя "Другие результаты с ..." ссылку.
 
Клоны
 
· Клоны одинаковые документы в различных местах. Они обнаружены и сгруппированы вместе, так что пользователь не будет представлен полный страницы URL, на одинаковых документов.
 
· Обнаружение клонов, как правило, ограничивается одним сайта (так одинаковых документов из разных сайтов, не учитываются как клоны), но вы можете изменить это перекомпиляции ASPseek с --disable-клоны-на-сайте варианта.
 
Пробелы и подмножества
 
· Космос есть множество сайтов. Так что, если вы хотите, чтобы обеспечить поиск сократился до какой-то области, вы можете создать пространство, и поиск в рамках этого пространства. Только целые сайты (например, http://www.mysite.com/) разрешается быть включены в космосе.
 
· Подмножества также могут быть использованы для ограничения поиска. Вы можете создать подмножество и положить URL маски (как http://www.mysite.com/mydir/%) в том, что, а затем ограничить область поиска только данного подмножества.
 
· Вы можете ограничить область поиска не только одного, а нескольких подмножеств или пробелами.
 
Шаблоны HTML для результатов поиска легко в настройке
 
· Вы можете настроить ваши страницы поиска, так что они будут выглядеть и быть интегрированы с остальными вашего сайта. Это делается путем простого редактирования файла шаблона поиска.
Монтаж
GZIP -dc aspseek-1.2.10.tar.gz | тар XF -
CD-aspseek 1.2.10. / настроить
делать
су
сделать установку