yahi

yahi является универсальным парсер журнала предоставления экстракторы умолчанию для Apache / Lighttpd.
Использование командной строки
Пример данных проанализированных с yahi: http://wwwstat.julbox.fr/
Простейший использование является:
speed_shoot -g / USR / местные / данные / GeoIP / вар / WWW / Apache / доступ * журнал
он будет возвращать JSON в виде:
{
& NBSP; "by_date": {
& NBSP; "2012-5-3": 11
& NBSP;},
& NBSP; "total_line": 11,
& NBSP; "ip_by_url": {
& NBSP; "/ favicon.ico": {
& NBSP; "192.168.0.254": 2,
и NBSP; "192.168.0.35": 2
& NBSP;},
& NBSP; "/": {
& NBSP; "74.125.18.162": 1,
& NBSP; "192.168.0.254": 1,
и NBSP; "192.168.0.35": 5
& NBSP;}
& NBSP;},
& NBSP; "by_status": {
& NBSP; "200": 7,
& NBSP; "404": 4
& NBSP;},
& NBSP; "by_dist": {
& NBSP; "неизвестно": 11
& NBSP;},
& NBSP; "bytes_by_ip": {
& NBSP; "74.125.18.162": 151,
& NBSP; "192.168.0.254": 489,
& NBSP; "192.168.0.35": +1093
& NBSP;},
& NBSP; "by_url": {
& NBSP; "/ favicon.ico": 4,
& NBSP; "/": 7
& NBSP;},
и NBSP; "by_os": {
& NBSP; "неизвестно": 11
& NBSP;},
& NBSP; "week_browser": {
& NBSP; "3": {
& NBSP; "неизвестно": 11
& NBSP;}
& NBSP;},
& NBSP; "by_referer": {
& NBSP; "-": 11
& NBSP;},
& NBSP; "by_browser": {
& NBSP; "неизвестно": 11
& NBSP;},
& NBSP; "by_ip": {
& NBSP; "74.125.18.162": 1,
& NBSP; "192.168.0.254": 3,
и NBSP; "192.168.0.35": 7
& NBSP;},
& NBSP; "by_agent": {
& NBSP; "Mozilla / 5.0 (X11; Ubuntu; Linux x86_64; колесах: 12.0) Gecko / 20100101 Firefox / 12.0, GZIP (GFE) (через translate.google.com)": 1,
& NBSP; "Mozilla / 5.0 (X11; Ubuntu; Linux x86_64; колесах: 12.0) Gecko / 20100101 Firefox / 12.0": 10
& NBSP;},
& NBSP; "by_hour": {
& NBSP; "9": 3,
& NBSP; "10": 4,
& NBSP; "11": 1,
& NBSP; "12": 3
& NBSP;},
& NBSP; "by_country": {
& NBSP; "": 10,
& NBSP; "США": 1
& NBSP;}
}
Если вы используете:
speed_shoot -f CSV -g / USR / местные / данные / GeoIP / вар / WWW / Apache / доступ * журнал
Ваш результат:
by_date, 2012-5-3,11
total_line, 11
ip_by_url, / favicon.ico, 192.168.0.254,2
ip_by_url, / favicon.ico, 192.168.0.35,2
ip_by_url, /, 74.125.18.162,1
ip_by_url, /, 192.168.0.254,1
ip_by_url, /, 192.168.0.35,5
by_status, 200,7
by_status, 404,4
by_dist, неизвестно, 11
bytes_by_ip, 74.125.18.162,151
bytes_by_ip, 192.168.0.254,489
bytes_by_ip, 192.168.0.35,1093
by_url, / favicon.ico, 4
by_url, /, 7
by_os, неизвестно, 11
week_browser, 3, неизвестный, 11
by_referer, -, 11
by_browser, неизвестно, 11
by_ip, 74.125.18.162,1
by_ip, 192.168.0.254,3
by_ip, 192.168.0.35,7
by_agent, "Mozilla / 5.0 (X11; Ubuntu; Linux x86_64; колесах: 12.0) Gecko / 20100101 Firefox / 12.0, GZIP (GFE) (через translate.google.com)", 1
by_agent, Mozilla / 5.0 (X11; Ubuntu; Linux x86_64; колесах: 12.0) Gecko / 20100101 Firefox / 12.0,10
by_hour, 9,3
by_hour, 10,4
by_hour, 11,1
by_hour, 12,3
by_country ,, 10
by_country, США, 1
Ну, я думаю, это не работает, потому что вы сначала нужно получить файл данных GeoIP:
Wget -O- "http://www.maxmind.com/download/geoip/database/GeoLiteCountry/GeoIP.dat.gz" | zcat> /usr/local/data/GeoIP.dat
Конечно, это база данных Geolite, я не включают данные в пакете, так как GeoIP должны быть обновлены часто, чтобы остаться точной.
Путь по умолчанию для Geoip это данные / GeoIP.dat
Использование в качестве сценария
Скорость съемки, на самом деле шаблон, как использовать yahi как модуль:
#! / USR / бен / ENV питон
от импорта archery.bow HANKYU в _dict
от yahi выемкой импорта, стрелять
от DateTime DateTime импорта
Контекст = выемка ()
date_formater = лямбда DT: "% s-s-%% с"% (dt.year, dt.month, dt.day)
context.output (
& NBSP; снимать (
& NBSP; контекст,
& NBSP; лямбда данные: _dict ({
& NBSP; 'by_country ": _dict ({данные [' _ страна ']: 1}),
& NBSP; 'by_date ": _dict ({date_formater (данные [' _ Дата и время ']): 1}),
& NBSP; 'by_hour ": _dict ({. Данные [' _ Дата и время '] час: 1}),
& NBSP; 'by_os ": _dict ({данные [' _ os_name ']: 1}),
& NBSP; 'by_dist ": _dict ({данные [' _ dist_name ']: 1}),
& NBSP; 'by_browser ": _dict ({данные [' _ browser_name ']: 1}),
& NBSP; 'by_ip ": _dict ({данные [' ф ']: 1}),
и NBSP; 'by_status ": _dict ({данные [' положение ']: 1}),
& NBSP; 'by_url ": _dict ({данные [' URI ']: 1}),
& NBSP; 'by_agent ": _dict ({данные [' агент ']: 1}),
& NBSP; 'by_referer ": _dict ({данные [' REFERER ']: 1}),
& NBSP; 'ip_by_url ": _dict ({данные [' URI ']: _dict ({данные [' ф ']: 1})}),
& NBSP; 'bytes_by_ip ": _dict ({[' данных IP ']: INT (данные [' байт '])}),
& NBSP; 'week_browser ":. _dict ({данные [' _ Дата и время '] день недели ():
& NBSP; _dict ({данные ["_ browser_name"]: 1})}),
& NBSP; 'total_line': 1,
& NBSP;}),
& NBSP;),
)
Установка
просто, как:
пункт установить yahi
или:
easy_install yahi
Рекомендованные использование
- Для основного агрегации журнала, я Recommand с помощью командной строки;
- Для одного выстрела показателей я рекомендую интерактивную консоль (bpython или IPython);
. - Для конкретных показателей или сложных фильтров я Recommand помощью API

Требования

• Python