Фильтры в Privoxy

Аватар пользователя dmrom

Исправьте название темы в соответствии с Правилами или будете отправлены в "Отстойник" :plusomet:

Поигрался с Privoxy после долгого использования Proxomitron...
Поскольку пытаюсь настройть резалку рекламы на корпоративном прокси (под freebsd), приходится искать альтернативы Proxomitron-у...
Privoxy конечно не дотягивает до его возможностей, но пользоваться ей можно Улыбка

Вобщем, хотел поделиться некоторыми наблюдениями:

1. Не стоит в фильтрах заменять вырезаемые куски комментариями. На многих сайтах эти новые комментарии вклиниваются внутрь других, уже существующих, комментариев и получается каша. Лучше заменять на тэги, типа .

2. Попробовал переделать стандартный для Privoxy способ замены изображений, на вариант используемый в Proxomitron:
Если интересно, можете посмотреть, что получается Улыбка (делается замена картинок на текстовые ссылки)

# [dmrom] Kill HTML banners by their links
s@]+href\s*=\s*(['"]?)([^>'"]*(?:\
bann?er\
#### тут стандартный набор ключевых слов ####
|clic?k\
)[^>'"]*)\1(?:\s(?:[^>]*)>|>)\s*'"]+)\3\
[^>]*(?:alt|title)\s*=\s*(['"])([^>]*)\5(?:[^>]*)>(.*)\
@
\
[$6]\$7
\
@sigxU

3. Спасибо за развитие Privoxy Улыбка

Аватар пользователя DRVTiny

Re: Фильтры

Цитата:
Исправьте название темы в соответствии с Правилами или будете отправлены в "Отстойник"

К счастью, администрация asplinux.net'а всё-таки одумалась и вытащила этот топик из "Отстойника". Впрочем, название темы действительно нужно поменять: по правилам форума asplinux.net название темы должно состоять минимум из двух слов. Не спрашивайте меня, зачем это нужно и почему это столь принципиально - я сам не знаю.

Цитата:
Поскольку пытаюсь настроить резалку рекламы на корпоративном прокси (под freebsd), приходится искать альтернативы Proxomitron-у...

Ну что ж, Вы нашли единственную реальную альтернативу Proxomitron'у, работающую практически на всех распространённых платформах...

Цитата:
1. Не стоит в фильтрах заменять вырезаемые куски комментариями. На многих сайтах эти новые комментарии вклиниваются внутрь других, уже существующих, комментариев и получается каша. Лучше заменять на тэги, типа .

В общем вполне разумно... Главное, чтобы все веб-браузеры могли корректно интерпретировать присутствие в HTML-коде нестандартных тегов Улыбка Но с этим, как я понимаю, особых проблем нет.

Цитата:
Попробовал переделать стандартный для Privoxy способ замены изображений, на вариант используемый в Proxomitron:
Если интересно, можете посмотреть, что получается (делается замена картинок на текстовые ссылки)

В принципе выглядит неплохо, но, к сожалению, в HTML замена прямоугольного объекта -картинки текстом очень часто приводит к тому, что банальным образом "съезжает" форматирование страницы, т.е. использование подобного рода фильтров имеет видимые невооружённым глазом побочные эффекты: искажается структура страницы, на месте баннеров появляется малоэстетично выглядящий текст (проблема в том, что дизайнер страницы не рассчитывал на то, что кто-то на месте, отведённом под баннер, будет видеть строку текста со ссылкой (при чём ссылки эти бывают длиной в полкилометра)). В особенности эта проблема актуальна для страниц с плотным размещением большого количества мелких элементов и сложным форматированием (различного рода порталы).

Цитата:
3. Спасибо за развитие Privoxy

И Вам спасибо за поддержку! Улыбка
Если есть желание помочь, присоединяйтесь к нам - вместе мы не дадим Privoxy кануть в Лету и сделаем его 100%'но русской (в самом широком смысле этого слова) программой.

Аватар пользователя MortalMan

Re: Фильтры в Privoxy

2 dmrom

Этот фильтр просто не нужен. В проксомитроне можно оправдать его использование "осечками" в фильтрации, в привокси это большая редкость. Когда я пользовался проксомитроном, у меня тоже стоял такой фильтр, правда я делал возможность просмотра изображения. Фильтр "Kill HTML banners by their links" - пережиток родного комплекта фильтров, который в своей конфигурации я выключаю. Во вторых, этот фильтр малость приторможенный.

Вот вариант такого фильтра, но не думаю, что такое извращение будет включено в комплект.

# Replase HTML banners by their links (Created by MortalMan)
s@<a>'"\\s]*?(?:\\
bann?er\\
|clic?k\\
# Еще строки
)[^>'"\\s]*)\\1([^>]*)>\\s*<img>]*(?:alt|title)=(['"]?)([^>'"]{,10})[^>'"]*\\4[^>]*>\\s*</a>\\
@<a href="$1$2$1$3">[$5]</a>@sigx
Аватар пользователя DRVTiny

Re: Фильтры в Privoxy

В общем, если есть возможность, предлагаю обсудить данный вопрос в интерактиве на Jabber-конференции rpft@conference.jabber.ru. Начиная с сегодняшнего дня я там буду появляться регулярно (ник DRVTiny, когда я на работе, drvtiny - когда я дома).

Аватар пользователя Goga777

Re: Фильтры в Privoxy

спасибо за поддержку проекта. Использую Опера9 + wwwoffle + privoxy.

Прошу подсказать, каким набором фильтров можно пользоваться, которые наиболее хорошо учитывают русский интернет. Попробовал оба набора Комплект ADOCID от 23.07.06 иКомплект фильтров от Аркадия aka MortalMan, ососбой разницы не заметил, но вот ниже приведенный факт надоедает.

У меня иногда привокси ошибочно блокирует страницу , увы я пока не разобрался в синтаксисе фильтров и не понимаю, почему это происходит. Например, при клике наhttp://asplinux.net/modules/messages/read.php?start=0&total_messages=1&sort=msg_time&by=ASC

я получаю

This is Privoxy 3.0.3 on localhost.localdomain (127.0.0.1), port 8118, enabledRequest for blocked URL

Your request for http://asplinux.net/modules/messages/read.php?start=0&total_messages=1&s... was blocked.See why or go there anyway.

Смотрю, почему - и не понимаю, что там написано Грустный - молод еще Улыбка

Matches for http://asplinux.net/modules/messages/read.php?start=0&total_messages=1&s...
In file: default.action View Edit
{-add-header-block-crunch-incoming-cookies-crunch-outgoing-cookies+deanimate-gifs {last}-downgrade-http-version-fast-redirects-filter {all-popups}-filter {dynamic-html}-filter {banners-by-link}-filter {banners-by-comment}-filter {all-images}-filter {offsite-images}-filter {offsite-graphic-links}-filter {offsite-js-links}-filter {tiny-textforms}-filter {jumping-windows}-filter {frameset-borders}-filter {fun}-filter {crude-parental}-filter {ie-exploits}-filter {site-specifics}-filter {google_adwords}+filter {privoxy-exploits}+filter {js-annoyances}+filter {html-annoyances}+filter {js-events}+filter {nosey-js}+filter {js-by-keywords}+filter {content-cookies}+filter {refresh-tags}+filter {anti-cache-tags}+filter {unsolicited-popups}+filter {img-reorder}+filter {banners-by-size}+filter {webbugs}+filter {demoronizer}+filter {shockwave-flash}+filter {quicktime-kioskmode}-handle-as-image+hide-forwarded-for-headers+hide-from-header {block}+hide-referrer {forge}-hide-user-agent-kill-popups-limit-connect+prevent-compression-send-vanilla-wafer-send-wafer+session-cookies-only+set-image-blocker {blank} }
/
{-handle-as-image }
/.*\.(js|php|css|.?html)
In file: filter.action View Edit
{-handle-as-image }
/.*\.(js|php|css|txt|pl|cgi|.?html?)
{+block }
/.*ad(graph|ima?g|info|juggler|key|knowledge|line|link|log|man|mentor|net|pics|proof|redir|rotate|s|v\d+|\.)
In file: user.action View Edit
{-crunch-incoming-cookies-crunch-outgoing-cookies-filter {content-cookies}-session-cookies-only }
.asplinux.net
{-filter {kill-offsite-images} }
.asplinux.net

Final results:

-add-header+block-crunch-incoming-cookies-crunch-outgoing-cookies+deanimate-gifs {last}-downgrade-http-version-fast-redirects+filter {privoxy-exploits}+filter {js-annoyances}+filter {html-annoyances}+filter {js-events}+filter {nosey-js}+filter {js-by-keywords}+filter {refresh-tags}+filter {anti-cache-tags}+filter {unsolicited-popups}+filter {img-reorder}+filter {banners-by-size}+filter {webbugs}+filter {demoronizer}+filter {shockwave-flash}+filter {quicktime-kioskmode}-handle-as-image+hide-forwarded-for-headers+hide-from-header {block}+hide-referrer {forge}-hide-user-agent-kill-popups-limit-connect+prevent-compression-send-vanilla-wafer-send-wafer-session-cookies-only+set-image-blocker {blank}

Аватар пользователя MortalMan

Re: Фильтры в Privoxy

При блокировке страницы он выводит сообщение "See why or go there anyway" которое в себе содержит 2 ссылки:
"See why" - посмотреть почему заблокировано
"go there anyway" - все равно перейти по этой ссылке
Вы могли посмотреть "See why", почему эта страница заблокирована и каким фильтром, а затем внести ее адрес в белый список этого фильтра или нажав на "go there anyway" несмотря не на что перейти на необходимую вам страницу.
Судя по строке, у Вас отработал фильтр {+block } по маске пути (видимо у Вас старый комплект, новый на это не реагирует), поэтому чтобы такого не происходило, надо в user.action через вэб интерфэйс в секцию {-block } внести адрес .asplinux.net/modules/messages/read.php (в новом комплекте исправлено) Ктати, Вы могли бы воспользоваться руссификацией для Привокси.

Цитата:
Прошу подсказать, каким набором фильтров можно пользоваться, которые наиболее хорошо учитывают русский интернет. Попробовал оба набора Комплект ADOCID от 23.07.06 иКомплект фильтров от Аркадия aka MortalMan

Это почти одно и то же, но лучше пользоваться самым свежим стабильным комплектом.

Аватар пользователя DRVTiny

Re: Фильтры в Privoxy

Цитата:
{+block }
/.*ad(graph|ima?g|info|juggler|key|knowledge|line|link|log|man|mentor|net|pics|proof|redir|rotate|s|v\d+|\.)

2MortalMan
Гм, удивительное дело... А зачем вообще надо было точку после ad (reAD.php) каким бы то ни было специальным образом обрабатывать Улыбка ? Главное, непонятно, какой паттерн хотя бы чисто гипотетически можно привести в качестве примера корректной отработки action'а на вроде бы мало о чём говорящем сочетании AD<точка>?
2Goga777
Но вообще всё-таки рекомендую поставить ADOCID23_07_06 начисто (т.е. сохранить только свой user.action).
И поправьте /etc/privoxy/config - там у Вас не должно быть строки actionsfile filter и должна быть строка actionsfile block - дело в том, что в ADOCID'е довольно абстрактный и, мягко говоря, не в меру агрессивный filter.action был заменён на существенно более эффективные и... "адекватные" что ли... чёрные списки block.action (частично конвертированные из чёрных списков UserGate'а).

Аватар пользователя MortalMan

Re: Фильтры в Privoxy

Андрей, в плане блокирования "путей" я давно откатился до "родных" шаблонов Привокси, и добавляю туда с особой осторожностью. Лучше пусть что нибудь проскочит, чем заблокируется совсем. В предпоследней версии фильтров этих шаблонов уже не было.

Аватар пользователя Goga777

Re: Фильтры в Privoxy

>>Судя по строке, у Вас отработал фильтр {+block } по маске пути (видимо у Вас старый комплект, новый на это не реагирует

в том то и дело, что я загружал только 2 комплекта, которые у вас есть на сайте
Комплект ADOCID от 23.07.06
Комплект фильтров от Аркадия aka MortalMan 22.05.2006

больше ничего не грузил.

-rw-r--r-- 1 privoxy adm 4154 2006-07-18 11:03 add2user.action
-rw-r--r-- 1 privoxy adm 266009 2006-06-18 13:21 block.action
-rw-rw---- 1 privoxy adm 31358 2006-08-03 10:55 config
-rw-r--r-- 1 privoxy adm 27035 2006-07-18 11:15 default.action
-rw-rw-r-- 1 privoxy adm 49282 2006-07-23 22:03 default.filter.en
-rw-rw-r-- 1 privoxy adm 49282 2006-07-23 22:03 default.filter.ru_cp1251
-rw-r--r-- 1 privoxy adm 31654 2006-07-23 19:55 example-config.txt
-rw-r--r-- 1 privoxy adm 4986 2006-07-18 10:57 standard.action
drwxr-xr-x 2 root root 4096 2006-08-03 10:42 templates
-rw-rw---- 1 privoxy adm 6109 2006-01-01 16:36 user.action

>>поэтому чтобы такого не происходило, надо в user.action через вэб интерфэйс в секцию {-block } внести адрес .asplinux.net/modules/messages/read.php (в новом комплекте исправлено)о, таких адресов было бы очень много, я только для примера ссылку привел. На самом деле в 90% случаях у меня блокировалась страничка, например вот здесь
http://allrussian.info/thread.php?threadid=48510&page=3

>>Ктати, Вы могли бы воспользоваться руссификацией для Привокси.
вы имеете ввиду вот это ?Частичная руссификация Privoxy + документация на русском в одном архиве от DRVTinyЗагрузка: russian.zip4.08.2006 02:23 Добавил: MortalMa

>>И поправьте /etc/privoxy/config - там у Вас не должно быть строки actionsfile filter и должна быть строка actionsfile block
поправил, все стало нормально - видимо в этом и порылась собака.
а почему в комплекте Комплект ADOCID от 23.07.06 файлика config нет - это так и задумано ?

тем не менее, спасибо большое за советы.

Аватар пользователя MortalMan

Re: Фильтры в Privoxy

To: Goga777
В последней конфигурации агрессивность фильтрации снижена до предела.

Цитата:
вы имеете ввиду вот это ?Частичная руссификация Privoxy + документация на русском в одном архиве от DRVTinyЗагрузка: russian.zip4.08.2006 02:23 Добавил: MortalMan

Да, я ею сам пользуюсь...

Вот фрагмент моего конфига, где можно увидеть порядок следования файлов...

actionsfile standard	# Internal purpose, recommended
actionsfile default		# Main actions file
actionsfile block		# Main actions filter
actionsfile user		# User customizations

По поводу отсутствия конфига в ADOCID от 23.07.06 - конфиг есть, он называется example-config.txt, по его аналогии можно исправить свой конфиг.

Аватар пользователя DRVTiny

Фильтры в Privoxy

Цитата:
о поводу отсутствия конфига в ADOCID от 23.07.06 - конфиг есть, он называется example-config.txt,

Да, это именно пример конфигурационного файла, основной конфиг лучше брать из последней сборки Privoxy 3.0.3-8 (я там какие-то исправления через патчи сделал. Не помню, какие именно, но что-то определённо не бесполезное).
Кстати, Goga777, а у Вас какая сборка Privoxy? Наша или официальная?

RSS-материал