Собран RPM-пакет с кеширующим прокси WWWOffle v2.9!

Аватар пользователя DRVTiny

Сергей, активный участник команды RPFT (Russian Privoxy Friends Team), собрал RPM-пакет новой (2.9) версии кеширующего прокси WWWOffle, ориентированного на "домашнее" применение, - в том числе и людьми, не имевшими до этого какого-либо опыта установки/настройки других прокси. RPM собран с оптимизацией под процессоры i686 и выше.

Скачать RPM-ку можно с Privoxy.ASPLinux.Net по нижеследующей ссылке:
http://privoxy.asplinux.net/ar/wwwoffle/wwwoffle-2.9beta-1.i686.rpm

Также были собраны некоторые дополнения, расширяющие функциональность WWWOffle (позволяющие ему работать в связке с локальными поисковиками):
http://privoxy.asplinux.net/ar/wwwoffle/wwwoffle-mnogosearch-2.9beta-1.i...
http://privoxy.asplinux.net/ar/wwwoffle/wwwoffle-namazu-2.9beta-1.i686.rpm
http://privoxy.asplinux.net/ar/wwwoffle/wwwoffle-hyperestraier-2.9beta-1...
http://privoxy.asplinux.net/ar/wwwoffle/wwwoffle-htdig-2.9beta-1.i686.rpm

Аватар пользователя Toper_Harley

Re: Собран RPM-пакет с кеширующим прокси WWWOffle v2.9!

Разьясните плз. - это аналог squidа? Т.е. Эта прога позволит сократить входящий траф? Если да, то как чувствительно (при серфе, разумеется). И если можно чуть про принцип работы, или ссылочку на маны.

Аватар пользователя DRVTiny

Re: Собран RPM-пакет с кеширующим прокси WWWOffle v2.9!

В какой-то степени да - аналог, а входящий трафик WWWOffle может вообще радикально "уменьшить до нуля", поскольку с точки зрения логической организации он сохраняет все просмотренные ранее страницы не как объекты кеша, а как локальный контент, полностью дублирующий то, что было загружено из Интернет. Т.е. фактически в локальной сети максимальную пользу от эксплуатации WWWOffle в качестве локального спула веб-контента можно получить в тех случаях, когда, например, Вам нужно на некоторое время закрыть шлюзовой выход в инет, но при этом очень желательно оставить пользователям возможность посещать все наиболее востребованные в силу специфики их "рабочего процесса" интернет-страницы. В принципе, настроив WWWOffle в связке с MnoGoSearch, Вы даже можете продублировать большую часть функций традиционных Google, Yandex и прочих, так что пользователи смогут искать нужную им информацию в таком вот "виртуальном интернет", формально запрашивая даные за пределами интернет-шлюза, но фактически получая их из кеша. Таким образом, шлюз может периодически подновлять в режиме "онлайн" действительно нужные для работы пользователей страницы и через WWWOffle уже в режиме "оффлайн" отдавать их клиентам по запросу, полностью отрезав доступ к реальному интернет из локалки (и обеспечив при этом беспрецедентный уровень безопасности).
Хотя, разумеется, WWWOffle может использоваться и в качестве обычного кеширующего прокси (например, такого, как SQUID, например), но при этом не будет задействована львиная доля его функциональности, связанной с возможностью организации виртуального (локального) интернет.
Так что если Вам нужно сделать частичку внешнего мира полноценной составляющей интранет (при этом, разумеется, не обязательно действительно полностью перекрывать все выходы в интернет - нужно только очень чётко определить список из множества доступных клиентам доменов, так что сами страницы процентов на 90 будут подгружаться из кеша, хранящегося на шлюзе, а данные заполнения всевозможных форм, любая постоянно обновляемая информация (текущие курсы валют, например) - будут отправляться и приниматься уже через соединение с реальным удалённым сервером), то WWWOffle - это на все 100% Ваш выбор. Если нужно при проведении долговременной профилактики на шлюзе предоставлять клиентам доступ к интернет-ресурсам, наиболее востребованным ими (для осуществления трудовой деятельности, а не для каких-либо иных целей), пусть этот доступ будет и не совсем полноценным (но это всё же лучше, чем ничего) и даже вовсе виртуальным ;-), то - опять же - WWWOffle - Ваш безальтернативный выбор.
А вот если нужен просто кеширующий прокси для выхода через него в интернет - да, безусловно можно и WWWOffle использовать, - но при этом следует учитывать то, что Вы лишитесь всей сопутствующей SQUID'у обширной инфраструктуры, т.е., например, Вы уже не сможете воспользоваться утилитами подсчёта трафика, анализирующими логи SQUID, функциями антивирусного сканирования трафика, встроенными во многие расширенные версии SQUID, а также реализуемыми через использование специальных редиректоров (хотя можно, конечно, воспользоваться HAVP, для которого я недавно написал HOWTO по установке/использованию (см. в соотв. раздел этого сайта)). Опять же, насколько я знаю, WWWOffle не поддерживает протокол взаимодействия кеширующих прокси ICP, позволяющий связать их в иерархическую структуру, способную порой многократно сократить входящий трафик для сложных многоуровневых сетей (со множеством маршрутизаторов, на каждом из которых можно и нужно поставить SQUID). Вообще существует немало полезных программ, рассчитанных на совместное со SQUID использование, так что если Вам действительно ни одна из них не нужна, да и организовывать взаимодействие кешей на маршрутизаторах сети по протоколу ICP Вам совершенно ни к чему (в виду того, что у Вас всего один маршрутизатор), то Вы смело можете заменить SQUID на WWWOffle, иначе - стоит подумать над тем, есть ли какая-либо необходимость в том, чтобы хранить на шлюзе 2 параллельных кеша, вместе создающих повышенную (пусть и не пропорционально количеству кешей) нагрузку на жёсткий диск, при использовании WWWOffle в связке со SQUID или же вполне можно обойтись одним SQUID, который, в общем, и так довольно эффективно справляется с характерными для него задачами.

Цитата:
И если можно чуть про принцип работы, или ссылочку на маны.

Вот ссылка на статью о WWWOffle, в которой, я надеюсь, Вы сможете найти ответы на все интересующие Вас вопросы, поскольку они рассмотрены там достаточно подробно:
http://privoxy.asplinux.net/doc/articles/wwwoffle_note.html
А man'ы и довольно толковую документацию, в том числе на русском языке (вообще WWWOffle с Великим и Могучим определённо дружит), Вы найдёте в составе RPM-пакета.

Аватар пользователя Toper_Harley

Re: Собран RPM-пакет с кеширующим прокси WWWOffle v2.9!

Спасибо за разьяснение. Статью прочитал. Своим скудным умишком я все таки допер, что это есть некое подобие оффлайнового браузера, который закачивает не конкретно указываемый тобой ресурс для последующего доступа оффлайн, а страницы, по которым ты конкретно шляешься, чтобы впоследствии, если ты на них заходишь, он вытаскивал их из кэша(локального контента), и по нажатию F5 или ctrlR добавлял из инета все то, что на них появилось с момента кэширования + оффлайновый просмотр.
Вобщем - ставлю/пробую разобраться. Можно в этой теме рассчитывать на ответы на вопросы, которые непременно)) появятся?

Аватар пользователя DRVTiny

Re: Собран RPM-пакет с кеширующим прокси WWWOffle v2.9!

Цитата:
Можно в этой теме рассчитывать на ответы на вопросы, которые непременно)) появятся?

Разумеется, можно Улыбка, а то для чего же этот форум существует :-?(наоборот, мне самому уже изрядно надоело одни монологи читать)!

Аватар пользователя Goga777

Re: Собран RPM-пакет с кеширующим прокси WWWOffle v2.9!

а как решить вот эту проблему с установкой wwwoffle

[root@localhost my]# yum install wwwoffle-2.9beta-1.i686.rpm

Dependencies Resolved
Transaction Listing:
Install: wwwoffle.i686 0:2.9beta-1 - wwwoffle-2.9beta-1.i686.rpm
Total download size: 4.0 M
Is this ok [y/N]: y
Downloading Packages:
unsigned package wwwoffle-2.9beta-1.i686.rpm
^^^^^^^^^^^^^^^

Аватар пользователя Toper_Harley

Re: Собран RPM-пакет с кеширующим прокси WWWOffle v2.9!

2 Goga777
Я конечно особо не мастак, но мог бы посоветовать попробовать установить через rpm
#rpm -ivh .rpm
или ну худой конец
#rpm -ivh -nodeps .rpm
А еще лучше - сконстроль собственную rpmку или поставь прогу из архива "с официального сайта: http://gedanken.demon.co.uk/. Размер тарболла с исходниками составляет вполне приемлемые даже для выкачивания по модему 990Кб (версия 2.8)"
Я как раз отсюда и ставил. Версия правда чуть постарше, но да не страшно, через ./C-M-M I.

Аватар пользователя Toper_Harley

Re: Собран RPM-пакет с кеширующим прокси WWWOffle v2.9!

Так вот! Вопросы появились)) Я правда , больше бы удивился, если бы такого не произошло))
К делу.
Начал я с мысли, как бы мне это чудо прицепить к процессу подключения из KPPP (в дальнейшем буду ссылаться на статью с Privoxy.ASPLinux.Net)
Там советуют
"добавил команду wwwoffle -on в скрипт /etc/ppp/ifup.local (вызывается при установлении демоном pppd соединения), а в /etc/ppp/ifdown.local - команду wwwoffle -off"
Таких файлов в таких дирках у себя не нашел - они отыскались в папочке /sbin/ifdown правда без расширения. Немного подопирав, все таки вставить не решился - слишком сложно проверить результаты, да и не факт, что это необходимые файлы (дело со звуковухой не прошло бесследно).
Попробовал идти другим путем:
"Можно выполнять переключение текущего состояния WWWOffle автоматически после установления соединения с провайдером и после разрыва связи с ним, что обычно делается в настройках программы дозвона, если там это предусмотрено (в KPPP, например, об этом позаботились)."
Залез во вкладочку Execute настройки подключения, там в полях upon connect upon disconnect выставил соответственно wwwoffle -on wwwoffle -off
но меня смутило то, что при выполнении в терминале
wwwoffle
[root@localhost ~]# wwwoffle

WWWOFFLE - World Wide Web Offline Explorer - Version 2.8e

Usage: wwwoffle -h | --help | --version
wwwoffle -online | -autodial | -offline | -fetch
wwwoffle -config | -dump | -purge | -status | -kill
wwwoffle [-o|-O]
wwwoffle [-post|-put]
wwwoffle [-g[Sisfo]] [-F] [-(d|r|R)[]] ...
wwwoffle [-g[Sisfo]] [-F] [-(d|r|R)[]] [|-] ...

Any of these can also take: [-p [:] | -c ]
The environment variable WWWOFFLE_PROXY can be set instead of -p or -c options.

Статья по 2.8 У меня походу 2.8e следовательно вместо вышеупомянутых команд мне надо wwwoffle -online/-offline Так?
И еще... не совсем я ж дурак наверно... Залез в конфиг. Там есть следующее
в разделе параметров Options написал
run-online = opera
(в описании run-online = (filename)) чтобы было наглядно видно, запустился он или нет.
Затем прислушиваясь к той же статье выполнил
wwwoffle -config
получилось
wwwoffle[7916] Warning: Failed to connect socket to 'localhost' port '8081' [Connection refused].
wwwoffle[7916] Fatal: Cannot open connection to wwwoffle server localhost port 8081.
Снова полез в статью. Вычитал : "Полезна также команда wwwoffle -config, которая заставляет демона wwwoffled перечитать конфигурационный файл и соответствующим образом учесть произведённые в нём изменения."
При чем тут открытие коннекта я так и не понял. Пав духом, я взялся за этот вот пост. Кстати конфиг на самом деле организован просто.
Мне счас нужно
1. Приклеить запусr сего к событию подключения
2. Понять, что там за ботва с wwwoffle -config
По поводу некоторых моментов конфига тож есть неясности, но это терпит.
Кстати, все таки чо то мне подсказывает что он запустился - инет нещадно тормозит. Причем скорость ресива>45, а качать модем начинает после полуминутной задержки (каждую ссылку). На омни про такие вещи сразу видно.
Может у кого нибудь есть толковый конф под эту версию?

Аватар пользователя Toper_Harley

Re: Собран RPM-пакет с кеширующим прокси WWWOffle v2.9!

А кстати с трансмитом все в норме, да и сейчас повторно на страницу ответа зашел резко.

Аватар пользователя DRVTiny

Re: Собран RPM-пакет с кеширующим прокси WWWOffle v2.9!

Цитата:
"добавил команду wwwoffle -on в скрипт /etc/ppp/ifup.local (вызывается при установлении демоном pppd соединения), а в /etc/ppp/ifdown.local - команду wwwoffle -off"
Таких файлов в таких дирках у себя не нашел - они отыскались в папочке /sbin/ifdown правда без расширения. Немного подопирав, все таки вставить не решился - слишком сложно проверить результаты, да и не факт, что это необходимые файлы (дело со звуковухой не прошло бесследно).

На самом деле, вполне возможно, что Сергей имел в виду не ifup/ifdown, а ipup.local и ipdown.local в каталоге /etc/ppp (если их там нет, то, очевидно, ничто не помешает Вам их создать Улыбка (вообще эти файлы - всего лищь свалка любых команд, которые Вам нужно выполнять в при соединении/разъединении)).

Цитата:
Залез во вкладочку Execute настройки подключения, там в полях upon connect upon disconnect выставил соответственно wwwoffle -on wwwoffle -off

Что ещё за on/off такие? Как-то Вы не очень внимательно читали статью. Там ведь чёрным по белоиу написано: wwwoffle -online и wwwoffle -offline соответственно. On/Off - это у нас так только Privoxy переключается ;-) (и то - зря я такой перевод в главном меню Pirvoxy оставил. Вкл/Выкл - это по-русски, а on/off посреди русских слов - это уже слэнг...) Улыбка

Цитата:
Статья по 2.8 У меня походу 2.8e следовательно вместо вышеупомянутых команд мне надо wwwoffle -online/-offline Так?

Такое впечатление, что Вы предпочитаете до всего собственным умом доходить. С одной стороны, это просто здорово, а с другой - зачем тогда вообще читать руководства, статьи и т.д., если Вы там всё равно половину информации либо пропускаете, либо по-своему переиначиваете?

Цитата:
получилось
wwwoffle[7916] Warning: Failed to connect socket to 'localhost' port '8081' [Connection refused].
wwwoffle[7916] Fatal: Cannot open connection to wwwoffle server localhost port 8081.
Снова полез в статью. Вычитал : "Полезна также команда wwwoffle -config, которая заставляет демона wwwoffled перечитать конфигурационный файл и соответствующим образом учесть произведённые в нём изменения."

А Вы номера портов (по умолчанию - 8080 для прослушивания запросов на соединение и 8081 для управления wwwoffle) в конфигурационном файле не меняли? Ну тогда, может, у Вас ещё какой-нибудь прокси этот порт занял? А в /etc/hosts localhost прописан? Ну тогда попобуйте для начала wwwoffle -config -c /etc/wwwoffle/wwwoffle.conf, а потом (если первый вариант не пройдёт) - wwwoffle -config -p 127.0.0.1:8081. Хотя... а Вы сервис wwwoffled перед этим запускали? Ну наверняка до этого-то Вы и не догадались... А всё на самом деле очень просто: service wwwoffled start При чём, обратите внимание, wwwoffled уже прописался в "демонскую автозагрузку" (см. список сервисов по ntsysv под root'ом), так что при следующем старте Linux Вам уже вводить команду service (запускать "демона" wwwoffled вручную) не надо будет.

Цитата:
По поводу некоторых моментов конфига тож есть неясности, но это терпит.
Кстати, все таки чо то мне подсказывает что он запустился - инет нещадно тормозит. Причем скорость ресива>45, а качать модем начинает после полуминутной задержки (каждую ссылку). На омни про такие вещи сразу видно

Ничего там не тормозит, просто данные поступают в браузер порционно после записи в кэш, из-за чего загрузка новых (не посещённых ранее при посредстве wwwoffle) страниц просходит рывками. Но это же не значит, что они загружаются дольше... Попробуйте померять время загрузки секундомером и убедитесь в моей правоте... А уж скорость загрузки наиболее часто посещаемых Вами страниц возрастёт при использовании WWWOffle в разы, так что обвинения в "тормознутости" по адресу этого прокси абсолютно беспочвенны, на мой взгляд. Да, кстати, а Вы вообще-то в браузере настройки прокси меняли или ограничилсь только тем, что "run-online = opera" в конфиге wwwoffle прописали? (должно быть: HTTP и HTTPS прокси = 127.0.0.1 (хост) 8080 (порт))

Аватар пользователя Toper_Harley

Re: Собран RPM-пакет с кеширующим прокси WWWOffle v2.9!

Здраствуйте. Рад, что кому то не лень было разбираться в моей бредятине =)
1) ipup.local и ipdown.local в каталоге /etc/ppp создал, написал в них что полагается)
2) из kppp настройки убрал - теперь походу они не пригодятся.
3) Номера портов я не менял, но

[root@localhost ~]# wwwoffle -config -c /etc/wwwoffle/wwwoffle.conf
wwwoffle[3290] Warning: Failed to connect socket to 'localhost' port '8081' [Connection refused].
wwwoffle[3290] Fatal: Cannot open connection to wwwoffle server localhost port 8081.

ставил другие порты - то же самое. Может просто надо было другие пробовать.
4) [root@localhost ~]# service wwwoffled start
wwwoffled: unrecognized service
Что навело меня на мысль, что он или запущен, или не запустится из-за того, что я его как нибудь по-кривому постаавил. Но в kdeшной process table я его не нашел. Правда, подумал, что сервисы пишутся куда нибудь еще. Проверить не смог.
5) Размер папки с кэшем 1,6 метра. Сдается мне - так было и сначала.
6) В конфиге больше ничего не менял, кроме как запретил кэш картинок за ненадобностью.
7) И самое дикое - я никак не могу понять, запущен он или нет))
Поражён Содержание etc/hosts
127.0.0.1 localhost.localdomain localhost
Пока это все достижения.

Аватар пользователя 9A4172

Re: Собран RPM-пакет с кеширующим прокси WWWOffle v2.9!

Цитата:
[root@localhost ~]# wwwoffle -config -c /etc/wwwoffle/wwwoffle.confwwwoffle[3290] Warning: Failed to connect socket to 'localhost' port '8081' [Connection refused].wwwoffle[3290] Fatal: Cannot open connection to wwwoffle server localhost port 8081.
ставил другие порты - то же самое. Может просто надо было другие пробовать.4) [root@localhost ~]# service wwwoffled startwwwoffled: unrecognized service

И все-таки это от того, что wwwoffled не запущен. Попробуйте
/sbin/service wwwoffled start
или
/etc/init.d/wwwoffled start

Цитата:
Но в kdeшной process table я его не нашел.

А это что?

Цитата:
7) И самое дикое - я никак не могу понять, запущен он или нет))

ps aux | grep wwwoffle Улыбка

Если уж совсем никак не работает, попробуйте вот так:
/usr/sbin/wwwoffled -d 6
Так оно запустится в debug-режиме с выводом всех сообщений на консоль.

Аватар пользователя DRVTiny

Re: Собран RPM-пакет с кеширующим прокси WWWOffle v2.9!

Re_2_9A4172:
А вот и собственно автор статьи, вот уж никак не ожидал что мне доведётся хоть когда-нибудь пересечься с 9A4172 на форуме!

Цитата:
И все-таки это от того, что wwwoffled не запущен. Попробуйте
/sbin/service wwwoffled start
или
/etc/init.d/wwwoffled start

Нет, боюсь, там проблема посерьёзней. На самом деле, судя по тому, что service wwwoffled start выдаёт "unrecognized service", wwwoffled у Toper_Harley и в самом деле нет. Как вообще-то такое могло получиться, если он устанавливал wwwoffle из rpm-пакета - ума не приложу. Ну разве что была допущена опечатка при наборе команды service... Иначе я этого объяснить не могу. Сомнительно, что хотя бы в принципе возможно в полубессознательном состоянии ввести что-то типа: su -c "rm -f /etc/init.d/wwwoffled", а потом искренне удивляться: дескать, "а чего это у меня wwwoffle не работает".

Re_2_Toper_Harley:

Цитата:
1) ipup.local и ipdown.local в каталоге /etc/ppp создал, написал в них что полагается)

Кстати, что самое интересное, оказывается, что вполне правомерен и обратный вариант: оказывается wwwoffle можно указать, чтобы при переключении в режим "онлайн" он заодно устанавливал соединение с провайдером (например, вызывал [/b]ifup ppp0[/b]), и при при переходе из "онлайн" в "оффлайн" - заодно выполнял сброс соединения (например, командой ifdown ppp0)

Цитата:
2) из kppp настройки убрал - теперь походу они не пригодятся.

Ну... не знаю даже. Вполне возможно, что KPPP вызывает PPPD для установления соединения с провайдером после дозвона таким образом, что содержимое ip(up|down).local вообще не используется (например, вместо них исполняются скрипты под условными кодовыми наименованиями "при соединении" и "при разъединении"). Вообще рекомендую настроить интернет-соединение "поднятием" настоящего сетевого интерфейса ppp0 (ifup ppp0/ifdown ppp0), о чём подробно написано в официальном FAQ на сайте community.asplinux.ru (ссылку, если хотите, поищу у себя)

Цитата:
4) [root@localhost ~]# service wwwoffled start
wwwoffled: unrecognized service

Вот это действительно ОЧЕНЬ странно и объяснить я сей казус просто не могу. Скажите, а у Вас в каталоге /etc/init.d вообще есть файл wwwoffled? Если есть, попробуйте выполнить: chmod u+x /etc/init.d/wwwoffled; /etc/init.d/wwwoffled start и дайте обязательно приведите здесь полный вывод этих двух команд (первая делает файл /etc/init.d/wwwoffled исполняемым, если он таковым не был, а вторая - прямой вызов сервиса wwwoffled (вообще команду service по историчяеским причинам (поскольку на самом деле сервисы хранятся в каталоге /etc/rc.d/init.d, а /etc/init.d - это всего лишь сиволическая ссылка на него) используют только для того, чтобы полное имя каталога не писать, хотя для /etc/init.d совсем небольшая экономия механического ресурса клавиатуры Улыбка )).

Цитата:
7) И самое дикое - я никак не могу понять, запущен он или нет))

Так посмотрите же, есть всё-таки в "псевдографическом" окошке программы ntsysv сервис wwwoffled и отмечен ли он "галочкой". Если есть и отмечен, то wwwoffled у Вас при старте должен загружаться, если есть и не отмечен, то надо поставить отметку (наведите стрелками клаиатуры курсор на wwwoffled и поставьте отметку "пробелом"). А вот если его там вообще нет... - ну можно, конечно, попробовать в ручную выполнить chkconfig --add wwwoffled; chkconfig --level 35 wwwoffled on, но сдаётся мне, что это Вам не поможет.

В общем, как говорится, для начала доложите обстановку, а там уже будем принимать решение по обстоятельствам...

Аватар пользователя Toper_Harley

Re: Собран RPM-пакет с кеширующим прокси WWWOffle v2.9!

2МАФ
Это со мной не впервой)) Однажды после оставленного мной поста.. в котором был нелестный (как выяснилось потом - зря) отзыв о программе p2kstyle на форум пришел сам Keo, который ее собсно и написал)) Пришлось потом извиняться))
Так же наверное и сейчас. Несмотря на

[root@localhost SPECS]# whereis wwwoffle
wwwoffle: /etc/wwwoffle /usr/local/bin/wwwoffle

[root@localhost SPECS]# ps aux | grep wwwoffle
root 1958 0.0 0.1 4968 684 pts/2 S 17:10 0:00 grep wwwoffle

вот
[root@localhost SPECS]# /etc/init.d/wwwoffled start
bash: /etc/init.d/wwwoffled: No such file or directory

в каталоге /etc/init.d файла нету.
Я ее переставлю, а потом скажу чо получилось.

Аватар пользователя Toper_Harley

Re: Собран RPM-пакет с кеширующим прокси WWWOffle v2.9!

Переставил
[root@localhost ~]# /sbin/service wwwoffled start
Starting wwwoffled: [ ОК ]
просто первый раз я хоть и свалял rpm-ку, но ставил из тарбола. Кривизна (как рук, так и установки) - как следствие.
Эээ... но вопросы все равно будут )) Только чуть позже.

Аватар пользователя DRVTiny

Re: Собран RPM-пакет с кеширующим прокси WWWOffle v2.9!

Цитата:
Эээ... но вопросы все равно будут )) Только чуть позже.

Ok, "буду ждать с нетерпением" ;-)

Аватар пользователя Toper_Harley

Re: Собран RPM-пакет с кеширующим прокси WWWOffle v2.9!

Здраствовать всем модераторам этого форума, да и всем линуксоидам тоже!
Вопрос такой:
The full pathname of the top level cache directory (spool directory)
# (default=/var/spool/wwwoffle....)
А там у меня почему то ее нету. Хотя все запускается-работает...
Я так понял за все то время, прошедшее с момента, как я ее переставил кэша так и не накопилось... Ну да не страшно. Теперь сам вопрос: обойдется ли все это дело тем, что нужно просто создать по адресу папку с таким названием. Но там помнится была куча вложенных... Или просто в конфиге прописать другой адрес?

Аватар пользователя Toper_Harley

Re: Собран RPM-пакет с кеширующим прокси WWWOffle v2.9!

А не, не извиняюсь ))) Нашел! Все это дело находится в /var/cache/wwwoffle. Вот только размер у него больно маленький - 1,6 метра. К чему бы это? Все таки по инету я шляюсь будь-здоров...

Аватар пользователя 9A4172

Re: Собран RPM-пакет с кеширующим прокси WWWOffle v2.9!

Цитата:
Все это дело находится в /var/cache/wwwoffle. Вот только размер у него больно маленький - 1,6 метра. К чему бы это? Все таки по инету я шляюсь будь-здоров...

wwwoffle ведет лог работы, находится он в /var/log/wwwoffled. Можно запустить его в debug-режиме (я уже, кажется, писал об этом): /usr/sbin/wwwoffled -d 6
По результатам будет видно, кэширует ли wwwoffle что-нибудь. Если нет - пишите, попробуем разобраться Улыбка

Аватар пользователя Goga777

Re: Собран RPM-пакет с кеширующим прокси WWWOffle v2.9!

хочу настроить wwwoffle следующим образом -
в независимости от того, в онлайне или оффлайне находится мой браузер все странички wwwoffle отдает браузеру из своего КЕША. При этом он не обращает внимания на различного рода служебные заголовки (типа pragma) , запрещающие кеширование и на срок годности сраничек, по истечении которого браузер (по идее) должен перезагрузить страничку. И только в случае, если я нажму F5 страничка реально загрузится с инета, при этом сохранившись в кеше wwwoffle
подскажите плиз что и как надо настроить, чтобы wwwoffle работал вот таким вот образом.

Аватар пользователя Toper_Harley

Re: Собран RPM-пакет с кеширующим прокси WWWOffle v2.9!

Да, походу это проливает свет...

[root@localhost ~]# /usr/sbin/wwwoffled -d 6 
wwwoffled[4121] 1135339474: Important: WWWOFFLE Demon Version 2.9-beta (with zlib,without ipv6) started. 
wwwoffled[4121] 1135339474: Information: WWWOFFLE Read Configuration File '/etc/wwwoffle/wwwoffle.conf'. 
wwwoffled[4121] 1135339474: Information: Running with uid=101, gid=102. 
wwwoffled[4121] 1135339474: Warning: Failed to bind server socket to '0.0.0.0' port '8080' [Address already in use]. 
wwwoffled[4121] 1135339474: Fatal: Cannot create HTTP server socket. 

Я конечно анализирую это, но мнение профи хотелось бы услышать...

Аватар пользователя DRVTiny

Re: Собран RPM-пакет с кеширующим прокси WWWOffle v2.9!

wwwoffled[4121] 1135339474: Warning: Failed to bind server socket to '0.0.0.0' port '8080' [Address already in use].

Скорее всего Вы, сами того не понимая, пытаетесь запускать WWWOffle по нескольку раз на одном порту (т.е. в тот момент, когда прокси уже запущен). У Вас стартовый сервис wwoffled во время загрузки нормально запускается (должно выводиться [ OK ]) ? На всякий случай покажите вывод команды netstat - na | grep 8080.

Аватар пользователя Toper_Harley

Re: Собран RPM-пакет с кеширующим прокси WWWOffle v2.9!

Стартовый сервис запускается нормально.
Предложенная команда не выводит ничего т. е.

[root@localhost ~]# netstat - na | grep 8080 
[root@localhost ~]#  
Аватар пользователя DRVTiny

Re: Собран RPM-пакет с кеширующим прокси WWWOffle v2.9!

Цитата:
Стартовый сервис запускается нормально.
Предложенная команда не выводит ничего т. е.

Так, хорошо (хотя, вообще говоря, не слишком... Может, у Вас ещё и по ps aux | grep wwwoffle | grep -v "grep" ничего не видно. Интересно-то как...) а что выводится в ответ на запрос service wwwoffled status? Просто я как-то не очень представляю себе, как можно пользоваться WWWOffle, если он с одной стороны вроде бы и работает, а с другой стороны - порт 8080 у Вас ни одна программа не слушает. Или Вы назначили WWWOffle другой порт?
Кстати, а Вы настраиваете WWWOffle через веб-интерфейс или правкой конфигурационных файлов?

Аватар пользователя 9A4172

Re: Собран RPM-пакет с кеширующим прокси WWWOffle v2.9!

Goga777

Цитата:
хочу настроить wwwoffle следующим образом - в независимости от того, в онлайне или оффлайне находится мой браузер все странички wwwoffle отдает браузеру из своего КЕША. При этом он не обращает внимания на различного рода служебные заголовки (типа pragma) , запрещающие кеширование и на срок годности сраничек, по истечении которого браузер (по идее) должен перезагрузить страничку. И только в случае, если я нажму F5 страничка реально загрузится с инета, при этом сохранившись в кеше wwwoffle подскажите плиз что и как надо настроить, чтобы wwwoffle работал вот таким вот образом.

В точности то, что вы хотите с помощью WWWOffle сделать вряд ли можно, но можно попробовать поэкспериментировать с настройками секции OnlineOptions (посмотрите комментарии в конфиге - больше информации вы найдете только в исходниках Улыбка ).
Можно также включить кэш браузера и соответствующим образом его (браузер) настроить. С этой точки зрения рекомендую Opera и Konqueror (особенно первый).
Оба этих способа, естественно, можно применять одновременно.
А собственно, чем вам не нравится переключение режимов online-offline? Если вы находитесь в режиме offline, то контент будет браться из кэша, но если нажать F5, страница будет поставлена в очередь закачки; позднее (или сразу же) все из очереди закачки можно загрузить командой fetch.
Или вы хотите использовать WWWOffle на выделенке для экономии трафика? Из собственного опыта замечено, что на достаточно быстром канале WWWOffle сильно тормозит и грузит процессор (да-да, у меня уже выделенка, скорость - до 1 Мбит/с Улыбка ).

Аватар пользователя Toper_Harley

Re: Собран RPM-пакет с кеширующим прокси WWWOffle v2.9!

Я настраиваю его правкой конфигов. То есть настраиваю - это пока сильно сказано... Так, пока немного поковырялся. Параметра три от силы поменял. Порты не менял.

[root@localhost ~]# ps aux | grep wwwoffle | grep -v "grep" wwwoffle  2911  0.0  0.1  2204  796 ?        S    19:43   0:00 /usr/sbin/wwwoffled -c /etc/wwwoffle/wwwoffle.conf -d 
[root@localhost ~]# ps aux | grep wwwoffle | grep -v "grep" wwwoffle  2911  0.0  0.1  2204  796 ?        S    19:43   0:00 /usr/sbin/wwwoffled -c /etc/wwwoffle/wwwoffle.conf -d 
[root@localhost ~]# service wwwoffled status wwwoffled (pid 2911) выполняется... [root@localhost ~]# netstat - na | grep 8080 [root@localhost ~]# 
Аватар пользователя 9A4172

Re: Собран RPM-пакет с кеширующим прокси WWWOffle v2.9!

Toper_Harley:
Странно все это... Попробуйте что-ли поменять номер порта wwwoffle на 8008, например. Что будет?
И приведите здесь, пожалуйста, содержимое секции StartUp wwwoffle.conf, а также все параметры, которые вы поменяли в конфиге.

Аватар пользователя Toper_Harley

Re: Собран RPM-пакет с кеширующим прокси WWWOffle v2.9!

StartUp 
{  
bind-ipv4         = 0.0.0.0  
bind-ipv6         = ::   
http-port         = 8008  
wwwoffle-port     = 8081   
spool-dir         = /var/cache/wwwoffle   
run-uid           = wwwoffle  
run-gid           = wwwoffle   
use-syslog        = no   
password          = none   
max-servers       = 8  
max-fetch-servers = 4 
}  

Остальные параметры по умолчанию. Потому что я его переставлял и конфиг наверное обновился тоже.

Итак, после смены порта:

[root@localhost ~]# wwwoffle -config 
WWWOFFLE Reading Configuration File. 
WWWOFFLE Read Configuration File. 
[root@localhost ~]# /usr/sbin/wwwoffled -d 6 
wwwoffled[4174] 1135496813: Important: WWWOFFLE Demon Version 2.9-beta (with zlib,without ipv6) started. 
wwwoffled[4174] 1135496813: Information: WWWOFFLE Read Configuration File '/etc/wwwoffle/wwwoffle.conf'. 
wwwoffled[4174] 1135496813: Information: Running with uid=101, gid=102. wwwoffled[4174] 1135496813: Warning: Failed to bind server socket to '0.0.0.0' port '8081' [Address already in use]. 
wwwoffled[4174] 1135496813: Fatal: Cannot create WWWOFFLE server socket. 

А если поставить

http-port         = 8080   
wwwoffle-port     = 8008  

будет

...
wwwoffled[4191] 1135497335: Warning: Failed to bind server socket to '0.0.0.0' port '8080' [Address already in use]. 
wwwoffled[4191] 1135497335: Fatal: Cannot create HTTP server socket.

Ещё я попробовал

http-port         = 8008   
wwwoffle-port     = 8081  

Получилось

...
wwoffled[4194] 1135497483: Warning: Failed to bind server socket to '0.0.0.0' port '8081' [Address already in use].
wwwoffled[4194] 1135497483: Fatal: Cannot create WWWOFFLE server socket.
Аватар пользователя Toper_Harley

Re: Собран RPM-пакет с кеширующим прокси WWWOffle v2.9!

То есть, последний пример я зря...

Аватар пользователя 9A4172

Re: Собран RPM-пакет с кеширующим прокси WWWOffle v2.9!

Меня терзают смутные сомнения... Мне кажется, что вы все-таки пускаете 2 (или больше) wwwoffled одновременно.
Попробуйте:
killall wwwoffled
wwwoffled -d 6

Аватар пользователя Toper_Harley

Re: Собран RPM-пакет с кеширующим прокси WWWOffle v2.9!

Получилось вот это:

[root@localhost data]# killall wwwoffled
[root@localhost data]# wwwoffled -d 6
wwwoffled[4999] 1135514560: Important: WWWOFFLE Demon Version 2.9-beta (with zlib,without ipv6) started.
wwwoffled[4999] 1135514560: Information: WWWOFFLE Read Configuration File '/etc/wwwoffle/wwwoffle.conf'.
wwwoffled[4999] 1135514560: Information: Running with uid=101, gid=102.

По нажатию ctrl+c

wwwoffled[4999] Timestamp: Sun Dec 25 15:44:22 2005 
wwwoffled[4999] 1135514662: Important: Exit signalled. 
wwwoffled[4999] 1135514662: Important: Exiting. 
[root@localhost data]# 

Походу на самом деле я запускаю его дважды...
Первый раз при самой загрузке системы а вот когда второй? И как от этого избавиться?

Аватар пользователя DRVTiny

Re: Собран RPM-пакет с кеширующим прокси WWWOffle v2.9!

Цитата:
Походу на самом деле я запускаю его дважды...
Первый раз при самой загрузке системы а вот когда второй? И как от этого избавиться?

Всё правильно, первый раз Вы стартуете wwwoffled, как сервис при загрузке системы, а второй раз - когда запускаете wwwoffled -d 6. В режиме отладки он не отключается от консоли и продолжает выводить сообщения до тех пор, пока Вы его не остановите (для этого можно либо послать wwwoffled сигнал TERM командой kill, либо просто нажать Ctrl+C).

Цитата:
А если поставить
Код:
http-port = 8080
wwwoffle-port = 8008

Как Вы правильно догадались, значения http-port и wwwoffle-port должны быть разными.

Аватар пользователя Toper_Harley

Re: Собран RPM-пакет с кеширующим прокси WWWOffle v2.9!

Ясно... То есть тем самым мы пришли к выводу, что сервис работает, стартуя при загрузке системы и при подключении к инету переходит в режим онлайн. Вобщем все хорошо... Но тогда почему кэш не прибавляется? По-моему конфиг по умолчанию предусматривает подгрузку каждой посещенной страницы в кэш?

Аватар пользователя 9A4172

Re: Собран RPM-пакет с кеширующим прокси WWWOffle v2.9!

Ну, вообще-то, я порекомендовал использовать wwwoffled -d 6 не для того, чтобы потом героически разбираться с возникшими проблемами, а чтобы посмотреть, что происходит Улыбка
Ладно, проехали...
Вы в браузере прокси прописали? Адрес прокси-сервера должен быть 127.0.0.1, порт - тот, что в конфиге wwwoffle указан как http-port.

Аватар пользователя Toper_Harley

Re: Собран RPM-пакет с кеширующим прокси WWWOffle v2.9!

Написал все это в опере. В этот день все работало - накопилось 25 метров кэша. На следующий день при попытке зайти на гугль (на все) появляется

WWWOFFLE Ошибка удаленного хоста
Ваш запрос URL
http://www.google.com/
потерпел неудачу потому, что
Cannot open the HTTP connection to www.google.com port 80; [Name Lookup Non-Authoritative Answer Host not found].
В первый раз такое тоже было. А что я сделал тогда - на помню)) Помню, потом в нете лазил... В мозиле, который я через прокси не настраивал - все отображается.
Подскажите, в чем ошибаюсь:
1 сервис запускается при старте системы
2 при установке подключения переходит в -online
3 порты, с которыми работаЛо
http-port = 8008
wwwoffle-port = 8081
Мне пока просто нужно чтобы wwwoffle кэшировал любую посещенную страницу.

Аватар пользователя 9A4172

Re: Собран RPM-пакет с кеширующим прокси WWWOffle v2.9!

А вот тут и понадобится отладочный режим.
1. Проверьте, что в настройках браузера прокси прописан правильно (адрес - 127.0.0.1, порт - 8008, если вы его опять не поменяли).
2. /etc/init.d/wwwoffled stop - останавите запущенный сейчас wwwoffle.
3. В консоли запустите /usr/sbin/wwwoffled -d 6 - отладочный режим с выводом всех сообщений на консоль.
4. В браузере: http://localhost:8008 - работает? Страница веб-интерфейса wwwoffle есть? (повтрорюсь, что порт нужно писать тот, который у вас сейчас стоит в настройках wwwoffle как http-port). Если не работает, значит неправильно прописаны настройки прокси.
5. wwwoffle -status (в другой консоли) - что выводит? (должно быть state: offline)
6. Подключитесь к Интернету, опять wwwoffle -status Что выводится? (а теперь должно быть online)
7. Браузер без прокси работает? (например, та же Mozilla)
8. В браузере, настроенном для работы через прокси (Opera): http://localhost:8008 Что выводится?
9. Там же попробуйте зайти на любой сайт, что получется?
10. Теперь в той консоли, где был запущен /usr/sbin/wwwoffled -d 6 смотрите, что пишет, запостите сюда, если там не сильно много.
В общем, чудес не бывает, это только в винде вчера работало, а сегодня не работает - в Линукс в 99% случаев виноват пользователь - чего-тщ накрутил ночью Улыбка

Аватар пользователя Toper_Harley

Re: Собран RPM-пакет с кеширующим прокси WWWOffle v2.9!

Спасибо за все предоставленные средства наблюдения. Все таки смог поймать сие безобразие - там с режимами offline-online трабл был. Счас все исправил. Контент пополняется.... )). Только вот если использовать оперскую качалку она не показывает размер закачиваемого файла и соответственно приблизительное время завершения. Как то непривычно))

Аватар пользователя 9A4172

Re: Собран RPM-пакет с кеширующим прокси WWWOffle v2.9!

Цитата:
Только вот если использовать оперскую качалку она не показывает размер закачиваемого файла и соответственно приблизительное время завершения. Как то непривычно))

Это не баг, это "фича" Улыбка Прочитайте внимательно заметку про WWWOffle (http://privoxy.asplinux.net/doc/articles/wwwoffle_note.html) - там про это упомянуто.

Аватар пользователя Goga777

Re: Собран RPM-пакет с кеширующим прокси WWWOffle v2.9!

Цитата:
9A4172 писал:
В точности то, что вы хотите с помощью WWWOffle сделать вряд ли можно, но можно попробовать поэкспериментировать с настройками секции OnlineOptions (посмотрите комментарии в конфиге - больше информации вы найдете только в исходниках Улыбка ).

начал копаться в настройках, пока результатов нет.

Цитата:
Можно также включить кэш браузера и соответствующим образом его (браузер) настроить. С этой точки зрения рекомендую Opera и Konqueror (особенно первый).

включен кеш в Опере 100 мегабайт, Но все равно , при повторной загрузке одной и той же странички она - страничка почему-то грузится с инета, а не из кеша, хотя 5 минут назад я эту страничку грузил уже.

Цитата:
Оба этих способа, естественно, можно применять одновременно.
А собственно, чем вам не нравится переключение режимов online-offline?

то, что надо вручную включать выключать эти режимы - а какой кстати, самый быстрый способ для этого ?
(я думаю, что через http://localhost:8080/control/)

Цитата:
Если вы находитесь в режиме offline, то контент будет браться из кэша, но если нажать F5, страница будет поставлена в очередь закачки; позднее (или сразу же) все из очереди закачки можно загрузить командой fetch.

дык команду fetch тоже надо давать вручную. Почему бы после F5 wwwoffle взять да и загрузить самому страничку , не спрашивая ни у кого разрешения ? Улыбка

Цитата:
Или вы хотите использовать WWWOffle на выделенке для экономии трафика?

у меня gprs + спутниковый интернет. Давайте рассмотрим вариант - только gprs. Я хочу на яндексе что-то поискать. Набираю yandex.ru - пусть страничка грузится из кеша недельной давности - если надо я ее сам обновлю через F5. Итак, страничка загрузилась из кеша - набираю искомое слово, Энтер, пошел запрос на яндекс - уже в онлайне. Вот что я хочу....

кстати, вопрос - а какую прогу под линукс вы можете порекомендовать для мониторинга сетевого входящего и исходящего трафика. Чтобы можно было видеть в динамике скорость, трафик в виде графиков
вот здесь - скриншот проги netmedic под винды http://www.goodweb.ru/netmedic.htm#throughput
очень похожее я хотел бы и под линуксом иметь. Пока попробовал xosview - не понравилось как она графики рисует. Кроме того, она ошибочно показывает трафик между wwwoffle и Оперой - а зачем мне это надо ?

Аватар пользователя Goga777

Re: Собран RPM-пакет с кеширующим прокси WWWOffle v2.9!

вроде стало получаться, то что я хочу. Но вот странное дело - почему в конфиге записались одни и те же параметры, но с разными значениями (yes или no) (редактировал конфиг из Оперы 2-мя разными методами)
- какой из них в этом случае отработает - последний ?
см. цитату из конфига

# WWWOFFLE Configuration Edit Inserted: Wed, 04 Jan 2006 00:37:23 MSK

# WWWOFFLE Configuration Edit Inserted: Wed, 04 Jan 2006 01:08:45 MSK
pragma-no-cache = yes

pragma-no-cache = no

pragma-no-cache = yes

# WWWOFFLE Configuration Edit Inserted: Wed, 04 Jan 2006 00:37:54 MSK
cache-control-no-cache = no

cache-control-no-cache = yes

# WWWOFFLE Configuration Edit Inserted: Wed, 04 Jan 2006 00:38:16 MSK
cache-control-max-age-0 = no

cache-control-max-age-0 = yes

# WWWOFFLE Configuration Edit Inserted: Wed, 04 Jan 2006 00:39:42 MSK
request-changed = 100d

request-changed = 10m

Аватар пользователя Toper_Harley

Re: Собран RPM-пакет с кеширующим прокси WWWOffle v2.9!

Цитата:
дык команду fetch тоже надо давать вручную

Во)) Это точно. Может мы и слишком стали избалованы и не отличаемся аскетизмом, но с маленькой прозрачной гуишкой (а еще лучше панелью в браузер), с кнопками наиболее часто употребляемых команд, было бы имхо гораздо лучше.

Аватар пользователя 9A4172

Re: Собран RPM-пакет с кеширующим прокси WWWOffle v2.9!

Goga777

Цитата:
Можно также включить кэш браузера и соответствующим образом его (браузер) настроить. С этой точки зрения рекомендую Opera и Konqueror (особенно первый).

включен кеш в Опере 100 мегабайт, Но все равно , при повторной загрузке одной и той же странички она - страничка почему-то грузится с инета, а не из кеша, хотя 5 минут назад я эту страничку грузил уже.

А как насчет "соответствующим образом настроить"? В Opera есть настройки про то, как часто проверять на обновление страницы, картинки и прочее (у меня стоит "никогда"), флажок "всегда проверять перенаправление" (у меня выключен). Размер кэша тут роли играет мало.
Еще не забудьте про JavaScript - наверное, сталкивались с такими случаями - показ графики отключен, но картинки все равно грузятся? Особенно часто такое используется для загрузки баннеров. Страница скорее всего взята из кэша, но баннеры загружаются из сети. Поэтому баннеры нужно блокировать (с помощью WWWOffle или того же Privoxy), а JavaScript - отключить (если сайт не работает без JS - в ж... такой сайт! Улыбка ).

Цитата:
то, что надо вручную включать выключать эти режимы - а какой кстати, самый быстрый способ для этого ?
(я думаю, что через http://localhost:8080/control/)

Можно переключать командами wwwoffle -on и wwwoffle -off, а их повесить на горячие клавиши. Текущее состояние подключения можно узнать командой wwwoffle -status.

Цитата:
дык команду fetch тоже надо давать вручную. Почему бы после F5 wwwoffle взять да и загрузить самому страничку , не спрашивая ни у кого разрешения ?

Команду fetch можно давать и так: wwwoffle -fetch, соответственно, можно применить все вышеупомянутое.

Цитата:
у меня gprs + спутниковый интернет. Давайте рассмотрим вариант - только gprs. Я хочу на яндексе что-то поискать. Набираю yandex.ru - пусть страничка грузится из кеша недельной давности - если надо я ее сам обновлю через F5. Итак, страничка загрузилась из кеша - набираю искомое слово, Энтер, пошел запрос на яндекс - уже в онлайне. Вот что я хочу....

Это уже несколько другая задача, чем те, на которые расчитан WWWOffle. Если все вышеприведенное вас не вдохновляет, то можно и по-другому: правильно настроенная Opera и так все берет из кэша, кроме тех случаев, когда ей это явно запрещают - с помощью HTTP-заголовков. Тогда можно использовать прокси, который позволяет эти заголовки менять произвольно (WWWOffle позволяет, но делает он это внутри, пользователю такое, насколько я понял, не доступно). Попробуйте Middleman - там есть уже готовые настройки для отрезания запретов на кэширование. Тут вам в помощь DRVTiny Улыбка

Цитата:
кстати, вопрос - а какую прогу под линукс вы можете порекомендовать для мониторинга сетевого входящего и исходящего трафика. Чтобы можно было видеть в динамике скорость, трафик в виде графиков

Сам бы от такой не отказался - но искать и пробовать лень Улыбка Если найдете - напишите, пожалуйста Улыбка

Цитата:
вроде стало получаться, то что я хочу. Но вот странное дело - почему в конфиге записались одни и те же параметры, но с разными значениями (yes или no) (редактировал конфиг из Оперы 2-мя разными методами)
- какой из них в этом случае отработает - последний ?

Странно, я даже не знаю... Ни разу не редактировал настройки WWWOffle через веб-интерфейс. Сейчас сижу на работе, поэтому проверю позже, есть ли у меня такое. Со своей стороны могу порекомендовать настраивать правкой конфига редактором - так оно надежнее Улыбка

Toper_Harley

Цитата:
дык команду fetch тоже надо давать вручную

Во)) Это точно. Может мы и слишком стали избалованы и не отличаемся аскетизмом, но с маленькой прозрачной гуишкой (а еще лучше панелью в браузер), с кнопками наиболее часто употребляемых команд, было бы имхо гораздо лучше.

Про то, как это сделать из командной строки, я писал, а в Linux, если что-то можно сделать в консоли, значит это можно как угодно Улыбка В т.ч. и сделав панельку в браузере.

Аватар пользователя Goga777

Re: Собран RPM-пакет с кеширующим прокси WWWOffle v2.9!

Цитата:
А как насчет "соответствующим образом настроить"? В Opera есть настройки про то, как часто проверять на обновление страницы, картинки и прочее (у меня стоит "никогда"), флажок "всегда проверять перенаправление" (у меня выключен). Размер кэша тут роли играет мало.

именно так и было. Есть версия - что все эти странички содержали в заголовке запреты на кеширование, вот Опера и ходила за ними в инет. Впрочем, сейчас это неактуально - правка конфига wwwoffle потихоньку приносит свои плоды Улыбка Я даже кеш в Опере отключил - счас полностью с wwwoffle работаю.

Цитата:
Можно переключать командами wwwoffle -on и wwwoffle -off, а их повесить на горячие клавиши. Текущее состояние подключения можно узнать командой wwwoffle -status.

спасибо, но и это уже неактуально - все начинает работать, как я хочу Улыбка

Цитата:
Это уже несколько другая задача, чем те, на которые расчитан WWWOffle.

почему ? что вы нашли в этой задаче такого неординарного ? по моему wwwoffle отлично справляется со своей ролью и в этой ситуации.

Цитата:
Если все вышеприведенное вас не вдохновляет, то можно и по-другому: правильно настроенная Opera и так все берет из кэша, кроме тех случаев, когда ей это явно запрещают - с помощью HTTP-заголовков.

видимо, эти случаи мы свами и обсуждали в предыдущем письме и в начале этого письма.

Цитата:
Тогда можно использовать прокси, который позволяет эти заголовки менять произвольно (WWWOffle позволяет, но делает он это внутри, пользователю такое, насколько я понял, не доступно). Попробуйте Middleman - там есть уже готовые настройки для отрезания запретов на кэширование. Тут вам в помощь DRVTiny Улыбка

а как эти самые заголовки еще и подсмотреть ? в винде есть прога Proxomitron , которая позволяет их подсматривать и вырезать, при необходимости корректировать. По идее privoxy должен это уметь, но я до него еще не добрался Улыбка
т.е. вы советуете Middleman ?
но т.к. wwwoffle я настроил как хотел, то вышеприведенный пункт мы с вами обсуждаем только в качестве самообразования. Улыбка
кеш в Опере отключен , я надеюсь пока стоит wwwoffle его никогда не буду включать.

Цитата:
кстати, вопрос - а какую прогу под линукс вы можете порекомендовать для мониторинга сетевого входящего и исходящего трафика. Чтобы можно было видеть в динамике скорость, трафик в виде графиков
Сам бы от такой не отказался - но искать и пробовать лень Улыбка Если найдете - напишите, пожалуйста Улыбка

пока попробовал xosview - крайне не рекомендую - криво графики рисует.
бум искать далее. Улыбка

Цитата:
Сейчас сижу на работе, поэтому проверю позже, есть ли у меня такое. Со своей стороны могу порекомендовать настраивать правкой конфига редактором - так оно надежнее Улыбка

ок, ручками подкорректируем Улыбка

PS мождет тему переименуем в "Обсуждаем кеширующий прокси для дома wwwoffle" ?

Аватар пользователя Goga777

Re: Собран RPM-пакет с кеширующим прокси WWWOffle v2.9!

итак, заголовки
насколько я понял вот эти 2 заголовка

pragma-no-cache = yes
cache-control-no-cache = yes

запрещают кеширование. Но кто и порождает - сам браузер при запросе странички или удаленный сервер, когда отдает страничку ?

Аватар пользователя sergeil

Re: Собран RPM-пакет с кеширующим прокси WWWOffle v2.9!

Цитата:
Goga777 писал:
итак, заголовки
насколько я понял вот эти 2 заголовка

pragma-no-cache = yes
cache-control-no-cache = yes

запрещают кеширование. Но кто и порождает - сам браузер при запросе странички или удаленный сервер, когда отдает страничку ?

Насколько я знаю, это прописано в загловках страниц, которые отдает сервер. Только сервер может знать следует ли страницы кэшировать.

Например, если страница генерируется динамически на основе постоянно меняющихся данных (например курс акций), то кэшировать ее нельзя ни при каких обстоятельствах.

Аватар пользователя Goga777

Re: Собран RPM-пакет с кеширующим прокси WWWOffle v2.9!

вот, подсмотрел в винде Проксомитроном заголовки запросов, которые выдает Опера при ОБНОВЛЕНИИ странички по F5

+++GET 674+++
GET http://asplinux.net/forum HTTP/1.1
User-Agent: Opera/8.10 (Windows NT 5.1; U; en)
Host: asplinux.net
Accept: text/html,text/plain;q=0.7,image/png,image/jpeg,image/gif;q=0.4,*/*;q=0.6
Accept-Language: ru
Accept-Charset: windows-1251,utf-8,iso-8859-1;q=0.3,*;q=0.1
Referer: http://asplinux.net/node/1354&post_id=8022&order=1&viewmode=flat&pid=764...
Cookie2: $Version=1
Cache-Control: no-cache
TE: gzip,deflate
Connection: keep-alive
Accept-Encoding: gzip,deflate

как видите, браузер вставил в запрос "Cache-Control: no-cache" приказывая тем самым находящимся после него прокси серверам загружать страничку прямо с сервера.

теперь просто дадим команду в Опере загрузить эту страничку (введя урл в строке адресов)

+++GET 712+++
GET http://asplinux.net/forum HTTP/1.1
User-Agent: Opera/8.10 (Windows NT 5.1; U; en)
Host: asplinux.net
Accept: text/html, application/xml;q=0.9, application/xhtml+xml, image/png, image/jpeg, image/gif, image/x-xbitmap, */*;q=0.1
Accept-Language: ru
Accept-Charset: windows-1251, utf-8, utf-16, iso-8859-1;q=0.6, *;q=0.1
If-Modified-Since: Thu, 05 Jan 2006 10:31:22 GMT
Cookie2: $Version=1
TE: deflate, gzip, chunked, identity, trailers
Connection: keep-alive

как видим , этой строчки нет.

но вот что ответил сервер

+++RESP 712+++
HTTP/1.1 200 OK
Date: Thu, 05 Jan 2006 10:37:12 GMT
Server: Apache/1.3.34 (Unix) mod_gzip/1.3.26.1a FrontPage/5.0.2.2623 PHP/4.4.1 mod_ssl/2.8.25 OpenSSL/0.9.7d-p1
Vary: Accept-Encoding
X-Powered-By: PHP/4.4.1
Expires: Sat, 18 Aug 2002 05:30:00 GMT
Last-Modified: Thu, 05 Jan 2006 10:37:17 GMT
Cache-Control: no-store, no-cache, max-age=1, s-maxage=1, must-revalidate, post-check=0, pre-check=0
Pragma: no-cache
Content-Language: ru
Content-Type: text/html; charset=Windows-1251
X-Cache: MISS from pepy.xxx.ru
Proxy-Connection: close
+++CLOSE 712+++

в ответе что-то подобное есть

Cache-Control: no-store, no-cache, max-age=1, s-maxage=1, must-revalidate, post-check=0, pre-check=0
Pragma: no-cache

но как интерпретировать ответ, я и сам не знаю Грустный
может кто поможет ?

Аватар пользователя 9A4172

Re: Собран RPM-пакет с кеширующим прокси WWWOffle v2.9!

В первом случае (по F5) заголовок Cache-Control: no-cache вставил сама Opera, что вполне логично - вы ведь нажали F5, т.е. потребовали обновить страницу, что браузер и делает.
В 3-ем случае сам сервер запретил кэширование - директивами "Pragma: no-cache" и "Cache-Control: no-store, no-cache" , а заодно и "Expires: Sat, 18 Aug 2002 05:30:00 GMT" (страница устарела в 2002 году). "must revalidate" заставляет проверять страницу на обновление при переходе вперед-назад (к счастью Opera их игнорирует).
Добавление таких заголовков лежит на совести админов; цель обычно - либо заставить пользователя получать всегда свежие баннеры, либо высокогуманные соображения о том, что если пользователь получит устаревшую версию страницы, то он не догадается нажать F5 (Ctrl-R)...
На community.asplinux.ru вот все работало, а потом взяли и ввели запреты на кэширование (это было 1-2 года назад)...

Теперь про Proxomitron: просматривать HTTP-заголовки может любой (наверное) прокси-сервер под Linux.
WWWOffle - поставьте "log-level = debug" в секции Options в конфиге, дальше - см. лог. Или запустить его в отладочном режиме: wwwoffled -d 6
Privoxy: добавьте "debug 1" в соответсвующее место главного конфига (/etc/privoxy/config), дальше - см. лог. Или отладочный режим:privoxy --no-daemon (в сочетании с debug 1).

Аватар пользователя Goga777

Re: Собран RPM-пакет с кеширующим прокси WWWOffle v2.9!

Цитата:
кстати, вопрос - а какую прогу под линукс вы можете порекомендовать для мониторинга сетевого входящего и исходящего трафика. Чтобы можно было видеть в динамике скорость, трафик в виде графиков

Цитата:
Сам бы от такой не отказался - но искать и пробовать лень Улыбка Если найдете - напишите, пожалуйста Улыбка

обратите, пожалуйста, взор на http://members.dslextreme.com/users/billw/gkrellm/gkrellm.html (rpm есть в дистриьутиве асплинукс)

я установил, мне понравилось...

Аватар пользователя DRVTiny

Re: Собран RPM-пакет с кеширующим прокси WWWOffle v2.9!

Рекомендую ещё XTrafShow попробовать - это самый навороченный графический трафикоанализатор из всего, что я когда-либо видел (аналог TMeter'а под Windows).

Аватар пользователя DRVTiny

Re: Собран RPM-пакет с кеширующим прокси WWWOffle v2.9!

Кстати, в состав дистрибутива входит ещё и прекрасный сниффер с графическим интерфейсом - Ethereal для среды Gnome. Если использовать его вместе с XTrafShow, GKrellM и FireStarter'ом (это ориентированный на "неспециалистов" фаерволл -фронтэнд с графическим интерфейсом для IPTables) - получится ультрасовременный центр наблюдения сетевой активности.

Аватар пользователя Goga777

Re: Собран RPM-пакет с кеширующим прокси WWWOffle v2.9!

а XTrafShow и GKrellM не аналоги, случайно ?
не хватает только ссылки для firestarter Улыбка
- вот она www.fs-security.com
(кстати, про этот брандмауэр была статья в Chip Special в осеннем спец выпуске, посвященном Линукс)

RSS-материал