Home › Comunidade Brasileira Endian Firewall › Endian Firewall › Dicas e Tutoriais › Sarg Cron Scripts – (daily, weekly, monthly)
- Este tópico contém 38 respostas, 10 vozes e foi atualizado pela última vez 10 anos, 6 meses atrás por tadaog.
-
AutorPosts
-
-
abril 21, 2010 às 6:17 pm #199Eduardo SilvaParticipante
A alguns dias atrás eu reescrevi os scripts de cron do SARG para o Endian Firewall.
Aplicando estes scripts e as instruções citadas no “readme”, todos os relatórios do SARG (daily, weekly, monthly) irão funcionar corretamente.
Os scripts encontram-se em: http://files.eduardosilva.eti.br/sargscripts.tar.gz
ps: As instruções estão em inglês, mas não tem nada de complicado.
Dúvidas, postem aqui.
[]’s
Wireguard_webadmin
Sistema gratuito (Open Source) para gestão de VPN's WireGuard com uma Web interface intuitiva e fácil de usar.
Principais funcionalidades:
- Sistema de Firewall completo e flexível.
- Encaminhamento de portas
- Suporte a multi usuário com níveis diferentes de acesso
- Múltiplas instâncias do Wireguard
- Crypto key routing para configuração de VPN site-to-site
O projeto é Open Source, fácil de instalar e está disponível em wireguard_webadmin
-
abril 22, 2010 às 9:23 pm #4229BrandeParticipante
Eduardo, acabo de implementar seu roteiro. Semana que vem reporto se ocorreu tudo bem.
Abs,
Brande.
-
abril 22, 2010 às 9:48 pm #4230Thiago SalesParticipante
Legal Eduardo. Eu havia lido que os relatórios do SARG não funconavam com o CRON. Eu testei aqui e nada, não gera os relatórios (inclusive comentei em um tópico sobre o SARG).
Vou testar e posto aqui se deu tudo OK tb.
-
abril 26, 2010 às 1:35 pm #4231BrandeParticipante
Eduardo,
Coloquei os scripts que você fez e segui o roteiro. Aparentemente está tudo ok porém vi hoje que não rodou no final de semana. Estou rodando na mão agora. O meu Endian é a versão (2.3.0).
Alguma outra dica?
Abs.
-
abril 26, 2010 às 1:40 pm #4232BrandeParticipante
Eduardo,
Coloquei os scripts que você fez e segui o roteiro. Aparentemente está tudo ok porém vi hoje que não rodou no final de semana. Estou rodando na mão agora. O meu Endian é a versão (2.3.0).
Alguma outra dica?
Abs.
-
abril 27, 2010 às 2:52 pm #4233Eduardo SilvaParticipante
Brande,
Você configurou o logrotate corretamente?
Verifique se encontra o arquivo /var/log/squid/access.log_short.20100426.gz
Lembre-se que você só terá os reports de uma semana, se os logs estiverem com o rotate configurado corretamente.
[]’s
-
maio 7, 2010 às 1:52 pm #4234Albaney BaylãoParticipante
Eu instalei o sarg, alterei os scripts, etc.
O Sarg está rodando, gerou o relatório diário mas não está aparecendo a opção daily em https://IP:10443/sarg. Eu tenho que colocar https://IP:10443/sarg/daily. É isso mesmo, ou tem algo errado?
-
maio 19, 2010 às 2:12 pm #4235Albaney BaylãoParticipante
Após alguns dias funcionando os scripts do cron pararam de executar. Alguém tem alguma idéia?
-
maio 19, 2010 às 6:33 pm #4236Eduardo SilvaParticipante
Albaney desculpe a demora em responder, mas andei bem ocupado na ultima semana.
Bem, em relação ao primeiro html do sarg, eu não tenho certeza de como gera-lo novamente. O sarg não gera ele a cada execução.
Se você quiser posso disponibilizar o meu index.html (ou podes editar o seu e corrigir o que falta).
Quanto a execução dos scripts: Acabei de verificar os meus relatórios do sarg e não faltou nenhum dia/semana/mes desde que eu implementei os scripts aqui.
Vamos tentar descobrir o que está acontecendo por partes:
1- Verifique se o seu log rotate está rotacionando os arquivos de log corretamente:
dentro de /var/log/squid/ observe se existem vários access.log_shor.2010XXXX.gz e se existe um arquivo para cada dia (pelo menos dos últimos 7 ou 30 dias (se queres o sarg.monthly)
2- Pelo que eu vi o sarg não aparece nos logs do cron, então vamos criar o nosso próprio log para verificar se os scripts estão rodando corretamente.
Edite os 3 scripts instalados e insira logo após a última linha de comentário (linhas iniciadas em #)
(Estou tendo problemas para postar a linha em bash corretamente aqui, então inseri ela no pastebin)
Aguarde o próximo dia para verificar se consta uma execução do sargdaily em /var/log/sarg.log
Quando você estiver com estas informações, avançamos.
Edit: meu index.html – http://pastebin.com/iyVNzKAr
[]’s
-
maio 19, 2010 às 7:56 pm #4237BrandeParticipante
Eduardo, desculpe. Fiquei atolado de trabalho. Vi no o que você pediu e no diretório tenho somente o access.log_short E O access.log
Abs.
-
maio 20, 2010 às 8:58 am #4238Eduardo SilvaParticipante
Brande,
O seu logrotate não está configurado corretamente.
No arquivo de readme está explicado exatamente como configurar.
Traduzindo para português:
Abra o arquivo /etc/logrotate.d/squid e localize a linha “/var/log/squid/access.log_short”
Troque os parâmetros para:
/var/log/squid/access.log_short {
copytruncate
missingok
sharedscripts
lastaction
/etc/init.d/syslog-ng reload
endscript
}
-
maio 20, 2010 às 11:59 am #4239Albaney BaylãoParticipante
O rotate está certo, eu tenho todos access.log_short compactados ok. Eu conferi, mas já sabia, pois se eu chego de manhã e mando rodar manualmente o script ele funciona.
Verifiquei o log messages e nos últimos dias aparece sempre a seguinte mensagem:
May 18 01:25:00 efwadm fcron[4505]: process already running: root’s [ -x /bin/run-parts ] && run-parts –report /etc/cron.daily
May 19 01:25:00 efwadm fcron[4505]: process already running: root’s [ -x /bin/run-parts ] && run-parts –report /etc/cron.daily
Antes aparecia
May 10 01:25:00 efwadm fcron[13197]: Job [ -x /bin/run-parts ] && run-parts –report /etc/cron.daily started for user root (pid 13198)
May 10 01:25:58 efwadm fcron[13197]: Job [ -x /bin/run-parts ] && run-parts –report /etc/cron.daily completed
-
maio 20, 2010 às 12:31 pm #4240Albaney BaylãoParticipante
Ok. Descobri. O processo blackholedns travou no cron.daily e aí o cron diário não rodava por que já estava rodando. Agora, por que este processo travou eu não faço a mínima… 🙂
-
maio 21, 2010 às 9:58 pm #4241BrandeParticipante
Eduardo,
Já estava configurado assim. Mesmo assim eu refiz e dei um boot. Amanhã, sábado, vou ver se os logs foram compactados e aviso.
Abs.
-
maio 26, 2010 às 2:00 pm #4242RicardoParticipante
Acredito que instalei os scripts corretamente como mostrado pelo nosso amigo Eduardo.
Mas aqui está ocorrendo o seguinte erro ao tentar acessar https://ip:10443/sarg/ONE-SHOT/index.html
“The requested URL /sarg/ONE-SHOT/index.html was not found on this server”
Os arquivos respectivos ao DAILY, ONE-SHOT e etc realmente nao estão sendo criados em
/home/httpd/html/sarg/ (dentro de suas pastas é claro)
será que algum problema de permissao, todas as pastas estao com 755.
-
maio 26, 2010 às 8:03 pm #4243Eduardo SilvaParticipante
rcaldas,
O “ONE-SHOT” é gerado quando você executa o sarg manualmente pela linha de comando (sem usar o daily, weekly e/ou monthly)
Experimente rodar o sarg.daily manualmente, no console digite /etc/cron.daily/sarg
Verifique também se os logs estão de acordo com o que eu falei nos comentários acima.
[]’s
-
maio 27, 2010 às 1:41 pm #4244RicardoParticipante
Obrigado pela resposta Eduardo,
Verifiquei que de ontem pra hoje surgiu uma pasta 2010May26-2010May26 dentro de “/home/httpd/html/sarg/daily”
o que demonstra que os scripts para o Cron estão funcionando bem, mas ainda nao me mostra nada quando clico em daily no index do sarge.
Quando eu executo “sarg” na linha de comando, nada é gerado dentro da pasta ONE-SHOT, so aparece isso:
SARG: Records in file: 3475, reading: 100.00%
SARG: No records found
SARG: EndQuando executo manualmente /etc/cron.daily/sarg o processo demora muito mesmo? eu esperei uns 5 minutos e o prompt nao foi liberado e cancelei com CTRL+C.
Verifiquei que foi gravado no /var/log/sarg.log a linha
sarg<daily> Thu May 27 10:19:25 BRT 2010
Ainda assim, nada aparece quando clico em daily no index do meu sarg.
-
maio 27, 2010 às 2:38 pm #4245Albaney BaylãoParticipante
Ricardo, o meu sarg.conf está como no final desta mensagem. Com esta configuração ocorre o seguinte:
a) assim como o seu ele roda o sarg toda noite corretamente (a menos que o cron dê problema, mas isso não é com o sarg)
b) em http://<IP>/sarg aparece uma página com os sargs rodados sozinhos e uma entrada ONE-SHOT que não funciona pra nada. Não há outras entradas.
c) para acessar os relatórios diários eu tenho que digitar http://<IP>/sarg/daily (ou weekly, ou monhtly, conforme o caso). Aí aparecem todos os gerados pelo cron.
language Portuguese
graphs yes
index yes
access_log /var/log/squid/access.log
access_log /var/log/squid/access.log_short
title “Relatorio de Acessos a Internet”
temporary_dir /tmp
output_dir /home/httpd/html/sarg
resolve_ip yes
topuser_sort_field BYTES reverse
/etc/sarg/exclude_users
date_format e
overwrite_report yes
records_without_userid ip
use_comma yes
topsites_num 100
topsites_sort_order BYTES D
index_sort_order A
max_elapsed 28800000
long_url no
charset Latin1
-
maio 27, 2010 às 4:13 pm #4246RicardoParticipante
valeu Albaney! acho q era o q faltava pra funcionar. Mt obrigado!
-
maio 28, 2010 às 6:28 am #4247Eduardo SilvaParticipante
Albaney/Ricardo
Removam a linha:
access_log /var/log/squid/access.log
Deixem apenas:
access_log /var/log/squid/access.log_short
[]’s
-
maio 29, 2010 às 2:16 pm #4248wendelsoaresParticipante
Bom Dia,
Apliquei os scripts do sarg seguindo a orientação do readme do Eduardo (funcionou corretamente) porém depois de uma semana os logs pararam de rodar automaticamente, só estão funcionando inicia-los manualmente, acredito que estou com o mesmo problema do albaney, no entanto não descobri ainda o que está ocorrendo com meu cron, alguém tem alguma sugestão?
ai vai o meu crontab
SHELL=/bin/bash
PATH=/sbin:/bin:/usr/sbin:/usr/bin
MAILTO=
HOME=/
#
&nolog */1 * * * * [ -x /bin/run-parts ] && run-parts –report /etc/cron.minutely
&nolog */5 * * * * [ -x /bin/run-parts ] && run-parts –report /etc/cron.cyclic
01 * * * * [ -x /bin/run-parts ] && run-parts –report /etc/cron.hourly
25 1 * * * [ -x /bin/run-parts ] && run-parts –report /etc/cron.daily
47 2 * * 0 [ -x /bin/run-parts ] && run-parts –report /etc/cron.weekly
52 3 1 * * [ -x /bin/run-parts ] && run-parts –report /etc/cron.monthly
#
@nolog 5 [ -x /bin/run-parts ] && run-parts –report /etc/anacron.cyclic
@ 1h [ -x /bin/run-parts ] && run-parts –report /etc/anacron.hourly
@ 1d [ -x /bin/run-parts ] && run-parts –report /etc/anacron.daily
@ 1w [ -x /bin/run-parts ] && run-parts –report /etc/anacron.weekly
@ 1m [ -x /bin/run-parts ] && run-parts –report /etc/anacron.monthly
# Summarize ip accounting info:
2 1 * * * /usr/sbin/ipacsum -r -H
/bin/hostname
-t “the day 2 days ago” >/dev/null3 1 * * 0 /usr/sbin/ipacsum -r -H
/bin/hostname
-t “the week 4 weeks ago” >/dev/null4 1 1 2 * /usr/sbin/ipacsum -r -H
/bin/hostname
-t “the year 2 years ago” >/dev/null -
maio 31, 2010 às 2:10 pm #4249Albaney BaylãoParticipante
Verifique em /var/log/messages se o script cron.daily está gerando alguma mensagem de erro “grep daily /var/log/messages”
No meu caso o cron estava dando erro e por isso não rodava.
-
junho 1, 2010 às 12:54 pm #4250RicardoParticipante
aqui, do jeito que estava configurado(e funcionando) no 2.3 parou de funcionar na nova versao 2.4
-
junho 1, 2010 às 7:36 pm #4251RicardoParticipante
o Sarg está funcionando na versao 2.4 de vcs?
-
junho 4, 2010 às 11:26 am #4252Eduardo SilvaParticipante
Você fez upgrade ou instalou o sarg numa máquina com a versão 2.4 do zero?
[]’s
-
junho 7, 2010 às 12:27 pm #4253RicardoParticipante
Como é bom voltar do feriadão! 😀
Eduardo,
Fiz upgrade.
-
junho 7, 2010 às 7:17 pm #4254Eduardo SilvaParticipante
Ricardo,
Desculpe apertar um pouco, mas só dizer que não está funcionando não ajuda muito a identificar o problema. Leia as outras mensagens deste tópico e repasse todas as dicas.
Se for para suspeitar de algo por puro palpite eu diria:
“Durante o update o endian zerou a configuração do logrotate e os seus logs do squid não estão mais sendo gerados como deveriam”. (ainda neste mesmo post eu explico como verificar isto).
Como eu disse anteriormente, isto é só um palpite afinal você não me deu nenhuma informação.
[]’s
-
junho 8, 2010 às 5:05 am #4255Anderson RosaParticipante
Eduardo, segue uma sugestão
Seria interessante os relatorios serem gerados todos os dias antes de 23:00, tipo 22:00.
Ja vi esse problema ocorrer desde a versão 2.2
Acrescente no cron.daily em exec 22 00 * * * root /usr/bin/sarg
no meu caso o problema foi resolvido, estou com o 2.3
-
junho 8, 2010 às 12:32 pm #4256Eduardo SilvaParticipante
Anderson,
Com os ajustes no logrotate e com os scripts que eu forneci, não tem problema do sarg ser executado antes ou depois do do logrotate.
[]’s
-
junho 8, 2010 às 2:11 pm #4257RicardoParticipante
Eduardo, meu logrotate nao está gerando os .gz apos a data 30 do mes passado :S
-
junho 8, 2010 às 3:47 pm #4258Anderson RosaParticipante
Eduardo
Seus ajustes ficaram excelentes, na realidade você já havia me falado anteriormente sobre o logrotate.
Cara me parece uma instabilidade na hora da execução do sarg. diferente desses horários.
Seria bom fazer novos testes no 2.4 para ver se resolveram os bugs relacionados a isso.
Obs.: Tenho um servidor com o 2.2 rodando os relatórios ate hoje depois que você falou dos ajustes do logrotate, ficou mais grave o problema no 2.3. só não sei te dizer por que, apenas usei seus scripts e acrescentei o horário.
-
junho 9, 2010 às 8:42 am #4259Eduardo SilvaParticipante
Ricardo e Anderson,
Tentem descobrir porquê que os seus logs não estão rotacionando corretamente. Revisem os arquivos de log e repassem principalmente as configurações necessárias do logrotate. No meu pacote de scripts tem os detalhes sobre o que precisa ser configurado.
Pelo que eu percebi, após a atualização do endian 2.3 para o 2.4, as configurações do logrotate voltam para o default.
[]’s
-
junho 9, 2010 às 2:03 pm #4260RicardoParticipante
Eduardo, refiz todo o processo de configuracao dos scripts e rodei o sarg daily manualmente. Tudo funcionou corretamente. vou esperar o final do dia pra ver se ele gera tudo sozinho. Obrigado mais uma vez.
-
junho 10, 2010 às 3:05 pm #4261RicardoParticipante
Tudo funcionando como deveria, de quebra o NTOP voltou a funcionar tb.
-
julho 15, 2010 às 2:40 pm #4262jereloganParticipante
Olá, bom dia, gostaria de saber se o arquivo access.log_short é criado automaticamente ou temos q criar manualmente ? e o arquivo sarg.log , nao consigo encontralo dentro de var/log, alguem poderia me ajudar ?
-
julho 15, 2010 às 2:48 pm #4263Eduardo SilvaParticipante
jerelogan,
O access.log_short já deve existir. De uma olhada no forum de dicas que você vai encontrar um tutorial para o sarg.
Este tópico fala sobre scripts adicionais. Não é o mesmo assunto 😛
[]’s
-
março 20, 2012 às 10:11 pm #4264Andrio ZilliParticipante
Eduardo ou a galera ai.
Cara. fiz o download do arquivo que você disponibilizou li o Readme, mas cara pode ser varada minha também. Gostaria de saber os demais arquivos vão ser colocados em alguma pasta especifica (daily, weekly, monthly) estes que vem junto.
To meio level up !!!
-
outubro 16, 2013 às 2:41 pm #15066tadaogParticipante
Eduardo, seu DNS não está resolvendo o nome files.eduardosilva.eti.br e com isso seu link http://files.eduardosilva.eti.br/sargscripts.tar.gz não está acessível.
-
outubro 16, 2013 às 2:42 pm #15067tadaogParticipante
Eduardo, seu DNS não está resolvendo o nome files.eduardosilva.eti.br e com isso seu link http://files.eduardosilva.eti.br/sargscripts.tar.gz não está acessível, pode me ajudar a puxar seus scripts?
Obrigado.
-
-
-
AutorPosts
- O tópico ‘Sarg Cron Scripts – (daily, weekly, monthly)’ está fechado para novas respostas.