Sarg Cron Scripts – (daily, weekly, monthly)

[Eduardo Silva]

A alguns dias atrás eu reescrevi os scripts de cron do SARG para o Endian Firewall.

Aplicando estes scripts e as instruções citadas no “readme”, todos os relatórios do SARG (daily, weekly, monthly) irão funcionar corretamente.

Os scripts encontram-se em: http://files.eduardosilva.eti.br/sargscripts.tar.gz

ps: As instruções estão em inglês, mas não tem nada de complicado.

Dúvidas, postem aqui.

[]’s

[Brande]

Eduardo, acabo de implementar seu roteiro. Semana que vem reporto se ocorreu tudo bem.

Abs,

Brande.

[Thiago Sales]

Legal Eduardo. Eu havia lido que os relatórios do SARG não funconavam com o CRON. Eu testei aqui e nada, não gera os relatórios (inclusive comentei em um tópico sobre o SARG).

Vou testar e posto aqui se deu tudo OK tb.

[Brande]

Eduardo,

Coloquei os scripts que você fez e segui o roteiro. Aparentemente está tudo ok porém vi hoje que não rodou no final de semana. Estou rodando na mão agora. O meu Endian é a versão (2.3.0).

Alguma outra dica?

Abs.

[Brande]

Eduardo,

Coloquei os scripts que você fez e segui o roteiro. Aparentemente está tudo ok porém vi hoje que não rodou no final de semana. Estou rodando na mão agora. O meu Endian é a versão (2.3.0).

Alguma outra dica?

Abs.

[Eduardo Silva]

Brande,

Você configurou o logrotate corretamente?

Verifique se encontra o arquivo /var/log/squid/access.log_short.20100426.gz

Lembre-se que você só terá os reports de uma semana, se os logs estiverem com o rotate configurado corretamente.

[]’s

[Albaney Baylão]

Eu instalei o sarg, alterei os scripts, etc.

O Sarg está rodando, gerou o relatório diário mas não está aparecendo a opção daily em https://IP:10443/sarg. Eu tenho que colocar https://IP:10443/sarg/daily. É isso mesmo, ou tem algo errado?

[Albaney Baylão]

Após alguns dias funcionando os scripts do cron pararam de executar. Alguém tem alguma idéia?

[Eduardo Silva]

Albaney desculpe a demora em responder, mas andei bem ocupado na ultima semana.

Bem, em relação ao primeiro html do sarg, eu não tenho certeza de como gera-lo novamente. O sarg não gera ele a cada execução.

Se você quiser posso disponibilizar o meu index.html (ou podes editar o seu e corrigir o que falta).

Quanto a execução dos scripts: Acabei de verificar os meus relatórios do sarg e não faltou nenhum dia/semana/mes desde que eu implementei os scripts aqui.

Vamos tentar descobrir o que está acontecendo por partes:

1- Verifique se o seu log rotate está rotacionando os arquivos de log corretamente:

dentro de /var/log/squid/ observe se existem vários access.log_shor.2010XXXX.gz e se existe um arquivo para cada dia (pelo menos dos últimos 7 ou 30 dias (se queres o sarg.monthly)

2- Pelo que eu vi o sarg não aparece nos logs do cron, então vamos criar o nosso próprio log para verificar se os scripts estão rodando corretamente.

Edite os 3 scripts instalados e insira logo após a última linha de comentário (linhas iniciadas em #)

(Estou tendo problemas para postar a linha em bash corretamente aqui, então inseri ela no pastebin)

http://pastebin.com/LKdtYeXP

Aguarde o próximo dia para verificar se consta uma execução do sargdaily em /var/log/sarg.log

Quando você estiver com estas informações, avançamos.

Edit: meu index.html – http://pastebin.com/iyVNzKAr

[]’s

[Brande]

Eduardo, desculpe. Fiquei atolado de trabalho. Vi no o que você pediu e no diretório tenho somente o access.log_short E O access.log

Abs.

[Eduardo Silva]

Brande,

O seu logrotate não está configurado corretamente.

No arquivo de readme está explicado exatamente como configurar.

Traduzindo para português:

Abra o arquivo /etc/logrotate.d/squid e localize a linha “/var/log/squid/access.log_short”

Troque os parâmetros para:

/var/log/squid/access.log_short {

copytruncate

missingok

sharedscripts

lastaction

/etc/init.d/syslog-ng reload

endscript

}

[Albaney Baylão]

O rotate está certo, eu tenho todos access.log_short compactados ok. Eu conferi, mas já sabia, pois se eu chego de manhã e mando rodar manualmente o script ele funciona.

Verifiquei o log messages e nos últimos dias aparece sempre a seguinte mensagem:

May 18 01:25:00 efwadm fcron[4505]: process already running: root’s [ -x /bin/run-parts ] && run-parts –report /etc/cron.daily

May 19 01:25:00 efwadm fcron[4505]: process already running: root’s [ -x /bin/run-parts ] && run-parts –report /etc/cron.daily

Antes aparecia

May 10 01:25:00 efwadm fcron[13197]: Job [ -x /bin/run-parts ] && run-parts –report /etc/cron.daily started for user root (pid 13198)

May 10 01:25:58 efwadm fcron[13197]: Job [ -x /bin/run-parts ] && run-parts –report /etc/cron.daily completed

[Albaney Baylão]

Ok. Descobri. O processo blackholedns travou no cron.daily e aí o cron diário não rodava por que já estava rodando. Agora, por que este processo travou eu não faço a mínima… 🙂

[Brande]

Eduardo,

Já estava configurado assim. Mesmo assim eu refiz e dei um boot. Amanhã, sábado, vou ver se os logs foram compactados e aviso.

Abs.

[Ricardo]

Acredito que instalei os scripts corretamente como mostrado pelo nosso amigo Eduardo.

Mas aqui está ocorrendo o seguinte erro ao tentar acessar https://ip:10443/sarg/ONE-SHOT/index.html

“The requested URL /sarg/ONE-SHOT/index.html was not found on this server”

Os arquivos respectivos ao DAILY, ONE-SHOT e etc realmente nao estão sendo criados em

/home/httpd/html/sarg/ (dentro de suas pastas é claro)

será que algum problema de permissao, todas as pastas estao com 755.

[Eduardo Silva]

rcaldas,

O “ONE-SHOT” é gerado quando você executa o sarg manualmente pela linha de comando (sem usar o daily, weekly e/ou monthly)

Experimente rodar o sarg.daily manualmente, no console digite /etc/cron.daily/sarg

Verifique também se os logs estão de acordo com o que eu falei nos comentários acima.

[]’s

[Ricardo]

Obrigado pela resposta Eduardo,

Verifiquei que de ontem pra hoje surgiu uma pasta 2010May26-2010May26 dentro de “/home/httpd/html/sarg/daily”

o que demonstra que os scripts para o Cron estão funcionando bem, mas ainda nao me mostra nada quando clico em daily no index do sarge.

Quando eu executo “sarg” na linha de comando, nada é gerado dentro da pasta ONE-SHOT, so aparece isso:

SARG: Records in file: 3475, reading: 100.00%

SARG: No records found

SARG: End

Quando executo manualmente /etc/cron.daily/sarg o processo demora muito mesmo? eu esperei uns 5 minutos e o prompt nao foi liberado e cancelei com CTRL+C.

Verifiquei que foi gravado no /var/log/sarg.log a linha

sarg<daily> Thu May 27 10:19:25 BRT 2010

Ainda assim, nada aparece quando clico em daily no index do meu sarg.

[Albaney Baylão]

Ricardo, o meu sarg.conf está como no final desta mensagem. Com esta configuração ocorre o seguinte:

a) assim como o seu ele roda o sarg toda noite corretamente (a menos que o cron dê problema, mas isso não é com o sarg)

b) em http://<IP>/sarg aparece uma página com os sargs rodados sozinhos e uma entrada ONE-SHOT que não funciona pra nada. Não há outras entradas.

c) para acessar os relatórios diários eu tenho que digitar http://<IP>/sarg/daily (ou weekly, ou monhtly, conforme o caso). Aí aparecem todos os gerados pelo cron.

language Portuguese

graphs yes

index yes

access_log /var/log/squid/access.log

access_log /var/log/squid/access.log_short

title “Relatorio de Acessos a Internet”

temporary_dir /tmp

output_dir /home/httpd/html/sarg

resolve_ip yes

topuser_sort_field BYTES reverse

/etc/sarg/exclude_users

date_format e

overwrite_report yes

records_without_userid ip

use_comma yes

topsites_num 100

topsites_sort_order BYTES D

index_sort_order A

max_elapsed 28800000

long_url no

charset Latin1

[Ricardo]

valeu Albaney! acho q era o q faltava pra funcionar. Mt obrigado!

[Eduardo Silva]

Albaney/Ricardo

Removam a linha:

access_log /var/log/squid/access.log

Deixem apenas:

access_log /var/log/squid/access.log_short

[]’s

[wendelsoares]

Bom Dia,

Apliquei os scripts do sarg seguindo a orientação do readme do Eduardo (funcionou corretamente) porém depois de uma semana os logs pararam de rodar automaticamente, só estão funcionando inicia-los manualmente, acredito que estou com o mesmo problema do albaney, no entanto não descobri ainda o que está ocorrendo com meu cron, alguém tem alguma sugestão?

ai vai o meu crontab

SHELL=/bin/bash

PATH=/sbin:/bin:/usr/sbin:/usr/bin

MAILTO=

HOME=/

#

&nolog */1 * * * * [ -x /bin/run-parts ] && run-parts –report /etc/cron.minutely

&nolog */5 * * * * [ -x /bin/run-parts ] && run-parts –report /etc/cron.cyclic

01 * * * * [ -x /bin/run-parts ] && run-parts –report /etc/cron.hourly

25 1 * * * [ -x /bin/run-parts ] && run-parts –report /etc/cron.daily

47 2 * * 0 [ -x /bin/run-parts ] && run-parts –report /etc/cron.weekly

52 3 1 * * [ -x /bin/run-parts ] && run-parts –report /etc/cron.monthly

#

@nolog 5 [ -x /bin/run-parts ] && run-parts –report /etc/anacron.cyclic

@ 1h [ -x /bin/run-parts ] && run-parts –report /etc/anacron.hourly

@ 1d [ -x /bin/run-parts ] && run-parts –report /etc/anacron.daily

@ 1w [ -x /bin/run-parts ] && run-parts –report /etc/anacron.weekly

@ 1m [ -x /bin/run-parts ] && run-parts –report /etc/anacron.monthly

# Summarize ip accounting info:

2 1 * * * /usr/sbin/ipacsum -r -H /bin/hostname -t “the day 2 days ago” >/dev/null

3 1 * * 0 /usr/sbin/ipacsum -r -H /bin/hostname -t “the week 4 weeks ago” >/dev/null

4 1 1 2 * /usr/sbin/ipacsum -r -H /bin/hostname -t “the year 2 years ago” >/dev/null

[Albaney Baylão]

Verifique em /var/log/messages se o script cron.daily está gerando alguma mensagem de erro “grep daily /var/log/messages”

No meu caso o cron estava dando erro e por isso não rodava.

[Ricardo]

aqui, do jeito que estava configurado(e funcionando) no 2.3 parou de funcionar na nova versao 2.4

[Ricardo]

o Sarg está funcionando na versao 2.4 de vcs?

[Eduardo Silva]

Você fez upgrade ou instalou o sarg numa máquina com a versão 2.4 do zero?

[]’s

[Ricardo]

Como é bom voltar do feriadão! 😀

Eduardo,

Fiz upgrade.

[Eduardo Silva]

Ricardo,

Desculpe apertar um pouco, mas só dizer que não está funcionando não ajuda muito a identificar o problema. Leia as outras mensagens deste tópico e repasse todas as dicas.

Se for para suspeitar de algo por puro palpite eu diria:

“Durante o update o endian zerou a configuração do logrotate e os seus logs do squid não estão mais sendo gerados como deveriam”. (ainda neste mesmo post eu explico como verificar isto).

Como eu disse anteriormente, isto é só um palpite afinal você não me deu nenhuma informação.

[]’s

[Anderson Rosa]

Eduardo, segue uma sugestão

Seria interessante os relatorios serem gerados todos os dias antes de 23:00, tipo 22:00.

Ja vi esse problema ocorrer desde a versão 2.2

Acrescente no cron.daily em exec 22 00 * * * root /usr/bin/sarg

no meu caso o problema foi resolvido, estou com o 2.3

[Eduardo Silva]

Anderson,

Com os ajustes no logrotate e com os scripts que eu forneci, não tem problema do sarg ser executado antes ou depois do do logrotate.

[]’s

[Ricardo]

Eduardo, meu logrotate nao está gerando os .gz apos a data 30 do mes passado :S

[Anderson Rosa]

Eduardo

Seus ajustes ficaram excelentes, na realidade você já havia me falado anteriormente sobre o logrotate.

Cara me parece uma instabilidade na hora da execução do sarg. diferente desses horários.

Seria bom fazer novos testes no 2.4 para ver se resolveram os bugs relacionados a isso.

Obs.: Tenho um servidor com o 2.2 rodando os relatórios ate hoje depois que você falou dos ajustes do logrotate, ficou mais grave o problema no 2.3. só não sei te dizer por que, apenas usei seus scripts e acrescentei o horário.

[Eduardo Silva]

Ricardo e Anderson,

Tentem descobrir porquê que os seus logs não estão rotacionando corretamente. Revisem os arquivos de log e repassem principalmente as configurações necessárias do logrotate. No meu pacote de scripts tem os detalhes sobre o que precisa ser configurado.

Pelo que eu percebi, após a atualização do endian 2.3 para o 2.4, as configurações do logrotate voltam para o default.

[]’s

[Ricardo]

Eduardo, refiz todo o processo de configuracao dos scripts e rodei o sarg daily manualmente. Tudo funcionou corretamente. vou esperar o final do dia pra ver se ele gera tudo sozinho. Obrigado mais uma vez.

[Ricardo]

Tudo funcionando como deveria, de quebra o NTOP voltou a funcionar tb.

[jerelogan]

Olá, bom dia, gostaria de saber se o arquivo access.log_short é criado automaticamente ou temos q criar manualmente ? e o arquivo sarg.log , nao consigo encontralo dentro de var/log, alguem poderia me ajudar ?

[Eduardo Silva]

jerelogan,

O access.log_short já deve existir. De uma olhada no forum de dicas que você vai encontrar um tutorial para o sarg.

Este tópico fala sobre scripts adicionais. Não é o mesmo assunto 😛

[]’s

[Andrio Zilli]

Eduardo ou a galera ai.

Cara. fiz o download do arquivo que você disponibilizou li o Readme, mas cara pode ser varada minha também. Gostaria de saber os demais arquivos vão ser colocados em alguma pasta especifica (daily, weekly, monthly) estes que vem junto.

To meio level up !!!

[tadaog]

Eduardo, seu DNS não está resolvendo o nome files.eduardosilva.eti.br e com isso seu link http://files.eduardosilva.eti.br/sargscripts.tar.gz não está acessível.

[tadaog]

Eduardo, seu DNS não está resolvendo o nome files.eduardosilva.eti.br e com isso seu link http://files.eduardosilva.eti.br/sargscripts.tar.gz não está acessível, pode me ajudar a puxar seus scripts?

Obrigado.

[Autor]

Posts