Sarg Cron Scripts – (daily, weekly, monthly)

Home Comunidade Brasileira Endian Firewall Endian Firewall Dicas e Tutoriais Sarg Cron Scripts – (daily, weekly, monthly)

Marcado: , , , ,

Visualizando 37 respostas da discussão
  • Autor
    Posts
    • #199
      Eduardo Silva
      Participante

      A alguns dias atrás eu reescrevi os scripts de cron do SARG para o Endian Firewall.

      Aplicando estes scripts e as instruções citadas no “readme”, todos os relatórios do SARG (daily, weekly, monthly) irão funcionar corretamente.

      Os scripts encontram-se em: http://files.eduardosilva.eti.br/sargscripts.tar.gz

      ps: As instruções estão em inglês, mas não tem nada de complicado.

      Dúvidas, postem aqui.

      []’s

    • #4229
      Brande
      Participante

      Eduardo, acabo de implementar seu roteiro. Semana que vem reporto se ocorreu tudo bem.

      Abs,

      Brande.

    • #4230
      Thiago Sales
      Participante

      Legal Eduardo. Eu havia lido que os relatórios do SARG não funconavam com o CRON. Eu testei aqui e nada, não gera os relatórios (inclusive comentei em um tópico sobre o SARG).

      Vou testar e posto aqui se deu tudo OK tb.

    • #4231
      Brande
      Participante

      Eduardo,

      Coloquei os scripts que você fez e segui o roteiro. Aparentemente está tudo ok porém vi hoje que não rodou no final de semana. Estou rodando na mão agora. O meu Endian é a versão (2.3.0).

      Alguma outra dica?

      Abs.

    • #4232
      Brande
      Participante

      Eduardo,

      Coloquei os scripts que você fez e segui o roteiro. Aparentemente está tudo ok porém vi hoje que não rodou no final de semana. Estou rodando na mão agora. O meu Endian é a versão (2.3.0).

      Alguma outra dica?

      Abs.

    • #4233
      Eduardo Silva
      Participante

      Brande,

      Você configurou o logrotate corretamente?

      Verifique se encontra o arquivo /var/log/squid/access.log_short.20100426.gz

      Lembre-se que você só terá os reports de uma semana, se os logs estiverem com o rotate configurado corretamente.

      []’s

    • #4234
      Albaney Baylão
      Participante

      Eu instalei o sarg, alterei os scripts, etc.

      O Sarg está rodando, gerou o relatório diário mas não está aparecendo a opção daily em https://IP:10443/sarg. Eu tenho que colocar https://IP:10443/sarg/daily. É isso mesmo, ou tem algo errado?

    • #4235
      Albaney Baylão
      Participante

      Após alguns dias funcionando os scripts do cron pararam de executar. Alguém tem alguma idéia?

    • #4236
      Eduardo Silva
      Participante

      Albaney desculpe a demora em responder, mas andei bem ocupado na ultima semana.

      Bem, em relação ao primeiro html do sarg, eu não tenho certeza de como gera-lo novamente. O sarg não gera ele a cada execução.

      Se você quiser posso disponibilizar o meu index.html (ou podes editar o seu e corrigir o que falta).

      Quanto a execução dos scripts: Acabei de verificar os meus relatórios do sarg e não faltou nenhum dia/semana/mes desde que eu implementei os scripts aqui.

      Vamos tentar descobrir o que está acontecendo por partes:

      1- Verifique se o seu log rotate está rotacionando os arquivos de log corretamente:

      dentro de /var/log/squid/ observe se existem vários access.log_shor.2010XXXX.gz e se existe um arquivo para cada dia (pelo menos dos últimos 7 ou 30 dias (se queres o sarg.monthly)

      2- Pelo que eu vi o sarg não aparece nos logs do cron, então vamos criar o nosso próprio log para verificar se os scripts estão rodando corretamente.

      Edite os 3 scripts instalados e insira logo após a última linha de comentário (linhas iniciadas em #)

      (Estou tendo problemas para postar a linha em bash corretamente aqui, então inseri ela no pastebin)

      http://pastebin.com/LKdtYeXP

      Aguarde o próximo dia para verificar se consta uma execução do sargdaily em /var/log/sarg.log

      Quando você estiver com estas informações, avançamos.

      Edit: meu index.html – http://pastebin.com/iyVNzKAr

      []’s

    • #4237
      Brande
      Participante

      Eduardo, desculpe. Fiquei atolado de trabalho. Vi no o que você pediu e no diretório tenho somente o access.log_short E O access.log

      Abs.

    • #4238
      Eduardo Silva
      Participante

      Brande,

      O seu logrotate não está configurado corretamente.

      No arquivo de readme está explicado exatamente como configurar.

      Traduzindo para português:

      Abra o arquivo /etc/logrotate.d/squid e localize a linha “/var/log/squid/access.log_short”

      Troque os parâmetros para:

      /var/log/squid/access.log_short {

      copytruncate

      missingok

      sharedscripts

      lastaction

      /etc/init.d/syslog-ng reload

      endscript

      }

    • #4239
      Albaney Baylão
      Participante

      O rotate está certo, eu tenho todos access.log_short compactados ok. Eu conferi, mas já sabia, pois se eu chego de manhã e mando rodar manualmente o script ele funciona.

      Verifiquei o log messages e nos últimos dias aparece sempre a seguinte mensagem:

      May 18 01:25:00 efwadm fcron[4505]: process already running: root’s [ -x /bin/run-parts ] && run-parts –report /etc/cron.daily

      May 19 01:25:00 efwadm fcron[4505]: process already running: root’s [ -x /bin/run-parts ] && run-parts –report /etc/cron.daily

      Antes aparecia

      May 10 01:25:00 efwadm fcron[13197]: Job [ -x /bin/run-parts ] && run-parts –report /etc/cron.daily started for user root (pid 13198)

      May 10 01:25:58 efwadm fcron[13197]: Job [ -x /bin/run-parts ] && run-parts –report /etc/cron.daily completed

    • #4240
      Albaney Baylão
      Participante

      Ok. Descobri. O processo blackholedns travou no cron.daily e aí o cron diário não rodava por que já estava rodando. Agora, por que este processo travou eu não faço a mínima… 🙂

    • #4241
      Brande
      Participante

      Eduardo,

      Já estava configurado assim. Mesmo assim eu refiz e dei um boot. Amanhã, sábado, vou ver se os logs foram compactados e aviso.

      Abs.

    • #4242
      Ricardo
      Participante

      Acredito que instalei os scripts corretamente como mostrado pelo nosso amigo Eduardo.

      Mas aqui está ocorrendo o seguinte erro ao tentar acessar https://ip:10443/sarg/ONE-SHOT/index.html

      “The requested URL /sarg/ONE-SHOT/index.html was not found on this server”

      Os arquivos respectivos ao DAILY, ONE-SHOT e etc realmente nao estão sendo criados em

      /home/httpd/html/sarg/ (dentro de suas pastas é claro)

      será que algum problema de permissao, todas as pastas estao com 755.

    • #4243
      Eduardo Silva
      Participante

      rcaldas,

      O “ONE-SHOT” é gerado quando você executa o sarg manualmente pela linha de comando (sem usar o daily, weekly e/ou monthly)

      Experimente rodar o sarg.daily manualmente, no console digite /etc/cron.daily/sarg

      Verifique também se os logs estão de acordo com o que eu falei nos comentários acima.

      []’s

    • #4244
      Ricardo
      Participante

      Obrigado pela resposta Eduardo,

      Verifiquei que de ontem pra hoje surgiu uma pasta 2010May26-2010May26 dentro de “/home/httpd/html/sarg/daily”

      o que demonstra que os scripts para o Cron estão funcionando bem, mas ainda nao me mostra nada quando clico em daily no index do sarge.

      Quando eu executo “sarg” na linha de comando, nada é gerado dentro da pasta ONE-SHOT, so aparece isso:

      SARG: Records in file: 3475, reading: 100.00%
      SARG: No records found
      SARG: End

      Quando executo manualmente /etc/cron.daily/sarg o processo demora muito mesmo? eu esperei uns 5 minutos e o prompt nao foi liberado e cancelei com CTRL+C.

      Verifiquei que foi gravado no /var/log/sarg.log a linha

      sarg<daily> Thu May 27 10:19:25 BRT 2010

      Ainda assim, nada aparece quando clico em daily no index do meu sarg.

    • #4245
      Albaney Baylão
      Participante

      Ricardo, o meu sarg.conf está como no final desta mensagem. Com esta configuração ocorre o seguinte:

      a) assim como o seu ele roda o sarg toda noite corretamente (a menos que o cron dê problema, mas isso não é com o sarg)

      b) em http://<IP>/sarg aparece uma página com os sargs rodados sozinhos e uma entrada ONE-SHOT que não funciona pra nada. Não há outras entradas.

      c) para acessar os relatórios diários eu tenho que digitar http://<IP>/sarg/daily (ou weekly, ou monhtly, conforme o caso). Aí aparecem todos os gerados pelo cron.

      language Portuguese

      graphs yes

      index yes

      access_log /var/log/squid/access.log

      access_log /var/log/squid/access.log_short

      title “Relatorio de Acessos a Internet”

      temporary_dir /tmp

      output_dir /home/httpd/html/sarg

      resolve_ip yes

      topuser_sort_field BYTES reverse

      /etc/sarg/exclude_users

      date_format e

      overwrite_report yes

      records_without_userid ip

      use_comma yes

      topsites_num 100

      topsites_sort_order BYTES D

      index_sort_order A

      max_elapsed 28800000

      long_url no

      charset Latin1

    • #4246
      Ricardo
      Participante

      valeu Albaney! acho q era o q faltava pra funcionar. Mt obrigado!

    • #4247
      Eduardo Silva
      Participante

      Albaney/Ricardo

      Removam a linha:

      access_log /var/log/squid/access.log

      Deixem apenas:

      access_log /var/log/squid/access.log_short

      []’s

    • #4248
      wendelsoares
      Participante

      Bom Dia,

      Apliquei os scripts do sarg seguindo a orientação do readme do Eduardo (funcionou corretamente) porém depois de uma semana os logs pararam de rodar automaticamente, só estão funcionando inicia-los manualmente, acredito que estou com o mesmo problema do albaney, no entanto não descobri ainda o que está ocorrendo com meu cron, alguém tem alguma sugestão?

      ai vai o meu crontab

      SHELL=/bin/bash

      PATH=/sbin:/bin:/usr/sbin:/usr/bin

      MAILTO=

      HOME=/

      #

      &nolog */1 * * * * [ -x /bin/run-parts ] && run-parts –report /etc/cron.minutely

      &nolog */5 * * * * [ -x /bin/run-parts ] && run-parts –report /etc/cron.cyclic

      01 * * * * [ -x /bin/run-parts ] && run-parts –report /etc/cron.hourly

      25 1 * * * [ -x /bin/run-parts ] && run-parts –report /etc/cron.daily

      47 2 * * 0 [ -x /bin/run-parts ] && run-parts –report /etc/cron.weekly

      52 3 1 * * [ -x /bin/run-parts ] && run-parts –report /etc/cron.monthly

      #

      @nolog 5 [ -x /bin/run-parts ] && run-parts –report /etc/anacron.cyclic

      @ 1h [ -x /bin/run-parts ] && run-parts –report /etc/anacron.hourly

      @ 1d [ -x /bin/run-parts ] && run-parts –report /etc/anacron.daily

      @ 1w [ -x /bin/run-parts ] && run-parts –report /etc/anacron.weekly

      @ 1m [ -x /bin/run-parts ] && run-parts –report /etc/anacron.monthly

      # Summarize ip accounting info:

      2 1 * * * /usr/sbin/ipacsum -r -H /bin/hostname -t “the day 2 days ago” >/dev/null

      3 1 * * 0 /usr/sbin/ipacsum -r -H /bin/hostname -t “the week 4 weeks ago” >/dev/null

      4 1 1 2 * /usr/sbin/ipacsum -r -H /bin/hostname -t “the year 2 years ago” >/dev/null

    • #4249
      Albaney Baylão
      Participante

      Verifique em /var/log/messages se o script cron.daily está gerando alguma mensagem de erro “grep daily /var/log/messages”

      No meu caso o cron estava dando erro e por isso não rodava.

    • #4250
      Ricardo
      Participante

      aqui, do jeito que estava configurado(e funcionando) no 2.3 parou de funcionar na nova versao 2.4

    • #4251
      Ricardo
      Participante

      o Sarg está funcionando na versao 2.4 de vcs?

    • #4252
      Eduardo Silva
      Participante

      Você fez upgrade ou instalou o sarg numa máquina com a versão 2.4 do zero?

      []’s

    • #4253
      Ricardo
      Participante

      Como é bom voltar do feriadão! 😀

      Eduardo,

      Fiz upgrade.

    • #4254
      Eduardo Silva
      Participante

      Ricardo,

      Desculpe apertar um pouco, mas só dizer que não está funcionando não ajuda muito a identificar o problema. Leia as outras mensagens deste tópico e repasse todas as dicas.

      Se for para suspeitar de algo por puro palpite eu diria:

      “Durante o update o endian zerou a configuração do logrotate e os seus logs do squid não estão mais sendo gerados como deveriam”. (ainda neste mesmo post eu explico como verificar isto).

      Como eu disse anteriormente, isto é só um palpite afinal você não me deu nenhuma informação.

      []’s

    • #4255
      Anderson Rosa
      Participante

      Eduardo, segue uma sugestão

      Seria interessante os relatorios serem gerados todos os dias antes de 23:00, tipo 22:00.

      Ja vi esse problema ocorrer desde a versão 2.2

      Acrescente no cron.daily em exec 22 00 * * * root /usr/bin/sarg

      no meu caso o problema foi resolvido, estou com o 2.3

    • #4256
      Eduardo Silva
      Participante

      Anderson,

      Com os ajustes no logrotate e com os scripts que eu forneci, não tem problema do sarg ser executado antes ou depois do do logrotate.

      []’s

    • #4257
      Ricardo
      Participante

      Eduardo, meu logrotate nao está gerando os .gz apos a data 30 do mes passado :S

    • #4258
      Anderson Rosa
      Participante

      Eduardo

      Seus ajustes ficaram excelentes, na realidade você já havia me falado anteriormente sobre o logrotate.

      Cara me parece uma instabilidade na hora da execução do sarg. diferente desses horários.

      Seria bom fazer novos testes no 2.4 para ver se resolveram os bugs relacionados a isso.

      Obs.: Tenho um servidor com o 2.2 rodando os relatórios ate hoje depois que você falou dos ajustes do logrotate, ficou mais grave o problema no 2.3. só não sei te dizer por que, apenas usei seus scripts e acrescentei o horário.

    • #4259
      Eduardo Silva
      Participante

      Ricardo e Anderson,

      Tentem descobrir porquê que os seus logs não estão rotacionando corretamente. Revisem os arquivos de log e repassem principalmente as configurações necessárias do logrotate. No meu pacote de scripts tem os detalhes sobre o que precisa ser configurado.

      Pelo que eu percebi, após a atualização do endian 2.3 para o 2.4, as configurações do logrotate voltam para o default.

      []’s

    • #4260
      Ricardo
      Participante

      Eduardo, refiz todo o processo de configuracao dos scripts e rodei o sarg daily manualmente. Tudo funcionou corretamente. vou esperar o final do dia pra ver se ele gera tudo sozinho. Obrigado mais uma vez.

    • #4261
      Ricardo
      Participante

      Tudo funcionando como deveria, de quebra o NTOP voltou a funcionar tb.

    • #4262
      jerelogan
      Participante

      Olá, bom dia, gostaria de saber se o arquivo access.log_short é criado automaticamente ou temos q criar manualmente ? e o arquivo sarg.log , nao consigo encontralo dentro de var/log, alguem poderia me ajudar ?

    • #4263
      Eduardo Silva
      Participante

      jerelogan,

      O access.log_short já deve existir. De uma olhada no forum de dicas que você vai encontrar um tutorial para o sarg.

      Este tópico fala sobre scripts adicionais. Não é o mesmo assunto 😛

      []’s

    • #4264
      Andrio Zilli
      Participante

      Eduardo ou a galera ai.

      Cara. fiz o download do arquivo que você disponibilizou li o Readme, mas cara pode ser varada minha também. Gostaria de saber os demais arquivos vão ser colocados em alguma pasta especifica (daily, weekly, monthly) estes que vem junto.

      To meio level up !!!

    • #15066
      tadaog
      Participante

      Eduardo, seu DNS não está resolvendo o nome files.eduardosilva.eti.br e com isso seu link http://files.eduardosilva.eti.br/sargscripts.tar.gz não está acessível.

Visualizando 37 respostas da discussão
  • O tópico ‘Sarg Cron Scripts – (daily, weekly, monthly)’ está fechado para novas respostas.