Кто чем логи сайта анализирует ?

[Diversant]

Сообщение от Had

Diversant, зачем Вы анализируете логи сайта?

Есть определенная задача

[XPraptor]

Diversant, какие скрипты-то? Кому-то надо гугло картиночника искать, кому-то просто гул бота, кому-то яшу, кому-то еще кого - просто любая регулярка того, что надо искать.
Мне вот надо искать гул бота в опреределнной дате, больше ничего.

[Diversant]

Сообщение от XPraptor

Diversant, какие скрипты-то? Кому-то надо гугло картиночника искать, кому-то просто гул бота, кому-то яшу, кому-то еще кого - просто любая регулярка того, что надо искать.
Мне вот надо искать гул бота в опреределнной дате, больше ничего.

Скликивают директ - надо понять общности этих скликов, ни метрика не ga не видят

[Sitealert]

Сообщение от Diversant

так я и спрашиваю, есть готовые скрипты, чтобы велосипед то не пилить ?

Там велосипед-то из нескольких строк. Просто читаешь файл кусками заданной длины.

[Diversant]

Сообщение от Sitealert

Там велосипед-то из нескольких строк. Просто читаешь файл кусками заданной длины.

Это я уже нагуглил, но блин большие файлы уходят в лимит памяти и пхп дает ошибку лимит -1 даже делал. Да я нуб в этом вопросе

[Sitealert]

Сообщение от Diversant

большие файлы уходят в лимит памяти

Это если их сразу целиком в строку загонять. А надо открывать для чтения и читать кусками.

[Diversant]

Сообщение от Sitealert

Это если их сразу целиком в строку загонять. А надо открывать для чтения и читать кусками.

вот я не программист, и прошу скрипт какой то или кучу скриптов. Какой нашел там уходит в лимит

[Sitealert]

Вот, накидал, но на гигабайтах не проверял.
Впиши свой путь к файлу лога и кинь этот скрипт в какую-то папку; в эту папку будут писаться фрагменты лога размером $f (сколько задашь в байтах)

<?php
$file = '/var/logs/access_log'; //путь к файлу лога
$i = 0;
$c = 0;
$q = 4096; //строка, читаемая за 1 заход
$f = 10000000;//размер в байтах файлов, получаемых на выходе
$handle = fopen($file, 'r');
if($handle){
  while(($part = fgets($handle, $q)) !== false){
      $log = './log_'.$i; //Очередной файл, получаемый на выходе
      if(file_exists($log)){
        clearstatcache();
        $c = filesize($log);
      }
      if($c > $f){ 
        $c = 0;
        $i++;
      }
      file_put_contents($log, $part, FILE_APPEND);
  }
  fclose($handle);
  echo 'Done';
}
else echo 'Error';

[vastmanager]

Сообщение от Diversant

вот я не программист, и прошу скрипт какой то или кучу скриптов. Какой нашел там уходит в лимит

Для анализа логов лучше использовать системные команды. Все работает с файлами любого объема.

Например чтобы найти в куче логов вхождения с юзерагентом Googlebot
задаем условие поиска:
find . -name \*.log | xargs grep -H 'Googlebot' /bin > Googlebot.txt

Запишет все строчки с вхождением Googlebot в файл Googlebot.txt

То же самое с командой смены директории и с записью результата в отдельную папку mydir:
cd /var/log/;find . -name \*.* | xargs grep -H 'Googlebot' /bin > /mydir/Googlebot.txt

Тут поиск идет по всем файлам уже в /var/log/
Результат запишется в папку /mydir/Googlebot.txt что удобнее.

[Sitealert]

Слегка усовершенствовал код, сократил число операций (на больших файлах лишние операции тянут время):

<?php
$file = '/home/users/1/1hozteh97/logs/mysql-slow.log'; //путь к файлу лога
$i = 0;
$n = 1;
$c = 0;
$q = 4096; //строка, читаемая за 1 заход
$f = 10000000;//размер в байтах файлов, получаемых на выходе
$s = 10000; //Через сколько строк проверять размер файла
$handle = fopen($file, 'r');
if($handle){
  while(($part = fgets($handle, $q)) !== false){
      if($n > $s && file_exists($log)){
        $n = 1;
        clearstatcache();
        $c = filesize($log);
        if($c > $f){
          $c = 0;
          $i++;
        }
      }
      $log = './log_'.$i; //Очередной файл, получаемый на выходе
      file_put_contents($log, $part, FILE_APPEND);
      $n++;
  }
  fclose($handle);
  echo 'Done';
}
else echo 'Error';