"Тупая" железяка

[HappySoftX]

Сообщение от vastmanager

Для знатоков вопрос. Есть более простая задача. Без регулярок даже.
Имеется текстовый файл 9,5 Гб. объемом. В файле 360 млн. строк.
Это база запросов в Гугл на англ. языке за несколько лет.
Задача: Быстро сделать выборку из файла примерно по 100 тыс. вхождений.
В основном это однословные вхождения (ключи).
Вбиваем для выборки viagra к примеру, а оно нам выдает: buy viagra, online viagra и т.д. -
все ключи с вхождением этого слова.

При небольшом количестве запросов все реально сделать на домашнем компе при помощи
KeyWordKeeper - эта программа сеошникам хорошо известна. Также хорошо работает Penguin Keywords Tools,
но не на много быстрее.

Но нужно, чтобы выборка прошла по 100 тыс. однословных ключей.
Пока лучший результат получен при помощи системной утилиты grep на линуксовой машине 8 CPU 16 Гб. Ram
на процессоре Райзен. При загрузке процессора на 67% все заняло около суток.

Мне тут посоветовали оба файла загрузить в БД SqlLite3 и делать выборку уже в базе.
Даже скрипт на python прислали. Вроде так быстрее, хотя я не уверен. Пока предложенный код в базу не грузит ничего.
Хотя код запускается норм.
Вопрос такой - реально ли через БД быстрее будет? Или это враки. Разработчик уверял, что скорость выборки до 20-ти млн.
ключей в секунду. И если ТЗ грамотно составить, что может предложить ИИ по этому вопросу?

Покажи несколько строчек из файла

[vastmanager]

Сообщение от HappySoftX

Покажи несколько строчек из файла

Тут выборка уже сделана по теме казино.
По ключу на строку:

Online casino
Casinos online
Slots
Best online casino
Casino
Online slots
Mobile casino
Blackjack online
Slot machine
Online casino canada
Online roulette
Slot machines
Slot games
Slot sites
Canada casino
Casinos
Play slots
New casino
Best online casinos
New slot
Slots games
Slots casino
Game slot
Best online slot sites
New slots sites
Money slots
Club casino
Casino real money games

Сам файл из которого нужно выборку сделать - 9,5 Гб. объёмом.

[HappySoftX]

Я про несколько строчек из файла 9.5 гб

[vastmanager]

Сообщение от HappySoftX

Я про несколько строчек из файла 9.5 гб

Там все тоже самое, только по разным темам. По ключевой фразе на строку.
И без заглавных букв.

[HappySoftX]

Сообщение от vastmanager

Там все тоже самое, только по разным темам. По ключевой фразе на строку.
И без заглавных букв.

То есть тебе надо вытащить строки в которых есть вхождение определенного одного слова и сохранить эти строки в файл?

Или тебе надо вытащить строки в которых есть вхождение любого слова из заданного списка?

[vastmanager]

Сообщение от HappySoftX

То есть тебе надо вытащить строки в которых есть вхождение определенного одного слова и сохранить эти строки в файл?

Или тебе надо вытащить строки в которых есть вхождение любого слова из заданного списка?

Надо вытащить строки в которых есть вхождение любого слова из заданного списка. Причем в заданном списке порядка 100-120 тыс. слов.

Вот так с grep работает:
grep slovo allkey.txt >> rez.csv;
grep slovo2 allkey.txt >> rez.csv;

grep -f pat.txt allkey.txt >> rez.csv
В pat.txt список искомых слов.
Но при 100 тыс. слов для поиска все занимает сутки.
Нужно быстрее.

[HappySoftX]

grep slovo allkey.txt >> rez.csv

поиск одного слова сколько по времени занимает?

[vastmanager]

Сообщение от HappySoftX

grep slovo allkey.txt >> rez.csv

поиск одного слова сколько по времени занимает?

На хорошей машине менее 1 сек. Я пачками по 10-20 слов делал, тоже быстро.
И еще на уник. походу сортировал. Несколько секунд все занимало.
Теперь по 100 тыс. слов надо. На уник. не нужна уже сортировка.

За сутки в один поток если, 20 тыс. слов обработать может. Я в пять потоков запускаю.
Собственно вопрос - стоит ли в базу загружать список и искать уже в базе. Будет ли это быстрее?

[burunduk]

Сообщение от HappySoftX

. Ты так уверено говорил про регулярки, что я аж засомневался. Самому стало интересно, может там нанотехнологии и работают они на другом уровне. Но нет, чуда не произошло 18 секунд.

а откуда оно возникнет если ты даже регулярку некорректно записал?
сравни

Сообщение от HappySoftX

(^|\\s)((8|\\+7)[\\- ]?)?(\\(?\\d{3}\\)?[\\- ]?)?[\\d\\- ]{10}(\\s|$)

и

PHP код:

(^|\s)((8|\+7)[\- ]?)?(\(?\d{3}\)?[\- ]?)?[\d\- ]{10}(\s|$) 


более того ты опять применяешь регулярку построчно, попробуй работать сразу со столбцом что то типа SELECT regexp_count
или
Splitter.SplitTextByCharacterTransition({"0".."9"} , (c) => not List.Contains({"0".."9"}, c))

P.S. попробовал твой код, он дольше отрабатывает чем просто подсчёт цифр в строке

[burunduk]

Сообщение от vastmanager

Собственно вопрос - стоит ли в базу загружать список и искать уже в базе. Будет ли это быстрее?

будет быстрее только если поле с текстом индексируемое (не во всех базах возможно тип поля длинный текст сделать индексируемым)

если задача по выгрузке ключей постоянная то можно даже в excel реализовать, основные тормоза это загрузить всё в модель данных и при новом открытии файлов загрузка модели данных
следующий тормоз это выгрузка результата на лист (и здесь будет ограничение 1млн записей)
сохранение результата в файл достаточно быстро

именно по причине необходимости множественной выгрузки проще сразу с бд работать