"Тупая" железяка

[HappySoftX]

Сообщение от burunduk

мне не надо его находить, мне необходимо понять есть тут телефон (контактные данные) или нет
и про 100к строк на строку выше есть упоминание

Справедливости ради, давай вместе прочитаем внимательно.

Сообщение от burunduk

ну или совсем простая задача
необходимо проверить наличие номера телефона, в любом формате написания в текстовой строке

Сообщение от burunduk

ты просто не в курсе что такое регулярки

А ну да конечно. Еще домыслы будут?

Сообщение от burunduk

с точностью наоборот

Поразительно. С такой логикой прочитать книгу Война и мир будет быстрее чем этот пост. Ты реально не понимаешь, что чем больше операций тем больше времени?

Сообщение от burunduk

есть инструменты, тот же PQ

могу даже облегчить тебе задачу

PHP код:

(^|\s)((8|\+7)[\- ]?)?(\(?\d{3}\)?[\- ]?)?[\d\- ]{10}(\s|$) 


подумай как можно преобразовать что бы сразу получать результат

P.S. и ещё для того что бы получить количество цифр с помощью регулярки совсем не обязательно перебирать символы, можно использовать готовые функции, например, в том же SQL REGEXP_COUNT

ппц а готовые функции они блин моментально из хрустального шара получают телефоны. еще и таблицы приплел.

И да твоя регулярка выше 100% работать по условию задачи не будет.

[burunduk]

Сообщение от HappySoftX

Справедливости ради, давай вместе прочитаем внимательно

там где-то написано что мне надо его извлечь?
мне необходим ответ да/нет

Сообщение от HappySoftX

Ты реально не понимаешь, что чем больше операций тем больше времени?

это ты реально не понимаешь что операции имеют разную длительность и 20 операций могут быть быстрее 1, а теперь прикинь свою 1 операцию которая в 70% случаев вообще будет ненужна

Сообщение от HappySoftX

а готовые функции они блин моментально из хрустального шара получают телефоны

а готовые функции они немного на другом уровне работают

вот ради интереса возьми и посчитай количество строк в таблице стандартной функцией и с помощью счётчика

Сообщение от HappySoftX

И да твоя регулярка выше 100% работать по условию задачи не будет.

её надо немного исправить, в данном виде она будет корректно отрабатывать в 90% случаев при условии что группы цифр начинаются с пробельного символа (это как раз достаточно легко исправить), но есть ещё один момент - необходимо разбить на более мелкие маски поиска по 1-3 цифры и использовать просмотр вперёд

[HappySoftX]

Сообщение от burunduk

а готовые функции они немного на другом уровне работают

ага останавливают время, бегают в параллельную вселенную за результатом. Твои готовые функции универсальны. Библиотека для регулярок это десятки других библиотек и тысячи строк кода.

Достал короче ты меня, пришлось тест запускать.

Для теста было дано 105 тыс. строк, 7.5 млн символов

Рабочий код выше, который уделает любое регулярное выражение, с посимвольным прогоном занял 506 мс.

Просто прогон по строкам регуляркой от бурундука, которая нифига не работает занял 18 сек 706 мс. Допиливание до работоспособного состояния еще увеличит время.

burunduk, будешь дальше с фактами спорить и фантазировать?

Еще раз может пропустил 0.5 и 18.7 секунд.

[ziliboba0213]

Драка будет?

[Reborn S.E.]

Сообщение от ziliboba0213

Драка будет?

нет, не будет: какая драка, когда они уже линейки достали?

[ziliboba0213]

Сообщение от Reborn S.E.

нет, не будет: какая драка, когда они уже линейки достали?

Скучно

[Reborn S.E.]

Сообщение от ziliboba0213

Скучно

линейку одолжить? ))

[burunduk]

Сообщение от HappySoftX

Просто прогон по строкам регуляркой от бурундука, которая нифига не работает занял 18 сек 706 мс.

что-то ты наговнокодил, присер будет позже сейчас времени нет

[HappySoftX]

Сообщение от burunduk

что-то ты наговнокодил, присер будет позже сейчас времени нет

Ага код виноват, да гранаты у меня не той системы Думаешь здесь есть что то лишнее, из за чего такие плачевные результаты?

  
std::smatch result;
int i, cnt = strl.size();
std::regex phone_regex("(^|\\s)((8|\\+7)[\\- ]?)?(\\(?\\d{3}\\)?[\\- ]?)?[\\d\\- ]{10}(\\s|$)");
for (i = 0; i < cnt; i++) std::regex_search(strl[i], result, phone_regex);

Времени на код надо максимум 5 минут. Ты так уверено говорил про регулярки, что я аж засомневался. Самому стало интересно, может там нанотехнологии и работают они на другом уровне. Но нет, чуда не произошло 18 секунд.

[vastmanager]

Для знатоков вопрос. Есть более простая задача. Без регулярок даже.
Имеется текстовый файл 9,5 Гб. объемом. В файле 360 млн. строк.
Это база запросов в Гугл на англ. языке за несколько лет.
Задача: Быстро сделать выборку из файла примерно по 100 тыс. вхождений.
В основном это однословные вхождения (ключи).
Вбиваем для выборки viagra к примеру, а оно нам выдает: buy viagra, online viagra и т.д. -
все ключи с вхождением этого слова.

При небольшом количестве запросов все реально сделать на домашнем компе при помощи
KeyWordKeeper - эта программа сеошникам хорошо известна. Также хорошо работает Penguin Keywords Tools,
но не на много быстрее.

Но нужно, чтобы выборка прошла по 100 тыс. однословных ключей.
Пока лучший результат получен при помощи системной утилиты grep на линуксовой машине 8 CPU 16 Гб. Ram
на процессоре Райзен. При загрузке процессора на 67% все заняло около суток.

Мне тут посоветовали оба файла загрузить в БД SqlLite3 и делать выборку уже в базе.
Даже скрипт на python прислали. Вроде так быстрее, хотя я не уверен. Пока предложенный код в базу не грузит ничего.
Хотя код запускается норм.
Вопрос такой - реально ли через БД быстрее будет? Или это враки. Разработчик уверял, что скорость выборки до 20-ти млн.
ключей в секунду. И если ТЗ грамотно составить, что может предложить ИИ по этому вопросу?