И снова об ИИ

[HappySoftX]

Сообщение от burunduk

это обработка - разбор и кластеризация почти 1 миллиона текстовых строк

у HappySoftX, более простая обработка с помощью AI на питоне занимает сутки и как я понимаю на значительно меньшем объёме информации

С чего взял что более простая?
С чего взял что на питоне?
С чего взял что на значительно меньшем объеме информации?

зы как в анекдоте только не квартиру, а машину, не в лотерею а в покер, и не выиграл а проиграл

[burunduk]

Сообщение от HappySoftX

С чего взял что более простая?

потому что ты сам об этом говорил - тебе нужно определить деталь по названию

Сообщение от HappySoftX

С чего взял что на питоне?

ты же сам о нём писал

Сообщение от HappySoftX

С чего взял что на значительно меньшем объеме информации?

потому что у тебя ассортимент не 1м+ позиций, а максимум 20к и это очень оптимистично скорей всего не более 2к позиций

[HappySoftX]

Сообщение от burunduk

потому что ты сам об этом говорил - тебе нужно определить деталь по названию

Это всего лишь говорит о том, что ты не понимаешь сложность задачи.

Сообщение от burunduk

ты же сам о нём писал

Ты тоже про него писал, и?

Сообщение от burunduk

потому что у тебя ассортимент не 1м+ позиций, а максимум 20к и это очень оптимистично скорей всего не более 2к позиций

Ты путаешь объем информации с объемом данных.

[Неуч]

Сообщение от burunduk

это обработка - разбор и кластеризация почти 1 миллиона текстовых строк

у HappySoftX, более простая обработка с помощью AI на питоне занимает сутки и как я понимаю на значительно меньшем объёме информации

Зависит от того что делать. Но вообще 1 лям строк - для питона это копейки. И 30 минут это реально долго. Просто надо уметь готовить

Ты же не знаешь что именно он делает, какие конкретно входные данные и какая конкретно задача. Только предположения. Сутки - это я хз что делать надо.

[burunduk]

Сообщение от Неуч

И 30 минут это реально долго. Просто надо уметь готовить

для каждой текстовой строки необходимо заполнить около 40 параметров, часть из которых это попадание в различные группы (их от 5 до 100 примерно) с указанием веса в данной группе, т.е. есть поле с классификатора объекта, например, описывающий тип недвижимости; комната, квартира (количество комнат), дом, гараж, баня....
необходимо проверить к какому типу относится текстовая строка и на какой позиции она (проверяемая строка) окажется в данных группах, строка может быть сразу в нескольких группах, и вот таких параметров около 40
изначально все группы пустые, по мере разбора они заполняются и веса в группах пересчитываются именно из-за этого и происходит такое замедление т.к. фактически это множественные итерации

[vastmanager]

Сообщение от Неуч

Зависит от того что делать. Но вообще 1 лям строк - для питона это копейки. И 30 минут это реально долго. Просто надо уметь готовить

Насчет питона согласен.
Вот на скрине объем данных в папке - 12-13 Гб. примерно.



Форматы разные. html, txt, word, excel и др.
Скрипт на питоне вытащил их этой кучи файлов нужные данные за 145 секунд.



И не только вытащил, но и обработал, т.е. произвел некоторые вычисления, затем всё записал в удобном виде в базу.
И поиск шел по более чем 2 тыс. разных вхождений нужных мне ключей.
Задача примерно как и по запчастям. Если скрипт находит в файлах от 10 до 16 необходимых ключей, он записывает этот контент в базу. Фактически текстовый контент готовый записывает.

[burunduk]

Сообщение от vastmanager

И поиск шел по более чем 2 тыс. разных вхождений нужных мне ключей

по ключам это быстро, т.к. можно в многопотоковом режиме делать и запись в базу это не многочисленные итерации с уже отобранными данными при добавления новых

[vastmanager]

Сообщение от burunduk

по ключам это быстро, т.к. можно в многопотоковом режиме делать и запись в базу это не многочисленные итерации с уже отобранными данными при добавления новых

Нужен процессор с такт. частотой от 3 Ггц. и SSD накопитель. На HDD может часами работать.
Самое медленное тут - на винде удалить нафиг эти гигабайты с диска, когда они уже не нужны и данные все получены. Несколько минут могут удаляться даже минуя корзину. На Linux это мгновенно удаляется.

[HappySoftX]

У Gemini и ChatGPT есть очень хороший режим обучения. Фактически бесплатный репетитор, который еще и на голову выше большинства реальных. Очень хорошо объясняет, контролирует усвоение материала давая задания. У сына в школе очень слабая программа да и учитель слабоват. Сейчас каникулы, изучает питон. Довольно удобно.

У гпт большой плюс может код на питоне запускать прямо в чате. Но джемени стабильно хорош на своей легкой версии, в отличии от гпт который меняет модели для ответа.

[burunduk]

Сообщение от vastmanager

Самое медленное тут - на винде удалить нафиг эти гигабайты с диска, когда они уже не нужны и данные все получены

я исходники не удаляю, на внешний диск сразу их записываю

на самом деле самая большая проблема это длина пути к файлу в винде она ограничена 256 символов и количеством файлов в папке 32к