И снова об ИИ

[ziliboba0213]

Сообщение от Васо Вчеразаши

Вот за это, тех кто эти имитаторы прикрутил к чатам, ждет отдельная сковородка в аду!

Я один раз орал на этого бота ппц... Ща до них дошло, и в больших фирмах сделали при слове оператор сразу на оператора. Скоро и до тормозящих дойдет

[Васо Вчеразаши]

Я всю дорогу на них матюкаюсь)

[burunduk]

Сообщение от HappySoftX

Я сейчас прикручиваю ИИ для обработки прайсов, довольно интересно получается. Если сделать заказ, обработать прайс с запчастями у меня уходит минимум три дня. То ИИ делает заказ за ночь.

тупой ИИ
вообще-то это дело максимум 5 минут, не ну может быть и пару часов если прайсы в картинках

вот попробуй кабельный журнал составить, когда у тебя несколько сотен бабин разного размера, и нужно посчитать сколько чего ещё надо докупить, excel около суток считает

[HappySoftX]

Сообщение от burunduk

тупой ИИ
вообще-то это дело максимум 5 минут, не ну может быть и пару часов если прайсы в картинках

вот попробуй кабельный журнал составить, когда у тебя несколько сотен бабин разного размера, и нужно посчитать сколько чего ещё надо докупить, excel около суток считает

Без картинок за пять минут сделать заявку на запчасти. Удивлен, и какой же алгоритм? Я очень сильно удивлюсь если ты предложишь решение, благодаря которому можно будет сделать заявку в течении дня. Пять минут это на грани фантастики.

[burunduk]

HappySoftX, основное время это загрузка прайсов и их нормализация, надеюсь данные по остаткам в нормальном виде и их дополнительно обрабатывать не требуется

а дальше всё просто - проверяется по остаткам и делается заказ по самому выгодному предложению
в чём проблема?

P.S. это простейшая задача, даже при условии если требуется учитывать сезонность спроса и стоимость доставки
главное это нормальный формат данных, вряд ли прайсы поставщиков меняют формат постоянно
единственная сложность это разные названия одного и того же продукта у разных поставщиков, для этого используются словари и нечёткое сравнение

для примера, данные из 8 баз данных (это примерно 6ГБ в основном текстовых строк) загружаются примерно за 5минут, построение практически любого отчёта на их основе ещё минут 5

[HappySoftX]

Сообщение от burunduk

HappySoftX, основное время это загрузка прайсов и их нормализация, надеюсь данные по остаткам в нормальном виде и их дополнительно обрабатывать не требуется

а дальше всё просто - проверяется по остаткам и делается заказ по самому выгодному предложению
в чём проблема?

P.S. это простейшая задача, даже при условии если требуется учитывать сезонность спроса и стоимость доставки
главное это нормальный формат данных, вряд ли прайсы поставщиков меняют формат постоянно
единственная сложность это разные названия одного и того же продукта у разных поставщиков, для этого используются словари и нечёткое сравнение

для примера, данные из 8 баз данных (это примерно 6ГБ в основном текстовых строк) загружаются примерно за 5минут, построение практически любого отчёта на их основе ещё минут 5

Гладко было на бумаге да забыли про овраги. Нормализация, самое выгодное, простейшая задача. Как у тебя все просто. Давай начнем с нормализации.

Максммально упрощенно. Допустим нам нужен

сайлентблок переднего рычага задний

У поставщика прайс на 10 тысяч позиций, среди которых

Сайлентблок передний рычага заднего
Сайлентблок передний заднего рычага
Сайлентблок рычага заднего передний

А теперь добавь сюда, то что сайлентблок могут назвать втулкой, резинометаллический шарнир, шарнир РМ и т.д.
Добавь сюда сокращения, хаотичный порядок и т.д.

Потом добавь тот же хаос с моделями, с артикулами, годами, объемом. Дополнительными характеристиками, материал, цвет, производитель, ценовой сегмент.

И в итоге получается, что имеешь сотни похожих надписей, с которыми даже эмбендинги не справляются.

А в реальности позиция в прайсе будет выглядеть еще хуже, так как стараются в название запихнуть разные варианты

Сайлентблок силиконый синий, качество хорошее, втулка, резинометаллический шарнир передний, задней балки на рычаг, Audi 100 1.8-2.0 (93-95)

Добавь сюда бренды и совместимость, когда название противоречит, упрощенно
Сальник трамблера Opel, удлинителя КПП ГАЗель

Как ты собираешься нормализировать если каждый поставщик пишет во что горазд. У запчастей нет стандартных артикулов, у каждого производителя свои. Даже один и тот же артикул, одного и того же завода каждый поставщик пишет по своему.

И это только первый этап.

[burunduk]

Сообщение от HappySoftX

сайлентблок переднего рычага задний

У поставщика прайс на 10 тысяч позиций, среди которых

Сайлентблок передний рычага заднего
Сайлентблок передний заднего рычага
Сайлентблок рычага заднего передний

это вообще элементарно - нечёткое сравнение даст 99,(9) совпадения

Сообщение от HappySoftX

А теперь добавь сюда, то что сайлентблок могут назвать втулкой, резинометаллический шарнир, шарнир РМ и т.д.

это решается словарями, один раз посидеть, потом только обновлять по мере необходимости, сомневаюсь что постоянно появляется больше 20-30 позиций одномоментно

Сообщение от HappySoftX

Потом добавь тот же хаос с моделями, с артикулами, годами, объемом. Дополнительными характеристиками, материал, цвет, производитель, ценовой сегмент.

это выделяется отдельными характеристиками

Сообщение от HappySoftX

с которыми даже эмбендинги не справляются

где-то на 40 размерности вектора я сломался в своё время, перестал понимать что происходит, хотя в узкой тематике для точности в 80% вполне хватает всего 7-8 размерностей
поэтому для себя я решил что это полностью тупиковый путь

Сообщение от HappySoftX

А в реальности позиция в прайсе будет выглядеть еще хуже, так как стараются в название запихнуть разные варианты

знаю, и каждый поставщик изгаляется как может, про перепутанную латиницу и кирилицу я даже не говорю

ты просто не занимался подобным плотно, поэтому у тебя это вызывает такой ужас, на практике больше 90% разбирается автоматически вообще без проблем, остальное с небольшими танцами и только менее 1% не поддаётся разбору, как правило это ошибки

и да тебя ждёт ещё один сюрприз, хотя ты наверное с ним уже сталкивался, позиции в накладной могут отличаться от прайса

[HappySoftX]

Сообщение от burunduk

это вообще элементарно - нечёткое сравнение даст 99,(9) совпадения

Это неправда. Нечеткое сравнение сравнивает последовательность символов, а не смысл слов. Нечеткое сравнение даст процентов 80-90 для разных запчастей в идеальных условиях. Вот этот пример, это разные запчасти и нечеткое сравнение даст высокий процент

Еще раз прошу обратить внимание, это разные запчасти.

Сайлентблок передний рычага заднего
Сайлентблок переднего рычага задний

А теперь одинаковые запчасти и нечеткое сравнение даст процент гораздо меньше

Сайлентблок рычага передний задний
Задний сайлентблок переднего рычага

И да это идеальные условия, когда нет мусора, когда все слова написаны полностью.

У меня не вызывает ужас. У меня это уже работает, о чем я написал выше.

Хочешь поспорить, выбирай библиотеку для нечеткого сравнения, протестируем на питоне. Или в каком инструменте ты используешь нечеткое сравнение?

[burunduk]

Сообщение от HappySoftX

выбирай библиотеку для нечеткого сравнения, протестируем на питоне. Или в каком инструменте ты используешь нечеткое сравнение?

чем тебя офисный пакет не устраивает?
для корректировки можешь использовать

(text1 as text, text2 as text) as number =>
let
text1 = Text.Upper(text1),
text2 = Text.Upper(text2),
matching_chars = List.Count(List.Intersect({Text.ToList(text1), Text.ToList(text2)})),
average_length = (Text.Length(text1) + Text.Length(text2)) / 2,
coef = matching_chars / average_length
in
coef

https://www.planetaexcel.ru/techniqu...lromp895060185

для твоих хотелок этого за глаза хватит

[burunduk]

Сообщение от HappySoftX

Сайлентблок передний рычага заднего
Сайлентблок переднего рычага задний

и ещё момент в прайсах так не пишут - тупо нет таких наименований

вот такие есть
болт м12х1.25х100 газ-31105 рессоры под сайлентблок н/о
болт м12х1.25х108 газ-31105 рессоры под сайлентблок этна
гайка крепления сайлентблока рычага
кронштейн задней рессоры уаз-3962 передней оси (под сайлентблок)
лист рессоры газ-3310 валдай №1 задней с сайлентблоками в сборе (оао газ)
лист рессоры уаз-3962 задней n1 (с сайлентблоками, н/о)
наконечник газ-3310 валдай,газон next штанги стабилизатора передней с сайлентблоком (оао газ)
подушка кабины 2 сайлентблока
р/к кабины (4болта,4гайки,4шайбы,2+2сайле нтблока) man tga
ремкомплект газ-3110 крепления рессоры без сайлентблока полный g-part (оао газ)
ремкомплект газ-3110 крепления рессоры с сайлентблоком полный g-part (оао газ)
рессора газ-2217 в сборе с сайлентблоками (5 листов) (оао газ)
рессора газ-2705,32213,33021 передняя (4 листа) усиленная с ушками с сайлентблоками l=1566мм чмз
рессора газ-31105 (5 листов) в сборе с сайлентблоком (оао газ)
рессора газ-3221,33027 задняя (3 листа) с сайлентблоками (оао газ)
рессора газ-3302 задняя (3 листа) с сайлентблоками l=1560мм чмз
рессора газ-3302 задняя (5 листов) с сайлентблоками (оао газ)
рессора газ-3302 задняя (5 листов) с сайлентблоками l=1560мм чмз
рессора газ-3302 задняя (6 листов) с сайлентблоками (оао газ)
рессора уаз-2360 пикап (4 лист. с сайлентблоками)
рессора уаз-2360 пикап (4 лист., с сайлентблоками)
рессора уаз-3163 задняя 3-лист. (в сб. с сайлентблоками)
рычаг подвески газон next (10т),паз вектор next задний в сборе с сайлентблоками (оао газ)
сайлентблок ford transit (06-) рессоры задней передний
сайлентблок ford transit рычага переднего задний
сайлентблок ford transit рычага переднего передний
сайлентблок ваз-2108,газ-3310,3302,газель next амортизатора,стабилизатор� � полиуретан 2шт.drive cs-20
сайлентблок ваз-2108,газ-3310,3302,газель next,газон next амортизатора,стабилизатор� � (оао газ)
сайлентблок газ-2217 верхний
сайлентблок газ-2217 верхний (1шт.) herzog
сайлентблок газ-2217 нижний
сайлентблок газ-31105 верхнего рычага (полиуретан) 2шт.бт
сайлентблок газ-31105 нижнего рычага (полиуретан) 2шт.бт
сайлентблок газ-31105,3111 подвески задней полиэдр
сайлентблок газ-31105,3111 стабилизатора заднего
сайлентблок газ-3302,газель next подвески trialli
сайлентблок газ-3302,газель next подвески полиуретан trialli
сайлентблок газ-3302,газель next подвески трек
сайлентблок газ-3302,газель next стойки стабилизатора подвески передней (оао газ)
сайлентблок газ-3302,газель next,валдай подвески усиленный 2шт.(синий) вулкан-нн
сайлентблок газ-3310 валдай,3302 бизнес,газон next рессоры передней (оао газ)
сайлентблок газель next амортизатора переднего (полиуретан) пик
сайлентблок газель next амортизатора переднего верхний (полиуретан) пик
сайлентблок газель next верхнего рычага (оао газ)
сайлентблок газель next верхнего рычага полиуретан 2шт. пик
сайлентблок газель next нижнего рычага комплект (2шт.) арсенал
сайлентблок газель next нижнего рычага полиуретан 2шт. пик
сайлентблок газон next рессоры передней полиуретан птп
сайлентблок газон next рессоры передней резинометаллический (оао газ)
сайлентблок заднего рычага
сайлентблок задней балки
сайлентблок задний переднего левого рычага
сайлентблок задний переднего правого рычага
сайлентблок кабины 016*60/63.5*80 передний man tga
сайлентблок кабины 53*16*58 man
сайлентблок кабины на замок 14x30x/37x48 man
сайлентблок переднего нижнего рычага подвески передний
сайлентблок поперечной балки подвески (55418d2000)
сайлентблок поперечной балки подвески (55428d2000)
сайлентблок поперечной штанги уаз (малый)
сайлентблок поперечной штанги уаз-3151, 3163 малый (2 шт., полиуретан)
сайлентблок поперечной штанги уаз-3151, 3163 малый (завод)
сайлентблок поперечной штанги уаз-3151, 3163 малый (полиуретан)
сайлентблок продольной тяги уаз
сайлентблок продольной тяги уаз-469, 3160 большой (завод)
сайлентблок продольной тяги уаз-469, 3160 большой (кооп)
сайлентблок продольной тяги уаз-469, 3160 большой (полиуретан)
сайлентблок рессоры уаз-3163 (резина)
сайлентблок рессоры уаз-3163 полиуретан
сайлентблок рессоры уаз-профи
сайлентблок рычага hyundai porter
сайлентблок рычага подвески (544433m000)
сайлентблок рычага подвески (544433m010)
сайлентблок рычага подвески (54443b1500)
сайлентблок рычага подвески (545513m000)
сайлентблок рычага подвески (545513n500)
сайлентблок рычага подвески (545513t000)
сайлентблок рычага подвески (54584b1200)
сайлентблок рычага подвески (54584d2700)
сайлентблок рычага подвески (55543d2000)
упор сайлентблока поперечной балки подвески (55485d2000)

и ещё момент у всех этих названий есть артикул, для какой конкретно марки