Fozzy Group розробила і тестує власний штучний інтелект – як він працює

Спикер рассказывает, что первоначально такое название было первоапрельской шуткой, но в конце концов его решили оставить и создали визуализацию в виде котика.

Разработка представляет собой своего рода портал, так называемую зону распознавания продуктов в виде конструкции с подсветкой и камерой.

Человек ставит в портал свою тарелку и камера делает снимок, который попадает в нейросеть, которая определяет и классифицирует блюда на подносе гостя.

На экране подсвечивается, какие блюда выбрал человек и их порциональность.

Алгоритм достаточно сложен: мы считаем пельмени, площадь пюре на тарелке, чтобы определить, порция это или половина порции и выводим сумму на экран гостю. Гость может рассчитаться по телефону, приложению "Сильпо" или карте. Получает чек и уходит обедать. Все происходит в автоматическом режиме, время на классификацию блюд – примерно 2-3 секунды, – рассказывает Андрей Янбухтин.

Сейчас в систему ИИ внесено около 200 блюд и столько же SKU. С момента возникновения идеи над проектом работали примерно 1,5 года.

Тогда в команде было немного людей, которые учили нейросеть распознавать блюда. На первом портале было установлено три камеры, сейчас используется 1-2.

Количество задействованных камер зависит от того, как стоят продукты на подносе.

Главная сложность заключалась в том, что мы создавали свое решение с нуля. Конечно, в мире были аналогичные решения, в частности у китайцев, но они привязывались к тарелкам определенного размера: то есть каждое блюдо нужно было класть в отдельную тарелку, - рассказывает айтишник.

Сегодня точность узнавания ИИ большинства блюд достигает почти 98%.

Экран сделан интерактивным, чтобы в случае ошибки нейросети гость мог за два щелчка изменить порцию на половину порции.

Также в систему загружаются новые фотографии при изменении дизайна определенного товара. В своих разработках команда ориентируется на опыт Amazon GO и его решение, но реализовать опыт магазинов без касс и кассиров не будут.

По словам Янбухтина, такое решение подходит для небольших магазинов, а для крупных супермаркетов, как "Сильпо", это неоправданно дорого.

У компании есть еще один успешный проект – Message Tagger. Он изучает информацию и автоматически распределяет задачи по полученным отзывам о работе сети.

Мы также научились понимать эмоции, речь идет именно о сложных лингвистических моделях, а не, скажем, ругани, которую легко определить. А в перспективе планируем использовать эти решения для формирования на основе ИИ ответов нашим гостям.

По словам спикера, чтобы сделать процессы удобнее, быстрее и дешевле.

Например, на кассе самообслуживания нужно просканировать штрихкод товара и это затрудняет процесс и очень его затягивает. Технология Computer Vision позволяет без штрихкода определить, что это за товар, SKU и ускорить обслуживание.

Читайте также: Samsung запретил использование искусственного интеллекта своим сотрудникам

Также команда сети заметила, что гостей раздражает голоса самокас, которые раздаются одновременно из всех используемых систем "просканируйте товар, поставьте товар на весы".

Мы заметили дискомфорт наших гостей, проанализировали ситуацию, и сейчас в магазинах "Сильпо" уже нет весового контроля. Я могу подойти к кассе с двумя одинаковыми бутылками пива, просканировать одну из них дважды, никуда не ставя эти бутылки, оплатить свою покупку и спокойно выйти из магазина, – приводит пример разработчик.

Этим анализом в сети уже занимается искусственный интеллект.

SPEKA