.png&w=3840&q=85)
Привет! Мы в CodingTeam разрабатываем ИТ-решения для E-commerce, Retail, Финтех и Pharma. Но иногда беремся за проекты, которые невозможно вписать в четкие рамки. Одним из них стала разработка мобильного приложения для компании «Русский Краб».
Кто такой «Русский Краб»
Команда «Русского Краба» ежегодно добывает 18+ тонн экзотических крабов в Охотском, Беринговом и Японском морях. В распоряжении экипажа собственный крабопромысловый флот, состоящий из 38 судов.
Для краболовов и потенциальных покупателей морских деликатесов мы и разработали мобильное приложение.
Зачем краболовам мобильное приложение
Как понять, много ли в конечности краба мяса? Эта проблема волнует любителей морских деликатесов и целую крабовую индустрию во главе с командой «Русского Краба». Все они сталкиваются с проблемами оценки качества продукции.
Есть два варианта оценить мясистость краба: на глаз и с помощью технологий.
Наше мобильное приложение предлагает аналитику нового уровня. Больше не нужно ждать неделю, пока краболовное судно придет в порт и сотрудники отсмотрят каждую конечность. CrabMIC позволяет получать информацию немедленно. Это особенно важно для такой скоропортящейся продукции как крабы, где каждый день имеет значение.
Используя технологии искусственного интеллекта, система мгновенно оценивает качество крабов, определяет процент мяса в каждой конечности и даже отмечает на карте лучшие места для ловли.
Codingteam своей разработкой решил сразу четыре проблемы бизнеса:
- Ускорили получение информации для продажи крабов
Традиционный метод сбора данных требовал много времени, что замедляло процесс принятия решений и заключения контрактов на продажу. Новое приложение позволяет получать информацию мгновенно.
- Повысили точности определения качества продукции
Старый метод оценки качества крабов был субъективным и не всегда точным. Новое приложение, использующее искусственный интеллект, позволяет более точно определить качество продукции.
- Ускорили заключения контрактов
Благодаря быстрому получению информации и более точной оценке качества «Русский Краб» быстрее заключает контракты на продажу, что является важным преимуществом для бизнеса.
- Определили наиболее перспективные места для ловли крабов
В некоторых зонах крабы особенно мясистые. Тепловая карта, встроенная в приложении, помогает определить, где они жирнее и в какое время года. То есть наше приложение помогает увеличить и качество, и объемы улова.
Как работает CrabMIC
Принцип работы максимально простой: камера смартфона сканирует срез конечности, нейросеть обрабатывает изображение в несколько этапов, определяет области, наполненные мясом и пустоты, строит битовые карты сегментации и рассчитывает процент наполнения.
У приложения интуитивно понятный и легкий в использовании интерфейс, который не требует специальных навыков для работы с ним. Пользователь может легко загрузить фотографию в мобильное приложение и использовать множество настроек для отображения результата. По аналогичному принципу работает и другой наш проект, где нейросети определяют болезни растений. Скоро мы о нем тоже расскажем, следите за анонсами.
Процесс создания нейросети для определения мяса в конечностях краба
Разработка заняла 8 месяцев и проходила в пять этапов:
Codingteam своей разработкой решил сразу четыре проблемы бизнеса:
- Сбор данных
На первом этапе мы собрали 9000+ изображений крабов. Картинки были получены из видеороликов, снятых в разных локациях и с разных ракурсов.
Чтобы обучить нейросеть определять процент мяса в конечностях краба, нам нужно было собрать тысячи изображений крабов. Но делать столько фотографий было бы очень долго. Поэтому мы решили использовать видеоролики. Крабов снимали с разных ракурсов, а затем делили видео на кадры. Это позволило нам получить нужное количество изображений для обучения нейросети, - Дмитрий Абашев, Руководитель проекта
- Разметка данных
Для разметки изображений привлекли специалистов, которые указывали, где на фотографиях находится мясо, а где его нет. Это позволило нейросети научиться отличать мясо краба от других объектов на фото.
- Обучение нейросети
С помощью собранных и размеченных данных нейросеть обучилась распознавать мясо краба на фотографиях и определять объем наполнения крабовой конечности мясом.
Эмпирическим путем нам удалось разработать формулу, по которой определяется качество конечностей. Мы обучили нейросеть высчитывать диаметр конечности и прогнозировать количество мяса в ней. Если, к примеру, краб в силу погодных условий нарастил себе панцирь, а мяса не нарастил, то в конечности может быть 70% мяса, что не представляет интереса для покупателей. Для краболова это может означать, что в текущем месяце крабов в конкретной области лучше не вылавливать.
- Тестирование и доработка
После обучения нейросеть была протестирована на новых изображениях. Фотографии, которые были считаны с ошибкой, разметили дополнительно, после чего нейросеть прошла повторное обучение.
Нейросеть обрабатывает фотографию среза конечности краба и рассчитывает процентное соотношение мяса и пустот за несколько секунд с точностью до 99%
- Разработка мобильного приложения
На основе обученной нейросети было разработано кросс-платформенное мобильное приложение на Flutter для iOS и Android, которое позволяет пользователю загружать фотографии и получать оценку качества крабов. Посмотреть на мясистость крабов в режиме реального времени можно тут.
Особенности разработки, или Высокие технологии без интернета
У траулера, который занимается добычей крабов, большую часть времени доступа в интернет нет.
Так что наше мобильное приложение работает в офлайн-режиме. Оно может собирать фотографии и готовить пакеты данных даже в 7-бальный шторм в 100 милях от берега. При появлении связи приложение отправит все данные заинтересованным лицам.
У каждой серии снимков есть собственная геометка, которая соответствует геолокации корабля. Таким образом мы точно знаем, в каком именно месте были выловлены самые мясистые крабы.
Итог
CrabMIC — большой шаг вперёд для всей индустрии. Приложение делает оценку качества продукции более объективной и исключает субъективные мнения о том, сколько мяса в конечностях краба. Автоматический расчет содержания мяса в продукции помогает избежать споров между продавцами и покупателями.
Мы специализируемся на разработке проектов с применением машинного обучения, анализа данных, создании рекомендательных систем и умных чат-ботов для бизнеса в сферах E-commerce, Retail, Финтех и Pharma. Мы всегда готовы делать классные digital-кейсы, как это получилось с «Русским Крабом».
