手机摇一摇测体积,2019菜鸟全球科技挑战赛助力智能物流
近来,2019 菜鸟全球科技挑战赛在杭州闭幕。在菜鸟柔性主动化实验室资深总监寒帅、菜鸟人工智能部研究员徐盈辉、旷视南京研究院院长魏秀参、阿里集团高德视觉技能攻坚小组研究员任小枫、菜鸟北京技能中心资深技能专家陈罡等评委的审议下,竞赛终究决出了前三名。这些部队取得了合计 60 万元的高额奖金。
5 月 28 日,以「数字化再加速」为主题的 2019 全球才智物流峰会在杭州举行。来自国内外的职业专家、企业高管一起讨论了「物流和供应链的数字化怎么带动新零售」、「各种形式怎么加速职业数字化的年代引擎等」热点话题。
这场科技竞赛由菜鸟网络举行,自 3 月份即开端了预赛的抢夺。在总决赛中,10 支部队一起展现了各自的处理计划,并现场丈量不同的物体。第一名「泰坦」队取得 30 万奖金、第二名「VMeasure」取得 20 万奖金、第三名「Wonder」则取得 10 万奖金。
图注:在决赛后,第一名部队的代表登台领奖。
这是一场适当硬核的挑战赛,处理的也是物流职业的痛点问题。
面向未来物流的赛题
作为一场科技竞赛,高额的奖金不只在告知咱们赛题难度有多大,也在暗示:体积丈量这件事十分重要。但关于大多数人而言,咱们并不清楚它的重要性。主动丈量的含义首要体现在物流的仓储、运送和派送三个环节。
主动准确丈量物体体积后,咱们就能合理规划包装的耗材,然后大大下降包装本钱。在运送中,假如知道每一件产品的正确体积,那么分配运送工具就十分方便了。在物流的派送环节中,准确知晓产品标准能够让快递员有规划地将货品投递到不同标准的快递箱中,协助节省存储空间与功率。
这便是本次竞赛的赛题:「关于规矩的箱体(如天猫超市纸箱)和不规矩物体(如洗衣液、篮球),经过手机拍照图画,获取其最小外接长方体的长、宽、高标准(单位 mm),核算其体积(长×宽×高)。依据丈量值与被测物体的实在标准差值,评价其丈量精度。」
挑战赛设定被测物体在 50mm 到 500mm 之间,且它们都是在空阔的平面上完结丈量。在实践丈量时,竞赛要求选手经过一般手机「主动」丈量出物体的笔直高和最小外接矩形的长宽。尽管描绘很简单,但其间有三个要害点,即一般手机、主动化和求最小。
- 首要有必要是一般手机,咱们需求确保能够在市面上买到,且不能定制化或添加外部设备,例如手持云台或外接深度传感器等。
- 其次是主动化,赛会期望处理计划能主动收集并求出被测物体的体积。因而咱们在丈量时并不能符号被测物体,或许运用某些具有丈量功用的 APP。抱负状态下,手机只需拍几张照或一个小视频,就能当即给出被测物体的长宽高。
- 终究,在经过最高点求出被测物体的高之后,挑战赛要求咱们求最小外接矩形作为长和宽。行将物体投影到水平面后,鸿沟框的面积应该是最小的。
下图展现的是决赛中的被测物体。分别是两种规矩、不规矩物体:
处理计划:三维重建是中心
在进入决赛的前十组选手的展现中,咱们能够看到许多不同的处理计划。许多选手经过 visual SLAM(即时定位与地图构建)重建 3D 点云,再结合惯性丈量单元(IMU)或标志物而取得 3D 点云的实践标准;也有选手经过被测物体和标志物重建出深度图,然后交融不同的深度图而构建实在标准的 3D 点云。这两类办法都可依据 3D 点云核算最小外接立方体。
尽管十支团队的计划各有各的特色,但它们都遵从一个根本的解题思路:先取得被测物体在像素空间中的信息,再取得被测物体在实在国际中的标准信息,终究核算被测物体的最小外接立方体。
依据丈量精度、设备普适性和技能创新性等多个维度,评定们终究选出排名前三的处理计划。
决赛评委阵型。
第一名:依据大局姿势与 MVSNet 的体积丈量
第一名计划是由东华大学等院校的在校师生完结的,他们的办法只需标志物和图画信息就能猜测被测物的实在标准。在这种计划下,咱们能够在被测物周围放几张打印的标志物,然后从多个视角拍照多组图片,这些图片能经过 MVSNet 生成多视角深度图。终究,对不同视角的深度图进行滤波与交融操作,模型就能重建带标准的 3D 稠密点云。下图展现了该计划的首要流程:
东华大学蔡棽教师表明,比照 ARKit 等结合 vSLAM 和 IMU 的计划,他们办法最大的优势在于重建完好度高。其间 vSLAM 在鲁棒性上有许多下风,即便在位移和旋转都比较小的情况下,它仍是会丢掉一些无纹路物体。这首要是由于 vSLAM 并不寻求重建精度,它是一种稀少重建,因而在算外接立方体时简单发生差错。
当然,这种重建完好度很大程度上都是由 MVSNet 带来的,它不只作用好,运转速度也比之前的 state-of-the-art 快了数倍。
经过依据标定板的准确外参数标定计划,开发者在处理 vSLAM 算法的不鲁棒性、SFM 算法两两特征匹配的核算耗时问题,重建精度、鲁棒性、运转速度等各方面都根本满意了实践丈量需求。特别的是,关于无纹路的日常超市物体,该办法依然适用。
手机摇一摇,极速测体积
更重要的是,他们规划的使用有一个改写键,当咱们对丈量成果不满意时,点击按钮就能快速生成愈加完善的立方体。用户依据可视化成果决议是否改写丈量的立方体,因而正确丈量的概率要高得多。
已然要面向使用,那么算法就应该简练一些。VMeasure 的思路十分明晰,首要依据 ARCore 完结立体重构,然后再核算最小外接立方体。
其间关于 ARCore 的调用,模型会依据纹路特征确认要害点,在手机环绕被测物体拍照时,这些要害点会发生位移或视差信息,它们再结合 IMU 传感器就能获取三维信息了。
手动标数据的体积丈量
在第三名 Wonder 队(独立参赛者)的处理计划中,选手从一个十分直观的主意动身,讨论怎样分两步处理体积丈量问题。即先感知被测物体在像素空间中的方位与巨细,然后树立像素国际与实际国际之间的联络。
将这种思维带入到使命中时,就需求规划两个模块:使用方针检测获取鸿沟框,然后快速算出像素上的长和宽;使用 ARKit 内嵌的办法,开发者能够得到屏幕中一个点在实际国际中的大致坐标方位,即建像素与实际标准的桥梁。
尽管 Wonder 队的做法十分简练,但它也有十分特别的当地:选手自行标示了 1700 多张实在图片和 2800 多张组成图片。这些图片模拟了实在场景下使用手机丈量体积会拍到的姿态,咱们能够用来检测方针的鸿沟框。
该队选手表明,这 4500 张图片可用来精调预练习的 MobileNet V2,它可作为骨干网络来猜测左上和右下两个要害点。由于 MobileNet 是一种十分精简的架构,所以核算力和准确率都能有比较好的确保。
终究,开发者规划计划结合了核算机视觉和 ARKit 技能,一切的丈量和核算都发生在手机端,不需求网络和额定的核算资源。
在这场精彩的竞赛中,选手们提出的办法各具特色。除体积丈量外,物流还有更多的使命需求讨论,例如三维装箱问题。物流业正处于技能大变革中,新式技能的使用,将加速物流的数智化开展。


