GBDX笔记本和亚马逊SageMaker系统地挖掘地理空间数据

分类:GIS资讯-2018/06/21-

DigitalGlobe的100多PB高分辨率图像存档是关于我们不断变化的星球的丰富信息源。但要充分探索和挖掘这些财富,需要一种有效的方法来管理和分析所有数据。我们着手寻找解决方案。

我们解开DigitalGlobe图像库功能的第一步是将数据加载到亚马逊网络服务(AWS),这是一个计算友好型环境,可高效管理数据并实现大规模分析。我们努力的结果是推出了称为GBDX的地理空间大数据平台,GBDX是用于分析卫星图像的水平可扩展计算环境。但即使拥有出色的计算环境和越来越多的分析方法和算法,真正利用我们的数据需要大量的工作。这就是机器学习变得至关重要的地方 - 分析海量数据并快速有效地提取有意义的情报。

协调一个强大的机器学习平台可能会有挑战性,即使对于像DigitalGlobe这样以数据为中心的公司来说也是如此。这就是为什么我们转向亚马逊SageMaker,它通过流畅的打包培训数据访问,培训服务和模型托管服务提供帮助。凭借与我们的数据相同的计算环境提供的这些强大的服务,门户开启了快速和创新之门。

我们知道通过机器学习计划成功获得高质量结果的关键在于需要投入可靠的培训数据。

为了提供创建训练数据的基础,GBDX团队为DigitalGlobe图像构建了一种名为RDA(栅格数据访问)的新数据访问模式。卫星图像是沉重的数据。分割后的单条图像可以是20 GB和40 GB。移动可能耗时且昂贵的大块数据。为了使卫星图像数据更加易于使用,RDA将这些大带分成了小图像和相关数据,这些数据的大小可以流式传输和更有效地使用。

图像芯片也是创建训练数据的重要基础。我们可以使用推理算法动态生成带有标记的GeoJSON向量的小图像,这些对象是我们想要检测的对象。下图强调了一些卫星图像训练数据的例子:停靠的船只(绿色),正在进行的船只(蓝色)和飞机(红色)。

A few examples of satellite imagery training data: docked ships (green), ships underway (blue) and airplanes (red)

与标准照片不同,卫星图像需要大量复杂的后期处理才能在视觉上吸引人并且有助于分析。实施正射校正,平滑扫描和大气补偿等遥感技术的需求可能会吓跑许多潜在的数据科学家。

遥感技术的例子

RDA动态执行这些处理步骤,以向用户提供所需的特定图像产品。我们通过在AWS中交易存储来进行计算。从机器学习的角度来看,这是因为我们可以结合SageMaker和RDA动态地将图像获取到模型训练环境中。这意味着我们现在可以访问更加丰富多彩的数据库来构建更好的模型。

image.png

我们很高兴能够在动态培训数据环境中利用SageMaker。这为DigitalGlobe提供了系统地从我们的图像中提取智能的潜力。我们喜欢在机器学习中看到良性循环,现在所有这些成分都已到位。

image.png

使用SageMaker的培训和模型托管服务,我们可以以编程方式在我们的图像中找到感兴趣的对象,并使用经过验证和验证的结果来增强我们的培训数据。这意味着我们推断下一个卫星收集随着时间的推移会变得更好。我们可以从架构的角度来看待这个问题,将过程分解为图像的探索,培训和模型的编排以及结果的消耗。

image.png

然后,由此产生的经过良好调整的模型可以帮助我们跨越我们的100 PB容量的数据存档来查找有趣的数据,并将当前结果放入历史背景中。我们可以在下面的例子中看到这一点,将SageMaker创建的建筑物检测模型应用于拉斯维加斯当前的卫星图像。然后我们复制7年的分析和300幅图像,将结果放在上下文中。

image.png

由于托管的SageMaker模型可以流畅地扩展,我们可以为希望执行各种对象检测和分割的客户提供GBDX笔记本的交互式用户体验。还有更多的用途我们还没有发现。


Bigemap GIS Office 国产基础软件

Bigemap GIS Office 国产基础软件

Bigemap GIS Office是一个全面且易于使用的国产化基础软件,为用户提供数据处理、编辑、数据分析、集成以及可视化呈现的综合数据集平台。支持上百种数据格式:shp/kml/kmz/dwg/dxf/gpx/csv/excel/txt/tiff/geotiff/osgb/mbtiles/tiles等,对数据流转、嵌入、融合、以及更多地为用户提供数据的增强处理及多种分析工具。在不同场景不同行业下支持坐标系转换CGCS2000/WGS84/Xi’an80/Beijing54/UTM等多种投影互转互换、支持专题地图、大数据加载、航拍影像、矢量数据、栅格数据的导入导出、瓦片切片及地图服务发布。

了解详情>>
《GBDX笔记本和亚马逊SageMaker系统地挖掘地理空间数据》文章链接二维码

微信扫一扫
分享到朋友圈

下一篇

更多行业信息
获取正版授权

方式一:自动授权

关注官方微信号
BIGEMAP微信公众号
操作步骤:
①关注官方微信号
②点击【自助授权】
③按提示完成操作!
注:此功能暂未完成

方式二:扫一扫

免费授权微信群

微信客服 在线客服

免费咨询电话

400-028-7262

028-65472965

淘宝店铺

bigemap.taobao.com

联系我们