本文示例代码已上传至我的Github仓库https://github.com/CNFeffery/DataScienceStudyNotes

1 简介

　　大家好我是费老师，geopandas作为我们非常熟悉的Python GIS利器，兼顾着高性能和易用性，特别是在其0.12.0版本开始使用全新的shapely2.0矢量计算后端后，性能表现更是一路狂飙。

　　而我们作为使用者，当然是希望geopandas处理分析矢量数据越快越好。在今天的文章中，我将为大家简要介绍如何基于dask对geopandas进一步提速，从而更从容的应对更大规模的GIS分析计算任务。

2 dask-geopandas的使用

　　很多朋友应该听说过dask，它是Python生态里非常知名的高性能计算框架，可以针对大型数组、数据框及机器学习模型进行并行计算调度优化，而dask-geopandas就是由geopandas团队研发的，基于dask对GeoDataFrame进行并行计算优化的框架，本质上是对dask和geopandas的封装整合。

　　dask-geopandas的安装非常简单，在已经安装了geopandas的虚拟环境中，执行下列命令即可：

conda install dask-geopandas -c conda-forge -y

2.1 基础使用

　　dask-geopandas与geopandas的常用计算API是相通的，但调用方式略有不同，举一个实际例子，其中示例文件demo_points.gdb由以下代码随机生成并写出：

import numpy as np

import geopandas as gpd

from shapely import Point, Polygon

# 生成示例用矢量数据

demo_points = gpd.GeoDataFrame(

    {

        'id': range(1000000),

        'geometry': [

            Point(np.random.uniform(0, 90),

                  np.random.uniform(0, 90))

            for i in range(1000000)

        ]

    }

)

# 写出到本地gdb

demo_points.to_file('./demo_points.gdb', driver='OpenFileGDB')

　　在使用dask-geopandas时，我们首先还是需要用geopandas进行目标数据的读入，再使用from_geopandas()将其转换为dask-geopandas中可以直接操作的数据框对象，其中参数npartitions用于将原始数据集划分为n个数据块，理论上分区越多并行运算速度越快，但受限于机器的CPU瓶颈，通常建议设置npartitions为机器可调度的CPU核心数：

demo_points = gpd.read_file('./demo_points.gdb', driver='OpenFileGDB')

demo_points_ddf = dgpd.from_geopandas(demo_points, npartitions=4)

demo_points_ddf

　　在此基础上，后续执行各种运算都需要在代码末尾衔接.compute()，从而真正执行前面编排好的运算逻辑，以非矢量和矢量运算分别为例：

2.2 性能比较

　　既然使用了dask-geopandas就是奔着其针对大型数据集的计算优化而去的，我们来比较一下其与原生geopandas在常见GIS计算任务下的性能表现，可以看到，在与geopandas的计算比较中，dask-geopandas取得了约3倍的计算性能提升，且这种提升幅度会随着数据集规模的增加而愈发明显，因为dask可以很好的处理内存紧张时的计算优化：

　　当然，这并不代表我们可以在任何场景下用dask-geopandas代替geopandas，在常规的中小型数据集上dask-geopandas反而要慢一些，因为徒增了额外的分块调度消耗。

　　除了上述的内容外，dask-geopandas还有一些实验性质的功能，如基于地理空间分布的spatial_partitions数据分块策略优化等，待它们稳定之后我会另外发文为大家介绍。

　　以上就是本文的全部内容，欢迎在评论区与我进行讨论~

（数据科学学习手札150）基于dask对geopandas进行并行加速的更多相关文章

（数据科学学习手札140）详解geopandas中基于pyogrio的矢量读写引擎
本文示例代码已上传至我的Github仓库https://github.com/CNFeffery/DataScienceStudyNotes 1 简介大家好我是费老师,前不久我在一篇文章中给大家分享 ...
（数据科学学习手札50）基于Python的网络数据采集-selenium篇（上）
一.简介接着几个月之前的(数据科学学习手札31)基于Python的网络数据采集(初级篇),在那篇文章中,我们介绍了关于网络爬虫的基础知识(基本的请求库,基本的解析库,CSS,正则表达式等),在那篇文 ...
（数据科学学习手札47）基于Python的网络数据采集实战（2）
一.简介马上大四了,最近在暑期实习,在数据挖掘的主业之外,也帮助同事做了很多网络数据采集的内容,接下来的数篇文章就将一一罗列出来,来续写几个月前开的这个网络数据采集实战的坑. 二.马蜂窝评论数据采集 ...
（数据科学学习手札75）基于geopandas的空间数据分析——坐标参考系篇
本文对应代码已上传至我的Github仓库https://github.com/CNFeffery/DataScienceStudyNotes 1 简介在上一篇文章中我们对geopandas中的数据结 ...
（数据科学学习手札44）在Keras中训练多层感知机
一.简介 Keras是有着自主的一套前端控制语法,后端基于tensorflow和theano的深度学习框架,因为其搭建神经网络简单快捷明了的语法风格,可以帮助使用者更快捷的搭建自己的神经网络,堪称深度 ...
（数据科学学习手札42）folium进阶内容介绍
一.简介在上一篇(数据科学学习手札41)中我们了解了folium的基础内容,实际上folium在地理信息可视化上的真正过人之处在于其绘制图像的高度可定制化上,本文就将基于folium官方文档中的一些 ...
（数据科学学习手札40）tensorflow实现LSTM时间序列预测
一.简介上一篇中我们较为详细地铺垫了关于RNN及其变种LSTM的一些基本知识,也提到了LSTM在时间序列预测上优越的性能,本篇就将对如何利用tensorflow,在实际时间序列预测任务中搭建模型来完 ...
（数据科学学习手札32）Python中re模块的详细介绍
一.简介关于正则表达式,我在前一篇(数据科学学习手札31)中已经做了详细介绍,本篇将对Python中自带模块re的常用功能进行总结: re作为Python中专为正则表达式相关功能做出支持的模块,提供 ...
（数据科学学习手札69）详解pandas中的map、apply、applymap、groupby、agg
*从本篇开始所有文章的数据和代码都已上传至我的github仓库:https://github.com/CNFeffery/DataScienceStudyNotes 一.简介 pandas提供了很多方 ...
（数据科学学习手札61）xpath进阶用法
一.简介 xpath作为对网页.对xml文件进行定位的工具,速度快,语法简洁明了,在网络爬虫解析内容的过程中起到很大的作用,除了xpath的基础用法之外(可参考我之前写的(数据科学学习手札50)基于P ...

随机推荐

实验：笔记本电脑做桥接有线网络，笔记本通过wifi连手机热点,，硬件通过笔记本的有线网口上网
1.问题我们需要做实验,将我们设计的W5500实验板上internet, 搭建环境比较麻烦. 1)学校上网需要先HTTP认证: 2)家里经常路由器固定位置,没有足够长的网线: 3)有时候需要临时搭 ...
莫凡PYthon之keras 1
莫凡PYthon 1 kearsregressionpython Regressor 回归用神经网络去拟合数据. 主要代码 """ Regressor 回归 " ...
教你三分钟开发开发java短信验证码
现如今,绝大多数网站和app都需要支持手机号注册.手机登录,这就需要开发者实现短信验证码的功能,对于很多小白同学来说,没接触过,没有思路,下面小编就给大家详解一下. 发送短信的功能需要借助第三方的短信 ...
python编程中的if __name__ == 'main': 的作用
python的文件有两种使用的方法,第一是直接作为脚本执行,第二是import到其他的python脚本中被调用(模块重用)执行. 因此if __name__ == 'main': 的作用就是控制这两种 ...
2202.10.11 CSP-S 2021 测试总结
2022.10.11 CSP-S 2021 测试总结这场打的好心累, $T1$ 想了 $1$ 个多小时才想出来的, $T2$,$T4$题意赛时还没读明白. $T1$:廊桥分配 \ ...
5-3 掌握 egg.js + 云 mongodb
1 egg.js 1.1 初始化初始化和项目启动方法 # 初始化 $ mkdir egg-example && cd egg-example $ npm init egg --typ ...
swoft-个基于 Swoole 原生协程的PHP 微服务框架
刚才百度了一下swoft框架,官网打不开了,仓库也暂停了.不由感慨.曾经和同事踩了许多坑使用此极其小众的框架完成微服务项目.使用它的唯一目的就是提高程序性能(底层使用了协程),为此大家都学习了很多新知 ...
texstudio设置外部浏览器及右侧预览不能使用问题
刚装的texstudio,今天不知什么原因右侧显示的pdf文件一直是以前的,百度了下没找到,自己摸索了下,只需要把构建里面pdf查看器更改下即可如果想更改外部pdf查看器,只需要设置下命令里面外部p ...
python excel使用
python excel使用 https://blog.csdn.net/m0_59235508/article/details/122808875 pandas不覆盖写入 https://blog. ...
localtime函数
localtime函数: 将时间数值变换成本地时间,考虑到本地时区和夏令时标志; 原型: struct tm *localtime(const time_t * calptr); 头文件 <ti ...