请选择 进入手机版 | 继续访问电脑版

我爱科技论坛

 找回密码
 立即注册

QQ登录

只需一步,快速开始

查看: 2721|回复: 2

[免费资源] 使用Python抓取腾讯宜出行热力图数据实战

[复制链接]

696

主题

743

帖子

8281

积分

管理员

Rank: 9Rank: 9Rank: 9

积分
8281

最佳新人活跃会员热心会员推广达人宣传达人灌水之王突出贡献优秀版主荣誉管理论坛元老

发表于 2018-5-12 19:31:26 | 显示全部楼层 |阅读模式
1.jpg
1.具体的抓取程序已经放在后面了,供大家下载安装,下面具体说一下使用方法。
软件使用了渔网形式来抓取腾讯宜出行的热力图数据,使用要准备号一张你要进行抓取的目标城市的shape文件,在ArcGIS中打开这个文件后,使用前现在ArcGiS软件中生成渔网操作,在数据管理工具->要素类->创建渔网来进行创建一个渔网。具体的步骤已经截图如下:
2.jpg


2.将图层属性中的坐标设置为投影坐标,然后加载shp文件,再使用创建渔网工具进行渔网创建,选择你需要创建渔网的图层,勾选创建标注点,同时像元高度和像元宽度设置为2600(即2.6km),其他参数默认即可。我们需要的使渔网的标注点,删除不需要的标注点,之后设置图层属性中坐标系为wgs1984,生成wgs1984坐标下的经纬度,即可导入宜出行工具中使用。


3.下面把整个程序的主文件目录介绍一下
3.1 chromedriver.exe是你需要使此程序正常跑起来的一个谷歌浏览器驱动,将这个驱动放在你的谷歌浏览器的安装目录,并且把驱动的路径添加到系统环境变量
3.2 data.txt 是我们刚才使用ArcGIS生成的渔网坐标点数据
3.2 main.py 这是我们的爬虫主程序,提前在你的电脑上面配置好Python3.6版本的环境,然后在DOS窗口直接使用python main.py即可运行主程序
3.3 qqlist.py 由于每个QQ有爬取次数限制,大概在120次左右吧,所以这里可以设置多个QQ号,一个QQ号反扒了之后会自动切换到另外一个QQ继续爬取数据
3.4 run.bat 如果你不想输入刚才的DOS命令运行这个程序,那就直接双击这个文件即可运行
3.5 settings.py 这个是程序要抓取的目标地区的输入参数,例如目标城市,城市四至界限的经纬度等
3.6 transCoordinateSystem.py 腾讯坐标系与其他坐标系的相互转换
3.jpg


程序下载链接:链接:https://share.weiyun.com/59JIwFH 密码:25zu2p
关于本程序的更多使用说明,文章内容版权请参见文章:https://zhuanlan.zhihu.com/p/30772570




上一篇:安卓手机局域网断网神器可查看WIFI密码的黑科技神器
下一篇:OCR图片转文字利器+屏幕截图转文字最新功能加强升级版本
发帖求助前要善用【论坛搜索】功能,那里可能会有你要找的答案; 如果你在论坛求助问题,并且已经从坛友或者管理的回复中解决了问题,请把帖子分类或者标题加上【已解决】。
发表于 2018-7-30 18:50:07 | 显示全部楼层
楼主这个方法还不错哈
发帖求助前要善用【论坛搜索】功能,那里可能会有你要找的答案; 如果你在论坛求助问题,并且已经从坛友或者管理的回复中解决了问题,请把帖子分类或者标题加上【已解决】。

0

主题

1

帖子

14

积分

新手上路

Rank: 1

积分
14
发表于 2021-9-26 20:19:37 | 显示全部楼层
感谢楼主分享,看起来不错,只是压缩包的密码是?
发帖求助前要善用【论坛搜索】功能,那里可能会有你要找的答案; 如果你在论坛求助问题,并且已经从坛友或者管理的回复中解决了问题,请把帖子分类或者标题加上【已解决】。
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

微信扫一扫

快速回复 返回顶部 返回列表