本案例由于google每天每个账户能post20000次所以我们需要相对较长的时间来抓去google的数据信息。

主要思路:通过一定的zoom一个相对较大的zoom。我们尽可能的搜索我们的所有数据。 之后我们获取google的搜索数据如下图

我们要抓去的就是上面的小红点了。 我这边抓去全国的小区信息用一台服务器跑了20天左右将全国的小区信息基本上都抓到了。 小到县 镇 的小区信息也抓到了。 相对还是比较理想。当时分析消耗了大量的时间。 由于我需要获取这个小区名称以及地图的坐标点所以这块还是有一定的分析的技术含量的。

抓去的数据不是只有 一个页面我们需要post分页抓去。这点需要注意。代码当时只是比较简单的处理。 注重的是过程就不上传了。 给大家提供一些思路。

我们需要定义2个非常主要的google的url这两个是我们获取地址信息以及经纬度信息的关键点。

private string areaStr = "http://mt0.google.com/vt/pt?lyrs=m%40215000000&las={0}%3B{1}%3B{2}%3B{3}&z=14&ptv=1";
private string areaInfoStr = "http://mt0.google.com/vt/ft?lyrs=lmq:1000:%E5%B0%8F%E5%8C%BA|cc:CN|h:a|s:109146043351405611748|xc:14&las={0}&z=15&gl=cn&hl=zh-CN&xc=1";

程序的主要思路是将整个中国的范围包含在我们设置的区域里。 之后就程序自动拖动获取小区信息。 在抓去详细信息。

private void GetAraeInfo(string araeCode)
{
int zoom = ;
var objPar = new object[];
objPar[] = this.currentPointF.X;
objPar[] = this.currentPointF.Y;
objPar[] = zoom;
wbGoogle.Document.InvokeScript("SetCenter", objPar);
var latlngArr = wbGoogle.Document.InvokeScript("GetBounds").ToString().Split(',');
this.subX = double.Parse(latlngArr[]) - double.Parse(latlngArr[]);
this.subY = double.Parse(latlngArr[]) - double.Parse(latlngArr[]);
string url = string.Format(areaStr, latlngArr[], latlngArr[], latlngArr[], latlngArr[]);
GetInfo(url, araeCode);
bool flag = false;
while (true)
{
if (this.currentPointF.X > this.rightBottomPointF.X)
{
this.currentPointF.X = this.currentPointF.X - this.subX;
}
else
{
if (flag)
{
break;
}
this.currentPointF.Y = this.currentPointF.Y + this.subY;
this.currentPointF.X = this.leftTopPointF.X;
if (this.currentPointF.Y > this.rightBottomPointF.Y)
{
flag = true;
}
}
//地图设置中心点
objPar[] = this.currentPointF.X;
objPar[] = this.currentPointF.Y;
objPar[] = zoom;
Console.WriteLine("X:" + this.currentPointF.X + " Y:" + this.currentPointF.Y);
wbGoogle.Document.InvokeScript("SetCenter", objPar);
latlngArr = wbGoogle.Document.InvokeScript("GetBounds").ToString().Split(',');
url = string.Format(areaStr, latlngArr[], latlngArr[], latlngArr[], latlngArr[]);
GetInfo(url, araeCode);
Thread.Sleep();
Application.DoEvents();
}
}

获取html数据信息当然也是少不了的。

public static String GetHtml(string url)
{
try
{ HttpWebRequest req = HttpWebRequest.Create(url) as HttpWebRequest;
req.Timeout = * ;
req.Method = "get";
req.ContentType = "application/x-www-form-urlencoded";
req.Accept = "*/*";
req.Headers.Add(HttpRequestHeader.AcceptLanguage, "zh-CN");
req.UserAgent = "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; Trident/4.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E)";
HttpWebResponse response = req.GetResponse() as HttpWebResponse;
Stream stream = response.GetResponseStream();
MemoryStream buffer = new MemoryStream();
Byte[] temp = new Byte[];
int count = ;
while ((count = stream.Read(temp, , )) > )
{
buffer.Write(temp, , count);
} return System.Text.Encoding.GetEncoding("utf-8").GetString(buffer.GetBuffer());//.UTF8.GetString();
}
catch
{
return String.Empty;
}
}
 private void GetInfo(string url, string araeCode)
{ string html = GetHtml(url);
if (string.IsNullOrWhiteSpace(html))
return;
html = html.Substring(, html.Length - );
int index = html.IndexOf("]}");
var javascript = new JavaScriptSerializer();
html = html.Substring(, index);//},{
var a = html.Split(',');
List<area> areaLst = new List<area>();
for (int i = ; i < a.Length; i = i + )
{
area area = new area();
area.id = a[i].Substring(, a[i].Length - );
area.zrange = a[i + ] + a[i + ];
area.layer = a[i + ];
area.epoch = a[i + ];
areaLst.Add(area);
}
foreach (var item in areaLst)
{
string tmpurl = string.Format(areaInfoStr, item.id);
string insertHtml = GetHtml(tmpurl);
string tmp = insertHtml;
string baseStr = string.Empty;
int indexTitle = tmp.IndexOf("base:");
if (indexTitle != -)
{
tmp = tmp.Substring(indexTitle + , tmp.Length - indexTitle - );
indexTitle = tmp.IndexOf("]");
if (indexTitle != -)
{
baseStr = tmp.Substring(, indexTitle);
tmp = tmp.Substring(indexTitle, tmp.Length - indexTitle);
}
}
List<AreaInfo> strLst = new List<AreaInfo>();
while (true)
{
AreaInfo areaInfo = new AreaInfo();
areaInfo.Offset = baseStr;
areaInfo.AreaCode = araeCode;//行政区划码
areaInfo.ID = Guid.NewGuid();
string aStr = string.Empty;
indexTitle = tmp.IndexOf("a:");
if (indexTitle != -)
{
tmp = tmp.Substring(indexTitle + , tmp.Length - indexTitle - );
indexTitle = tmp.IndexOf("]");
if (indexTitle != -)
{
aStr = tmp.Substring(, indexTitle);
areaInfo.InnerOffset = aStr;
tmp = tmp.Substring(indexTitle, tmp.Length - indexTitle);
}
} indexTitle = tmp.IndexOf("title:");
if (indexTitle != -)
{
tmp = tmp.Substring(indexTitle + , tmp.Length - indexTitle - );
//获取小区信息
indexTitle = tmp.IndexOf(",");
if (indexTitle != -)
{
string araeName = tmp.Substring(, indexTitle).Replace("\\", "").Replace("\"", "");
areaInfo.Name = araeName;
if (!strLst.Exists(p => p.Name == araeName))
{
strLst.Add(areaInfo);
//lsvAreaInfo.Items.Add(araeName);
}
tmp = tmp.Substring(indexTitle, tmp.Length - indexTitle);
}
}
else
{
break;
}
Thread.Sleep();
Application.DoEvents();
} Application.DoEvents();
Thread.Sleep(); }
}

至此我们就可以通过代码来获取google地图中你需要获取的信息。 此案例为获取全国小区信息。 当然我们需要获取其他查询的信息也是可行的。 具体的数据分析我并没用测试。但是原理应该是一样的。希望对你有帮助。

当然我的这个抓去时间主要是由于google的单用户访问次数有关。 可以购买相关的google产品获取想要的数据。

根据google地图抓去全国信息- 抓去全国小区以及新建楼盘信息的更多相关文章

  1. Google地图路线规划

    Google地图路线规划: 需求:给定的两点之间Google地图路径规划和详情. 代码实现: //map定义省略 var directionsDisplay = new google.maps.Dir ...

  2. Google 地图 API V3 使用入门

    Google官方教程: Google 地图 API V3 使用入门 Google 地图 API V3 针对移动设备进行开发 Google 地图 API V3 之事件 Google 地图 API V3 ...

  3. Google 地图 API V3 针对移动设备进行开发

    Google官方教程: Google 地图 API V3 使用入门 Google 地图 API V3 针对移动设备进行开发 Google 地图 API V3 之事件 Google 地图 API V3 ...

  4. Google 地图 API V3 之事件

    Google官方教程: Google 地图 API V3 使用入门 Google 地图 API V3 针对移动设备进行开发 Google 地图 API V3 之事件 Google 地图 API V3 ...

  5. Google 地图 API V3 之控件

    Google官方教程: Google 地图 API V3 使用入门 Google 地图 API V3 针对移动设备进行开发 Google 地图 API V3 之事件 Google 地图 API V3 ...

  6. Google 地图 API V3 之 叠加层

    Google官方教程: Google 地图 API V3 使用入门 Google 地图 API V3 针对移动设备进行开发 Google 地图 API V3 之事件 Google 地图 API V3 ...

  7. Flex加载google地图、百度地图以及天地图作底图

    一  Flex加载Google地图作底图 (1)帮助类GoogleLayer.as /* * 根据输入的地图类型加载Google地图(by chenyuming) */ package Layers ...

  8. 20+ 个很有用的 jQuery 的 Google 地图插件

    转自:http://www.oschina.net/translate/20-useful-jquery-google-maps-plugins Google 地图在寻找我们想要了解的商店或者其它有趣 ...

  9. Google地图接口API之Google地图 API 参考手册(七)

    Google 地图API 参考手册 地图 构造函数/对象 描述 Map() 在指定的 HTML 容器中创建新的地图,该容器通常是一个DIV元素. 叠加层 构造函数/对象 描述 Marker 创建一个标 ...

随机推荐

  1. [Django]用户权限学习系列之User权限基本操作指令

    针对Django 后台自带的用户管理系统,虽说感觉还可以,但是为了方便用户一些操作,特别设计自定义的用户权限管理系统. 在制作权限页面前,首先需要了解权限和用户配置权限的指令,上章讲到权限的添加,删除 ...

  2. redis-string1

    package com.ztest.redis.string; import com.sun.istack.internal.logging.Logger;import com.ztest.redis ...

  3. em和rem及rem在移动的应用

    <!DOCTYPE html> <html> <head> <meta charset="utf-8" /> <style t ...

  4. Struts2 web.xml文件配置

    在导入了项目需要使用的核心jar包之后需要在web.xml中配置Struts. 1. Struts2的知识点普及: Struts2共有5类配置文件,分别罗列如下: 1), Web.xml; 在没有使用 ...

  5. xpath 笔记

    from lxml import etree info = f.read()  # requests.get().text # print(info) selector=etree.HTML(info ...

  6. linux 2.6.32.220的一个crash记录

    有同事分析一个crash,我参与了分析,记录如下,供遇到相同crash的兄弟参考: crash> bt PID: TASK: ffff881723ce8080 CPU: COMMAND: &qu ...

  7. 第8月第19天 django rest

    1. def retrieve(self, request, pk=None): try: book = Book.objects.get(book_id=pk) except Book.DoesNo ...

  8. C#交换两个变量值的多种写法

    在学习.Net/C#或者任何一门面向对象语言的初期,大家都写过交换两个变量值,通常是通过临时变量来实现.本篇使用多种方式实现两个变量值的交换. 假设int x =1; int y = 2;现在交换两个 ...

  9. k8s相关文档

    kube-dns组件架构区别看这个就够了 http://cizixs.com/2017/04/11/kubernetes-intro-kube-dns kubed-dns设置细节看这个就够了 http ...

  10. python 写hive循环脚本

    要一个月的数据 一次跑一周的数据 ,建表用插入数据的方法: import os, sys reload(sys); sys.setdefaultencoding( "utf-8" ...