DataCenter 规划

[wh1100717]

@zq920320 @sunyazhou13 @GeorageLiang

DataCenter

DataCenter 是整个项目中的数据自动化处理模块，与 BackMange (后台系统，主要为运营内容的人服务，目前主要是提供一个添加景点内介绍信息的平台)不同，中心着眼于非人工参与，因此数据自动化处理的部分都放在 DataCenter 模块，能实现数据自动化就尽量不要运营(人工运营成本太高)。

DataCenter 随着项目的拓展可能会延伸出很多不同的内容，比如构造假的用户数据，数据统计及分析，大数据处理等等，但目前我们着重将其定义为自动化丰富旅游数据的核心模块。

目前状态

在 Step/old/Spider 中已经实现了以下功能：

• 抓取百度旅游收录的所有城市的所有景点名称
• 根据景点名称获取对应的详细景点信息（这里可能需要讨论我们到底都需要哪些信息）
• 抓取景点的地理位置坐标 ( @sunyazhou13 ，这个需要讨论，关于坐标逆向解析我这边还有一些疑问)
• 抓取百度收录的景点的范围坐标信息
• 数据格式化
• 数据持久化(整体选用的是MongoDB，已经实现信息到MongoDB的存储)

  Next()

实际上还有很多工作没有完成，而且 DataCenter 这块永无止境，没有最好，只有更好，这里做的越强大，其他方面困难就会越少。

目前涉及到的需要去做的事情：

• 实现图片的下载
• 对防盗链的图片进行伪造身份下载
• 图片又拍云上传
• 百度地理位置坐标格式及范围坐标格式转换
• 旅游数据不完整性检测
• 城市旅游资源包的生成及压缩

  Whats more

除此之外，需要了解目前国内(最好也看国外)的旅游产品，最新动向，是否可以提供一些额外的创业和想法。以及如何丰富咱们数据库中的旅游数据。