search

data-com / weekly

For community discussion on the weekly topics, please click here https://github.com/data-com/discussions
65 stars 0 forks source link

Data Weekly [第一期] #1

Closed emptymalei closed 3 years ago

emptymalei commented 5 years ago

News

  1. All 29 AI announcements from Google Next ‘19: the smartest laundry list：Google Next 2019 会议上展示的 AI 相关的产品，包括文档和多媒体的自动化，新的 AI Platform （Jupyter Notebooks，数据标注等等），Google Cloud Run，还有非常神奇的 BigQuery（Google 家的 Data Warehouse）上的 SQL 机器学习等等。

Science/Math/Statistics

  1. Hopfield, J. J. (1982). Neural networks and physical systems with emergent collective computational abilities. Proceedings of the national academy of sciences, 79(8), 2554-2558.：Hopfield Network 的论文。这篇论文用能量来作为信息的一种测量，通过能量的最小化的过程，Hopfield Network 可以对破坏或者不全的信息进行猜测然后还原。这是一篇非常原始的工作，但是这与 Boltzmann Machine 是相同的，都是 energy based learning，只是算法并非 LeCun 的基于 Monte Carlo 的算法。这个文章第一次用非常简单而漂亮的方法联系起了两个非常重要的领域：学习和统计物理，利用统计物理领域多年的积累，我们对于学习有了更加深刻的认识。

Technology

  1. Go Serverless

    设想我们现在有一个 ETL/ELT data pipeline，这条 pipeline 用来每天晚上把特定的数据处理好然后保存在我们的 data warehouse 中，这样一来，这条 pipeline 很多时候是无所事事的。

    如果我们的（云）服务器为了这条 pipeline 而一直处在活跃状态，就不是那么划算。这时候 serverless 就正好派上用场：我们只需要为这个 pipeline 真正执行任务的这段时间付费，而且如果我们的 pipeline 需要更多的资源，服务也会自动为我们提升性能，不用担心性能不够导致 pipeline 失败的问题。

    注释：

    1. ETL: Extract (from multiple data sources), Transform (to standardize and clean data ), Load (to data warehouse)
    2. ELT: Extract, Load, Transform；不同于 ETL，数据是先保存下来然后在进行转换的。参考：The Promise of ELT Over ETL: Analysis, Not Paralysis
    3. serverless: 定义比较多样，基本上是整个服务环境被管理，安全管理，性能的自动调整，负载均衡的服务环境； Cloud Programming Simplified: A Berkeley View on Serverless Computing
    4. Google Cloud Run：任何 container 都可以作为 serverless 的环境，不再受限制于云服务提供的运行环境，你可以通过 container 来配置你的代码需要的任何环境。Container 是一种把运行环境和代码放在一起提供的方案，例如 Docker. 通过这样提供环境+代码的形式，我们可以在不同的平台 100% 重现代码运行结果。

Communication/Visualization

  1. 200 Years of U.S. Immigration Looks Like the Rings of a Tree：把美国 200 年的移民历史绘制成年轮一样的图案，既保留了可视化的准确性，又展现除了数据可视化的艺术的魅力：美国正如同这个年轮所呈现的一样，被移民们持续地塑造着。 image

如果想要分享你的视角或者经历或者建议，可以通过 Discussions 来提交，或者参与讨论，也可以写邮件给我们：hi@getdataweekly.com

来自 GetDataWeekly.com

Analytics

850075610 commented 5 years ago

Visualization 部分的移民历史年轮图实在是很有趣，我在想如果能拿到源数据用python生成一个三维的pie chart 会是什么效果呢？