数据分析处理

[rainit2006]

---

[rainit2006]

网络资源 https://www.zhihu.com/question/37180159

• 视频讲座 https://www.youtube.com/watch?v=TO0iHGEHLBM

常用的库

• Numpy （南派）： 来存储和处理大型矩阵。 本身是由C语言开发。这个是很基础的扩展，其余的扩展都是以此为基础。数据结构为ndarray

• Pandas： Pandas: 基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。 Pandas 纳入了大量库和一些标准的数据模型，提供了高效地操作大型数据集所需的工具。最具有统计意味的工具包，某些方面优于R软件。数据结构有一维的Series，二维的DataFrame。

• Scipy： Scipy： 方便、易于使用、专为科学和工程设计的Python工具包.它包括统计,优化,整合,线性代数模块,傅里叶变换,信号和图像处理,常微分方程求解器等等。

IDE工具 推荐两个： spyder和jupyter notebook， 这两个通过安装Anaconda，就同时有了。

[rainit2006]

NumPy: import numpy as np

入門サイト（Python でデータサイエンス） http://pythondatascience.plavox.info/

[rainit2006]

Jupiter notebook http://codingpy.com/article/getting-started-with-jupyter-notebook-part-1/

■ shortcut key Shift+Enter:セルの実行、次のセルへ移動 ctrl +Enter:セルの実行のみ

■ notebook 有一个非常有趣的特性，就是可以修改之前的单元格，对其重新计算，这样就可以更新整个文档了。

■Markdown单元格 （Jupyter 不再区分Header， 统一为Markdown单元格） 点击在快捷键栏中的单元格类型，将其变成一个标题单元格（Markdown）。

■如何编写数学公式： Point：在Markdown模式里输入，然后点击RUN Cell才可以。

https://www.jianshu.com/p/93ccc63e5a1b 为了在行内编写数学公式，你需要使用单$符, 比如：$y=mx+b$，在 $符之间的所有内容，都将被视为数学符号进行渲染。

在LaTeX中，符号之间的空格会被自动移除，所以$$ \int f(x) dx $$ 显示为 函数和 dx 之间没有空格，你能通过 \, 或 \: 或 \;添加空格，其空格宽度分别为从小到大。所以 $$\int f(x) ; dx$$ 显示为：

■使用matplotlib 注意：要想在Jupiter notebook里显示出matplotlib图表，必须第一行加上“%matplotlib inline”。

[rainit2006]

案例

• Matplotlibのmplot3dで3Dグラフを作成 （二次元のガウス分布を可視化） https://note.nkmk.me/python-matplotlib-mplot3d/

• 【Python入門】Pythonを使った気象データ分析 https://avinton.com/blog/2018/01/weather-data-visualization-with-python/

  1， 从API里获得json数据
  response = requests.request( “GET”, url, params=querystring )
  2，json数据读取并进行正规化转换
  data = json.loads( response.text )
  entry_data = json_normalize( data['entries'] )
  ３. pandasのDataFrame形式に変換します。
  df = pd.DataFrame( entry_data )
  4， データ取得時の時間データをdatetime64形式に変換します。
  df['axes.time'] = pd.to_datetime(df['axes.time'])
  5， 気温データを絶対温度から摂氏に変換します。
  6，可视化表示
  df.plot( x='axes.time', y='data.Temperature_surface', figsize=(16,4) )

[rainit2006]

Pandas_DBReader https://note.nkmk.me/python-pandas-datareader-stock-population/