TDAクラウドシステム対応

takeshimeonerespect commented 4 years ago

2020-2-18

flake8: Pythonの文法チェックツール

takeshimeonerespect commented 4 years ago

2020-2-28

TDA library APIに関する議論
- transformメソッドの仕様変更 ※（理由）vectorの出力仕様が変更になるため。
- 新スコア算出関数
- チェック機能/エラー処理追加外部実装？
- 内部で実装しているChunking用のクラス「TimeSeries」の仕様変更、もしくは、新しくクラスを作成する等の対応 ※（理由）　List[datetime, 数値]のフォーマットを、チャンキングする機能なので、　List[datetime, 多次元配列]に対応していない。
- vectorは、チャンクサイズごとに同一の値を複製して、datetime付きで返却しており、単純にスコア計算すると、同一の計算を複数回実施することになる。もし、チャンク化してスコアを計算する方式をとる場合、vectorのchunk_sizeの情報がないので、例えば、同一の値がいくつ続くか？等で判定してチャンク化し、また、元に戻す処理を新規で実装する必要がある。
今後の課題
- 前処理関数の外部実装(現状: 内部実装)
- scikit-learn互換の維持(source code管理をsimpleに)

takeshimeonerespect commented 4 years ago

2020-3-9

GitLabからGitHubへのリポジトリの移行(copy)手順

GitHubに新しいrepository(TDA_library)を作成する
git clone --mirror http://extra-gitlab.forum.ac2.flab.fujitsu.co.jp/mtakenouchi/pd-vectorizationtda.git
cd pd-vectorizationtda.git/
git remote add --mirror=push github https://github.com/takeshimeonerespect/TDA_library.git
git push github

takeshimeonerespect commented 4 years ago

2020-03-11

3/11までに完了するべきこと

[x] TDA libraryがLambdaで動作することを確認
[ ] 3/31までのTask(作業)整理
[ ] クリティカルパスの洗い出し

Expected Outputs

https://github.com/F-AIR/meetings/blob/master/TDA-Cloud-System.md

[High] Source codes for AWS services, front-end, back-end server
[Middle] Test codes for AWS services, front-end and back-end
- The number of tests (Unittest)
- Test Coverage is more than 95% (code level)
- No warning with style check (Pylint for Python and ESLint for JavaScript)
[High] Script to setup environment
[Low] Documentation (System Design, System Configuration)
[Middle] CI/CD environment
[High] Running Service on AWS
[High] Security check

takeshimeonerespect commented 4 years ago

2020-03-13

F-AIR(GDCとのGitHub共同アカウント)へのTDA libraryの共有

F-AIRにrepository(tda-library)作成
git clone http://extra-gitlab.forum.ac2.flab.fujitsu.co.jp/mtakenouchi/PD-vectorizationtda.git
git checkout dev-tda-cloud
git push https://github.com/F-AIR/tda-library

takeshimeonerespect commented 4 years ago

2020-03-16

サーバ公開審査申請書 B. 案件の概要

情報の内容 □非技術情報会社情報、経理情報など □非該当/対象外(「該当」だが許可不要の技術含む) 特許などで既に公知の技術の意？

takeshimeonerespect commented 4 years ago

2020-03-17

Front-end
- URLをX, yにそれぞれ付与
Back-end
- X-Url and y-Urlが与えられていないため今は動かせないが、明日は動作可能
- スクリーンショットを送ってもらうようお願いした tda_app/vec_fn/app.py
- Get log Why do you choose CloudWatch over CloudTrail? Maciejが戻って議論しないとわからない
Front-end / Back-end
- unittest: possible
- integration test: impossible
- app_sam: deploy application stack
Next meeting 2020-03-24 17:00-18:00

takeshimeonerespect commented 4 years ago

2020-03-25_1

GitHub Actions
- CI/CDに関連する機能をGutHub自ら実装したもの
- repositoryに対するpush, pullrequestといった操作、もしくは指定した時刻になるといったイベントをトリガーとして、あらかじめ定義しておいた処理を実行する機能
- 実行する処理とその処理を実行する条件を定義したものをWorkflowと呼ぶ
- WorkflowはYAML形式で記述し、repository内の.github/workflowsディレクトリ内に保存することで実行可能となる

takeshimeonerespect commented 4 years ago

2020-03-25_2

配列の連結 np.hstackを使う

[[1, 2, 3], 
[2, 3, 4], 
[3, 4, 5]]

takeshimeonerespect commented 4 years ago

2020-04-09

npm（Node Package Manager）: Node.jsを使う上で必要となるパッケージを管理するツール

takeshimeonerespect commented 4 years ago

2020-04-12

service workerとは

高速アクセスを可能とするウェブサービスを提供するための技術

メインのブラウザスレッドの外側で実行される特殊なJavaScriptファイル
ブラウザとネットワークの間に立って次に示す機能を実行

ネットワークリクエストの処理

ブラウザで発生するネットワークへのリクエストをservice workerが受け取り、
どのように処理するかを決定・実行する。

ネットワークにアクセスする
キャッシュのみを利用する
リクエストされた先と異なるソースからまったく新しいレスポンスを作成（HTML構築を含む）

事前データの読み込み

service workerのインストール中にファイルをプリロード（事前読み込み）することが可能。また、シンプルな静的ウェブサイトでは、すべてのHTML、CSS、および JavaScriptをプリロードすることで、off line時でも機能を維持できる。

プッシュ通知

ネイティブアプリと同様、プッシュ通知を受け取って表示可能。ユーザーが1度、サイトを訪問してプッシュ通知を許可することは必要であるが、それ以降は、ブラウザが開いていなくてもウェブサイトからプッシュ通知のメッセージを送り、service workerがそれを受け取ってコンピュータ上で表示できる。

バックグラウンド同期

サーバーにデータを送信する場合、off line状態であれば、ネットワーク接続状態に戻るまでデータ通信を保留、後から処理が可能。

takeshimeonerespect commented 4 years ago

2020-04-17

ファイル更新の基本手順
- 他のリポジトリの変更点をローカルリポジトリにマージ
- ファイルを追加
- ファイルをコミット
- ファイルを更新
```
git pull [変更点の取り込み元リポジトリ] #マージ 
git add [ファイル名] # 追加
git commit -a -m "任意のコメント"  # コミット(-aオプションは変更を自動検出)
git push origin master  # masterを更新
```
  tda-libraryのファイルを追加・更新する場合
```
git pull
git add gridsearch.py
git commit -a -m "Add files via upload"
git push origin dev-tda-cloud
```
  git pull git cloneコマンドで作成したリポジトリの場合、.git/config内の「remote」項目
  などに複製元リポジトリのURLが自動的に記録されるため、複製元リポジトリから
  pullを行う場合は、取り込み元リポジトリを指定しなくとも実行可能

takeshimeonerespect / take_shimeone