fkubota / Carrier-Owl

arxiv--> DeepL --> Slack/LINE
MIT License
329 stars 356 forks source link

arxiv_apiで昨日の論文を取得しようとすると取得数が0になってしまう。 #51

Closed fkubota closed 3 years ago

fkubota commented 3 years ago

@wakamezake
前日の論文がapiに反映されるのは少し時間がかかるんですかね? それとも、apiの調子が悪いのか...

  1. 2日前の論文を通知する
  2. apiの調子が悪いと考えてしばらく様子を見る

を考えています。

funwarioisii commented 3 years ago

自分も同じ状況だったので共有です。

私は毎朝午前11時50分頃に自分は通知が飛ぶように設定していて、昨日と今日の取得件数が0件でした。 先程再度実行してみたところ、無事に取得でき、通知が飛びました。 自分の config.yaml は こちらになります。 毎日どれかにはヒットするのかなと思っていたのですが、通知が来ないのでおかしいなと思っていました。

fkubotaさんが仰るように、反映されるまで時間がかかるのかもしれません 🤔

wakame1367 commented 3 years ago

反映されるのが時間がかかるようですね、こちらの見落としてでした申し訳ありません。 @fkubota さんがおっしゃるように2日前の論文を通知するという方法が一旦の解決策としてよいかもしれません。

fkubota commented 3 years ago

@funwarioisii
ご報告ありがとうございます。
自分だけじゃないことがわかってよかったです。

fkubota commented 3 years ago

@wakamezake
いえいえ。僕も夜に作業することが多くその時には数件確認できていたので盲点でした...
PRもありがとうございます。

fkubota commented 3 years ago

@wakamezake @funwarioisii
取り急ぎfixしました。
この変更をフォークしたユーザに知らせたいのですが、「フォークしたユーザに知らせる」みたいな機能がgithubにあればいいんですがあったりしますかね? 軽く調べたんですが見つからず...
なにか知っていれば教えていただけますと幸いです。

wakame1367 commented 3 years ago

そういう機能は聞いたことないですね、以前フォークした方々に知らせるにはTwitterで周知するでしょうか。

fkubota commented 3 years ago

@wakamezake ありがとうございます。 やっぱりないですかぁ。 とりあえずTweetしときました!

wakame1367 commented 3 years ago

さきほどwork_dispatchを使って動かしてみました、とりあえずうまく動いてるようです。 config.yamlはこちらです。

2021/1/7分Slack通知テキスト
``` ******************************************************************************** 2021-01-07 num of articles = 3 ******************************************************************************** 7:54 score: 3.0 hit keywords: ['resnet'] url: http://arxiv.org/abs/2101.01373v1 title: 物理的な距離とフェイスマスクを監視する自動システム COVID-19パンデミックにおける建設作業員の着用について abstract: COVID-19パンデミックは、世界中の様々な産業に多くの操業停止をもたらしまし た。インフラストラクチャーの建設やメンテナンスプロジェクトのような分野では、人々 の日常生活に大きな影響を与えているため、中断はされていません。このようなプロジェ クトでは、作業員が近接して作業を行うため、感染症のリスクが高くなります。世界保健 機関(WHO)では、ウイルスの拡散を抑えるために、フェイスマスクの着用と物理的な 距離感を保つことを推奨しています。本論文では、パンデミック時のインフラプロジェク トにおいて、建設作業員のフェイスマスク着用や身体的距離の取り方の違反を自動的に検 出し、安全性を確保するためのコンピュータビジョンシステムを開発した。フェイスマス ク検出のために、様々なタイプのフェイスマスク着用の画像を含む1,000枚の画像を 収集して注釈を付け、既存のフェイスマスクデータセットに追加して1,853枚のデー タセットを作成した。次に、フェイスマスクデータセット上で複数のTensorflo w最先端の物体検出モデルを訓練・テストし、99.8%の精度を実現したFaster R-CNN Inception ResNet V2ネットワークを選択しました。物理的距離の検出には、Faster R-CNN Inception ResNet V2を採用した。カメラの角度が画像上の物体の距 離に与える影響を排除するために,変換行列を使用しました.ユークリディアン距離は、 変換された画像のピクセルを使用して、人と人の間の実際の距離を計算します。閾値は6 フィートとし、物理的な距離違反を検出するために考慮した。また、この論文ではモデル のトレーニングに伝達学習を用いた。最終的なモデルは,テキサス州ヒューストンの道路 メンテナンスプロジェクトの4つのビデオに適用され,フェイスマスクと物理的距離を効 果的に検出した.本研究では,パンデミック時の建設作業員の安全性を向上させるために ,建設事業主が本システムを利用することを提案した. ******************************************************************************** 7:54 score: 1.0 hit keywords: ['anomaly detection'] url: http://arxiv.org/abs/2101.01689v1 title: 金融のための時間ベースの知識抽出によるラベル補強 異常検出 abstract: 金融サービス業界では、異常を検知することがますます重要になってきています。異常事 象は、詐欺、個人情報の盗難、ネットワーク侵入、口座乗っ取り、マネーロンダリングな どの違法行為を示すことがよくあります。金融の異常検知のユースケースは、特に詐欺の 手口が常に変化するような敵対的な環境では、根本的なパターンの動的な性質に直面して います。新しいパターンに合わせてモデルを再訓練することは絶対に必要ですが、急激な 変化に対応するためには、モデルを古いパターンから遠ざけたり、学習データのサイズを 継続的に大きくしたりするなど、別の課題が発生します。結果として生じるデータの増加 は管理が難しく、最新の攻撃に対するモデルの敏捷性を低下させます。また、データサイ ズの制限や最新のパターンを追跡する必要があるため、実際には古い時間帯が削除されて しまうことが多く、脆弱性の原因となっている。本研究では、古いモデルの学習を利用し て、最新のモデルを強化するためのラベル増強アプローチを提案する。実験の結果、提案 手法は学習時間を大幅に短縮し、性能向上の可能性があることを示した。 ******************************************************************************** 7:54 score: 1.0 hit keywords: ['anomaly detection'] url: http://arxiv.org/abs/2101.01363v1 title: データと知識を組み合わせたアノマリーの説明を探る 多変量産業データ abstract: IoTデータの高性能な異常検知技術は、特に産業分野において急務となっています。I oTデータマイニングにおいて、時系列データにおける異常の特定とその説明は重要な課 題の一つである。既存の異常検知技術では、異常の特定に重点が置かれているため、異常 の説明が十分に行われていないのが現状である。本論文では、多変量IoTデータの異常 説明問題に取り組み、3段階の自己完結型手法を提案する。本論文では、この問題を解決 するために、3段階の自己完結型の手法を提案する。さらに、大規模IoTシステムの実 データセットを用いた実験結果から、本手法が高品質な異常の説明解を計算できることを 検証する。本研究では、IoT障害診断と時間的データクリーニングの両方において、説 明可能な異常検出をナビゲートするためのガイドを提供する。 ******************************************************************************** ```
fkubota commented 3 years ago

@wakamezake ご確認ありがとうございます。 ほっとしました…