2019 大學部專題規劃

[mdecourse]

行動裝置導向電腦輔助協同機械設計平台

Mobile Oriented Computer Aided collaborative mechanical Design platform (MOCAD)

1. Try to move Fossil SCM Fuel (in Qt) to mobile devices.
2. Try to create a mobile interface for Pyslvs.
3. Try to create a mobile interface for image identification deep learning of mechanical parts.

任務一

先了解 https://fuel-scm.org/fossil 所提供的功能, 並開始透過 https://flutter.dev/ 了解如何利用 Dart 程式語言開發跨 Android 與 IOS 的手機程式, 希望能夠建立一個 Apps, 取代 Fuel 所具備的部分功能, 讓參與協同專案的成員能夠透過此一手機介面將相關資料送回遠端 Fossil Server.

另外, 參考 https://www.fossil-scm.org/index.html/wiki?name=Fossil-NG 所啟動的下一代 Fossil SCM 改進要點, 或利用類似 https://github.com/duytq94/flutter-chat-demo 的專案內容, 將協同討論內容整合入 Fossil SCM 系統.

任務二

了解如何利用 Flutter 建立手機介面程式後, 希望能夠透過 AJAX 讓使用者在手機上的程式表單, 輸入參數, 送到遠端 server 執行 Pyslvs 中的核心程式, 分析結束後將資料或 animated gif 送回手機.

最終目的希望能夠利用手機介面操控 Pylsvs 的所有平面機構分析與合成功能.

http://mde.tw/cp2019_fall/content/Cython.html

任務三

了解如何利用 Flutter 建立手機介面程式後, 希望能夠利用手機拍攝機械零件, 送回後端深度學習系統進行影像辨識, 取得各零件位置與名稱 (螺絲或螺帽) 後送回手機, 之後再視進度, 根據此機械零件資訊, 由手機啟動控制訊號, 送回 V-rep 系統控制機械手臂進行零件分類.

https://github.com/kmolLin/object_detection http://mde.tw/2017springcd/blog/vrep-planar-mechanism-simulation.html Learn Computer Vision Using OpenCV.pdf

其他相關

利用手機拍攝二維條碼, 轉為 Pyslvs 中的 PMKS 數列, 用來進行平面機構分析與合成資料輸出入.

利用手機拍攝平面機構, 進行深度學習辨識後, 轉為 PMKS 數列或該機構的對應二維條碼.

[mdecourse]

Flutter 與 QRcode

https://medium.com/flutter-community/building-flutter-qr-code-generator-scanner-and-sharing-app-703e73b228d3

https://pub.dev/packages/qr_flutter

https://pub.dev/packages/qrcode_reader

https://github.com/iampawan/FlutterQRScanner-App

https://github.com/bcko/flutter_qrcode_reader

https://www.youtube.com/watch?v=1bNME5FWWXk

[mdecourse]

利用瀏覽器控制 V-rep 模型運動

https://github.com/mdecourse/pymcadp/tree/gh-pages/data/v-rep/vrep-api-python-demo

希望能將此一範例轉為 Flutter based, 利用手機上應用程式控制 V-rep 模型運動. 之後再設法以手機取多張零件圖片, 設法送到後端進行影像辨識或深度學習.

參考:

web_vrep.zip web_vrep2.zip

https://www.youtube.com/watch?v=Jq0-DkEwwj4 https://github.com/Phylliade/ikpy