Samsung / SamsungAutomationStudio

Samsung Automation Studio is to provide development tools and execution environment that can easily configure application logic by connecting both Samsung service and 3rd party service. This project is to share the node for open source NodeRED developed by Samsung Automation Studio team to the community. If you are using nodered, you can easily install the node we provide. And you can use Samsung's IoT and AI-related services more easily, and you can have an extended experience in conjunction with your own services.
Apache License 2.0
56 stars 29 forks source link

Request to add object detection node and data extraction nodes #59

Closed Orchemi closed 1 year ago

Orchemi commented 1 year ago

Korean

안녕하세요. Samsung SW Academy For Youth 7th의 SASM 오픈소스 프로젝트 팀 '5생활관'입니다.

Samsung Automation Studio for Mashup(이하 SASM)에 기존 motion-pose와 함께 object detection 요소를 추가하여 사용자가 위치한 장소에 따라 motion pose가 의도하는 플로우를 달리 할 수 있는 다형성을 확보하였습니다. 동시에 motion pose과 object의 상호작용을 분석하여 log를 남기고 이를 시각화하는 dashboard chart를 제작하였습니다.

또한 이 플로우에서 API를 활용해 이후 동작을 연계하는 과정에서 활용되는 데이터 추출(data extraction) 노드까지 제작하였습니다.


저희가 개발한 노드들에 대한 설명을 간략하게 요약하겠습니다.

이름 내용
object detection 80여 개의 사물 인식/판단 및 로그 기록
object person determine 인식된 사람과 상호작용하고 있는 사물이 무엇인지 판단
log 사물 및 사람 인식에 대한 로그 기록을 정해진 형식의 파일로 저장
data extractor API 데이터의 특정 부분만을 선택 및 추출
data filter API 데이터의 일부 요소가 특정 조건을 만족하는 경우 특정 부분을 선택 및 추출


개발한 노드들에 대한 세부 내용은 아래의 링크를 참고해주시기 바랍니다.


본 노드와 플로우를 제작하기까지 기획 및 개발 과정에서 여러 인사이트와 기술적으로 지원해주신 삼성전자 김선학 멘토님과 이진규 멘토님, 그리고 SSAFY 관계자분들께 깊은 감사를 드립니다.


English

Hello. This is the SASM open source project team 'D5MI' of Samsung SW Academy For Youth 7th.

By adding the object detection element along with the existing motion-pose to Samsung Automation Studio for Mashup (hereafter referred to as SASM), polymorphism that allows the intended flow of motion pose to vary depending on the location of the user has been secured. At the same time, we created a dashboard chart that analyzes the interaction between motion pose and object, leaves a log and visualizes it.

In addition, using the API in this flow, data extraction nodes that is used in the process of linking subsequent actions was also created.


We will briefly summarize the descriptions of the nodes we have developed.

name description
object detection recognition/judgment of over 80 objects and recording of logs
object person determine determine which object is interacting with the recognized person
log saves log records of object and person recognition in a file in a fixed format
data extractor selects and extracts only a specific part of API data
data filter select and extract a specific part of API data when some elements satisfy specific conditions


For details on the developed nodes, please refer to the link below.


We would like to express our deepest gratitude to mentors Seonhak Kim and Jinkyu Lee of Samsung Electronics, mentors of Samsung Electronics, and SSAFY officials for providing various insights and technical support during the planning and development process until the production of this node and flow.

SangWoo-Han97 commented 1 year ago

7주동안 멘토링해주셔서 너무 감사했습니다!!