현재 Bhaptics TactSuit X40 이용하여 연구를 진행하고 있는 대학원생입니다.
올해 대규모 메타버스 공연을 설계하는 프로젝트에서 비햅틱스사의 햅틱 슈트를 이용하려 합니다.
비햅틱스 사의 audio to tactile 기능을 응용하여 공연에서 적용하고 싶어 기술적 방향을 잡고자 글을 남기게 되었습니다.
비햅틱스 사의 audio to tactile 기능은 real-time으로 음악 신호를 각 주파수 대역에서 진동 세기 변환 알고리즘을 통해 매핑된 위치의 ERM actuator가 활성화되는 것으로 보이는데요. 제가 이용하고 싶은 것은 실시간 음악 처리가 아닌 녹음된 음악에 적합한 진동 레코딩 파일을 만들고자 합니다. 하지만 Bhaptics designer를 통해 레코딩된 파일을 만들 수 있으나 json 파일로 이루어져 있는 것을 확인했습니다. 이는 key값이 매우 많고 노래에 맞게 진동 패턴을 디자인 하는 것은 어려움이 있을 것으로 보입니다.
어떤 방법으로 음악에 알고리즘을 적용하여 진동 레코딩 파일로 저장할 수 있을 지 조언부탁드립니다.
제가 한 가지 생각한 방법은 MATLAB을 통해 필터링(200Hz, 400Hz, ...)된 음원을 만들고 Audio to tactile 알고리즘을 적용하여 진동 타이밍을 text 파일에 저장하고, 이를 다시 json (.tact) 파일로 저장하려 했습니다. 하지만 .json 파일은 많은 key값을 포함하여 만들 때 엄청난 시간이 요구될 것으로 보여 다른 방법을 생각하고 있습니다.
그리고 귀사의 Bhaptics player의 실시간 audio to tactile 기능에서 음악을 받아 어떻게 처리되어 특정 위치의 진동자를 매핑시키는 지 알고 싶습니다. 즉, 그 사이에 주고 받는 정보와 처리를 어떻게 하는 지 궁금합니다. (예로 Bhaptics player ->아두이누 정보 처리 과정) 이에 대한 답으로 외부로 공유되지 않은 스크립트가 있을 수 있는 데, audio to tactile에 사용되는 스크립트를 어느 정도 공유해주실 수 있으신 지 궁금합니다.
SanghunK
commented
2 years ago
안녕하세요,
현재 Bhaptics TactSuit X40 이용하여 연구를 진행하고 있는 대학원생입니다. 올해 대규모 메타버스 공연을 설계하는 프로젝트에서 비햅틱스사의 햅틱 슈트를 이용하려 합니다. 비햅틱스 사의 audio to tactile 기능을 응용하여 공연에서 적용하고 싶어 기술적 방향을 잡고자 글을 남기게 되었습니다.
비햅틱스 사의 audio to tactile 기능은 real-time으로 음악 신호를 각 주파수 대역에서 진동 세기 변환 알고리즘을 통해 매핑된 위치의 ERM actuator가 활성화되는 것으로 보이는데요. 제가 이용하고 싶은 것은 실시간 음악 처리가 아닌 녹음된 음악에 적합한 진동 레코딩 파일을 만들고자 합니다. 하지만 Bhaptics designer를 통해 레코딩된 파일을 만들 수 있으나 json 파일로 이루어져 있는 것을 확인했습니다. 이는 key값이 매우 많고 노래에 맞게 진동 패턴을 디자인 하는 것은 어려움이 있을 것으로 보입니다. 어떤 방법으로 음악에 알고리즘을 적용하여 진동 레코딩 파일로 저장할 수 있을 지 조언부탁드립니다.
제가 한 가지 생각한 방법은 MATLAB을 통해 필터링(200Hz, 400Hz, ...)된 음원을 만들고 Audio to tactile 알고리즘을 적용하여 진동 타이밍을 text 파일에 저장하고, 이를 다시 json (.tact) 파일로 저장하려 했습니다. 하지만 .json 파일은 많은 key값을 포함하여 만들 때 엄청난 시간이 요구될 것으로 보여 다른 방법을 생각하고 있습니다.
그리고 귀사의 Bhaptics player의 실시간 audio to tactile 기능에서 음악을 받아 어떻게 처리되어 특정 위치의 진동자를 매핑시키는 지 알고 싶습니다. 즉, 그 사이에 주고 받는 정보와 처리를 어떻게 하는 지 궁금합니다. (예로 Bhaptics player ->아두이누 정보 처리 과정) 이에 대한 답으로 외부로 공유되지 않은 스크립트가 있을 수 있는 데, audio to tactile에 사용되는 스크립트를 어느 정도 공유해주실 수 있으신 지 궁금합니다.
감사합니다. 좋은 하루 되세요 ~