[질문] nifi jython-script 질문입니다.

[idaeho]

Nifi 기능 리뷰후 질문

• (Q) 몇개 서버노드에 배포해야 하는가?
• (Q) Dockerizing 하려고 하면, 고려할 사항은?
  • 권장 자원(CPU,Mem,Disk ..) 할당량, 외부 디스크 엑세스 등..
• 이중화 고려사항은?
• 설치시 필수 오픈소스는? 예: zookeeper ?
• 바이너리 CDR과 같은 대량 데이터 처리는?
  • 또는 kafka 와 spark streaming 과 혼용하는 방식은?
• [KDN 산출물 활용]
  • (1) 템플릿 게시판 기능
  • (2) nifi 데몬 모니터링
  • (3) nifi 개별 작업 모니터링 —> 예: 수집/전처리/분석 모니터링 필요할 것임.
    • 개별 프로세스 ID를 알아야 모니터링 하지 않는가?
• 리눅스 쉘 명령어는?
  • 이벤트 플로우처럼 웹 화면 없이, 콘솔에서 워크플로우 그룹을 기동/정지 등을 할수 있는가?

[kyieon]

[KDN 산출물 활용] (1) 템플릿 게시판 기능 => NiFi 웹에서 만든 Flow로 템플릿을 생성하면 메뉴에서 템플릿을 XML 형태로 다운 받을 수 있습니다. 이 파일을 가지고 NiFi에 업로드 하면 템플릿이 저장되고 리턴 값으로 템플릿 id를 받게 됩니다. 그 후 템플릿 id를 가지고 템플릿 인스턴스를 생성하면 기존 템플릿 Flow가 만들어지게 됩니다.

(2) nifi 데몬 모니터링 => NiFi의 데몬을 모니터링 하기 위해서는 NiFi 권한 중에 'view system diagnostics' 권한이 필요합니다. 이 권한이 있어야만 NiFi 데몬의 자원 정보 등을 모니터링 할 수 있습니다.

(3) nifi 개별 작업 모니터링 —> 예: 수집/전처리/분석 모니터링 필요할 것임. 개별 프로세스 ID를 알아야 모니터링 하지 않는가? => 그룹 id를 가지고 그 안에 하위 프로세서 정보를 List로 수집합니다.