Platform Engineering 공부

Nifi CA 차이로 인한 재기동 불가 이슈 [main] ERROR org.apache.nifi.properties.ConfigEncryptionTool - Encountered an error: Decryption Failed with Algorithm [PBEWITHMD5AND256BITAES-CBC-OPENSSL] [main] ERROR org.apache.nifi.properties.ConfigEncryptionTool - Exception: org.apache.nifi.encrypt.EncryptionException: Decryption Failed with Algorithm [PBEWITHMD5AND256BITAES-CBC-OPENSSL] at org.apache.nifi.encrypt.Ci..

Nifi는 Java 기반의 프로젝트로 JVM 위에서 동작한다. 운영시에는 클러스터 환경에서 Nifi를 구성하지만 단일 노드에서도 Nifi 구성 가능하다.Nifi ArchitectureWeb ServerNifi의 Http 기반의 명령과 제어 API 제공웹서버에서 데이터를 가공하고 분배하는 Flow 를 생성Flow ControllerNifi의 핵심적인 부분으로  실제 데이터를 가공하고 분배하는 작업 영역flow.xml.gz도 관리하여 모든 노드의 flow를 동기화 역할FlowFile Repository현재 만들어진 FlowFile의 Meta Data 저장소Meta DataFlow file의 위치 Flow file의 상태 (어떤 connection/queue에 존재하는지)Flow file의 AttributeC..

Nifi의 슬로건을 보면 "An easy to use, powerful, and reliable system to process and distribute data"로써 쉬운 사용이 가능하며 강력하고 신뢰성 있는 시스템으로 분산처리가 가능하다고 말하고 있다. 실제로 Nifi를 사용해 보면 직관적인 UI 덕분에 누구나 손쉽게 데이터 플로우를 구성 가능함을 알 수 있다. Nifi는 NiagaraFiles의 줄임말로써 미국국가안보국(NAS)에서 처음 개발되어 사용되었다가 Apache에 기증되면서 오픈 소스가 되어 많은 곳에서 사용할 수 있게 되었다. Nifi의 장점 실시간 처리에 적합 (파일 생성시 실시간으로 DB 혹은 FTP로 전송 가능) 확장성이 좋음 (Scale Out 방식으로 언제든지 신규 노드 증설 ..