Platform Engineering 공부

HDFS(Hadoop Distributed File System)이란? HDFS는 상용 하드웨어에서 실행되도록 설계된 분산 파일 시스템 HDFS는 내결함성이 높고 저비용 하드웨어에서 동작하도록 설계 내부적으로 파일은 하나 이상의 블록으로 분할되어 DataNode 세트에 저장 NameNode & DataNode HDFS는 Java를 지원하는 모든 시스템에서 NameNode 또는 DataNode 소프트웨어 실행 가능 이식성이 뛰어난 Java를 사용하여 HDFS를 다양한 시스템에 배포 가능 NameNode: DFS(Distributed File System)에 대한 정보들을 지니고 있음 파일 시스템 네임스페이스 관리 파일 및 디렉터리 열기, 닫기 및 이름 바꾸기 와 같은 파일 시스템 네임스페이스 작업을 실행 ..

Nifi CA 차이로 인한 재기동 불가 이슈 [main] ERROR org.apache.nifi.properties.ConfigEncryptionTool - Encountered an error: Decryption Failed with Algorithm [PBEWITHMD5AND256BITAES-CBC-OPENSSL] [main] ERROR org.apache.nifi.properties.ConfigEncryptionTool - Exception: org.apache.nifi.encrypt.EncryptionException: Decryption Failed with Algorithm [PBEWITHMD5AND256BITAES-CBC-OPENSSL] at org.apache.nifi.encrypt.Ci..

flow.xml.gz 동기화로 인해 발생하는 에러로 정상적인 flow.xml.gz 파일을 복사한 후 재기동 하면된다. 2023-12-07 04:59:55,610 INFO [Process Cluster Protocol Request-459] o.a.n.c.c.node.NodeClusterCoordinator Status of nifi.io:9091 changed from NodeConnectionStatus[nodeId=nifi.io:9091, state=CONNECTING, updateId=106] to NodeConnectionStatus[nodeId=nifi.io:9091, state=DISCONNECTED, Disconnect Code=Node's Flow did not Match Cluster F..

Nifi를 운영하면서 flow.xml.gz으로 인한 재기동 이슈가 많이 발생하였다. 단일 노드에서 Nifi를 사용한다면 해당 이슈가 발생하지 않겠지만 클러스터 환경에서는 flow 변경 시 즉각 동기화가 이루어져야 하는데 여러 요인으로 인해 특정 노드가 동기화되지 못하는 이슈가 있을 수 있다. 문제 발생 시 주로 flow controller와 flow.xml.gz이 다르다는 이유로 재기동 이후에 강제로 셧다운 되는 경우가 많았다. 그래서 도대체 flow.xml.gz 안에 어떠한 내용들이 있길래 차이가 발생하는지 직접 확인해 보았다. flow.xml.gz이란? DFM(DataFlowManger)이 Nifi 사용자 인터페이스 컨버스에 모든 내용을 저장하기 위한 파일 기본적으로 nifi/conf에 디렉터리에 저..

Nifi는 Java 기반의 프로젝트로 JVM 위에서 동작한다. 운영시에는 클러스터 환경에서 Nifi를 구성하지만 단일 노드에서도 Nifi 구성 가능하다.Nifi ArchitectureWeb ServerNifi의 Http 기반의 명령과 제어 API 제공웹서버에서 데이터를 가공하고 분배하는 Flow 를 생성Flow ControllerNifi의 핵심적인 부분으로  실제 데이터를 가공하고 분배하는 작업 영역flow.xml.gz도 관리하여 모든 노드의 flow를 동기화 역할FlowFile Repository현재 만들어진 FlowFile의 Meta Data 저장소Meta DataFlow file의 위치 Flow file의 상태 (어떤 connection/queue에 존재하는지)Flow file의 AttributeC..

Nifi의 슬로건을 보면 "An easy to use, powerful, and reliable system to process and distribute data"로써 쉬운 사용이 가능하며 강력하고 신뢰성 있는 시스템으로 분산처리가 가능하다고 말하고 있다. 실제로 Nifi를 사용해 보면 직관적인 UI 덕분에 누구나 손쉽게 데이터 플로우를 구성 가능함을 알 수 있다. Nifi는 NiagaraFiles의 줄임말로써 미국국가안보국(NAS)에서 처음 개발되어 사용되었다가 Apache에 기증되면서 오픈 소스가 되어 많은 곳에서 사용할 수 있게 되었다. Nifi의 장점 실시간 처리에 적합 (파일 생성시 실시간으로 DB 혹은 FTP로 전송 가능) 확장성이 좋음 (Scale Out 방식으로 언제든지 신규 노드 증설 ..