Platform Engineering 공부

hdfs federationhadoop에서 가장 중요한 노드를 꼽으라면 당연 네임노드가 가장 중요한 노드라고 할 수 있다. 모든 사용자는 hdfs에서 접근하기 위해서 네임노드를 통해서 데이터 노드 위치를 확인하여 데이터 노드에 데이터를 읽거나 쓸 수 있다.이렇게나 중요한 네임노드는 HA를 위해서 Active, Stand by 노드로 2개 이상 노드로 구성하지만 실질적인 쓰기 작업에는 Active 네임 노드만을 사용한다.(옵저버 네임노드를 사용하면 데이터 읽기는 네임 노드 부하 분산 가능) 그렇기에 Active 네임노드에 문제가 발생하면은 hdfs 자체를 사용할 수 없는 SPOF(단일 장애 지점)이다.  적재되는 데이터 수가 작다면은 생성되는 파일 갯수가 적어 네임노드가 관리해야할 메타 데이터 적어서 괜찮..

HDFS(Hadoop Distributed File System)이란? HDFS는 상용 하드웨어에서 실행되도록 설계된 분산 파일 시스템 HDFS는 내결함성이 높고 저비용 하드웨어에서 동작하도록 설계 내부적으로 파일은 하나 이상의 블록으로 분할되어 DataNode 세트에 저장 NameNode & DataNode HDFS는 Java를 지원하는 모든 시스템에서 NameNode 또는 DataNode 소프트웨어 실행 가능 이식성이 뛰어난 Java를 사용하여 HDFS를 다양한 시스템에 배포 가능 NameNode: DFS(Distributed File System)에 대한 정보들을 지니고 있음 파일 시스템 네임스페이스 관리 파일 및 디렉터리 열기, 닫기 및 이름 바꾸기 와 같은 파일 시스템 네임스페이스 작업을 실행 ..