Apache Iceberg 간략 정리 하기
Apache iceberg는 방대한 분석 데이터 세트를 위한 오픈 테이블 포맷SQL 테이블처럼 작동하는 고성능 테이블 포맷 사용Spark, Trino, PrestoDB, Flink, Impala를 포함한 컴퓨팅 엔진에 테이블을 추가주요 특징스키마 진화(Schema Evolution)추가, 삭제, 업데이트 또는 이름 바꾸기를 지원 → 테이블의 스키마를 유연하게 변경Hive와의 차이Hive에서 스키마 변경은 제한적Hive는 새로운 컬럼 추가는 가능 기존 컬럼의 삭제나 데이터 타입 변경은 어려움숨겨진 파티셔닝(Hidden Partitioning)파티션 관리 방식을 단순화하여 실수로 인한 잘못된 결과나 성능 저하를 방지 → 복잡한 쿼리에서도 잘못된 파티셔닝 회피Hive와의 차이Hive에서도는 파티셔닝을 사용자가..
BigData/iceberg
2024. 9. 20. 19:30
공지사항
최근에 올라온 글
최근에 달린 댓글
- Total
- Today
- Yesterday
링크
TAG
- java8
- error
- Bigdata
- zabbix
- flink
- 빅데이터
- Dataflow
- spark driver
- OOM
- Discovery Rule
- exporter
- openjdk1.8
- 실시간처리
- Nifi Service
- Item Prototypes
- MAT
- namenode
- lld
- Federation
- prometheus
- hdfs
- Apache Nifi
- 설정에러
- flow.xml.gz
- hadoop
- Nifi Architecture
- nifi.flowcontroller.autoResumeState
- Apache
- bigdata #data_mesh
- nifi
| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | ||||
| 4 | 5 | 6 | 7 | 8 | 9 | 10 |
| 11 | 12 | 13 | 14 | 15 | 16 | 17 |
| 18 | 19 | 20 | 21 | 22 | 23 | 24 |
| 25 | 26 | 27 | 28 | 29 | 30 | 31 |
글 보관함