apiVersion: apps/v1 kind: Deployment metadata: name: kafka-1 spec: replicas: 1 selector: matchLabels: app: kafka instance: kafka-1 template: metadata: labels: ...

kafka에는 데이터를 보내는 프로듀서, 그걸 받는 브로커, 소비하는 컨슈머가 있다. 프로듀서에서 보내진 데이터는 브로커 안의 토픽에 저장되게 되는데, 토픽 안에는 파티션이 있다. 예를 들어 서버가 3대이고 각 서버별로 kafka를 설치해서 클러스터를 구성한다면 토픽을 생성할 때 설정을 넣어줄 수 있다. 파티션과 레플리카로 나뉘는데, 파티션은 데...

from datetime import datetime from airflow.decorators import dag from airflow.operators.python import PythonOperator import requests import json from confluent_kafka import Producer import pendulum...

수정 필요함 from datetime import datetime from airflow.decorators import dag from airflow.operators.python import PythonOperator import requests import json from confluent_kafka import Producer, Consum...

kafka 테스트 방법 sudo docker exec -it {컨테이너ID} bash cd /opt/kafka/bin ./kafka-console-consumer.sh –bootstrap-server localhost:9092 –topic topic_GetUserInfo –from-beginning ./kafka-topics.sh –delete...

netstat -lntp 위 명령어로 포트 사용중인지 검색 kill -9 PID 위 명령어로 연결중인 포트 끊기

apiVersion: apps/v1 kind: Deployment metadata: name: kafka-1 spec: replicas: 1 selector: matchLabels: app: kafka instance: kafka-1 template: metadata: labels: ...

경로 cd /usr/local/flink/conf/config.yaml 수정 bind address를 0.0.0.0으로 바꾼다. port 주석을 풀어주고 8081 포트를 사용한다. 참고 sudo lsof -i :8081 위 명령어로 8081 포트가 사용중인지 확인한다. 사용중이라면 아래 명령어로 포트 연결을 끊고 다시 시도한다. ...

목차 0. 설치환경 1. 설치 명령어 2. 설치 테스트 0. 설치환경 OS: window10 app: Ubuntu or Wsl 1. 설치 명령어 1. sudo apt-get update 2. sudo apt-get install ca-certificates curl 3. sudo install -m 0755 -d /etc/apt/key...

하둡 분산파일시스템(HDFS) 하둡이란? Hadoop은 Reliable, Scalable하게 분산 처리를 하기 위한 오픈 소스 소프트웨어이다. Hadoop은 Map-Reduce라는 단순한 데이터 처리 모델을 사용함으로써 여러 대의 컴퓨터를 통해 손쉽게 대규모 데이터를 처리하고자 한다. 분산 파일 시스템인 HDFS(Hadoop Distributed...