- rocky 8
- kafka 3.5.1 (scala 2.13)
- 경로: /APP/kafka
- JAVA: java open jdk 11
1. 파일 다운로드
https://kafka.apache.org/downloads
Apache Kafka
Apache Kafka: A Distributed Streaming Platform.
kafka.apache.org
2. 로컬에서 CMD를 열고 설치하고자 하는 가상머신으로 SFTP 접속
3. put kafka
4. 압축 풀어주기
[kafka@kafka1 kafka]$ gzip -d kafka_2.13-3.5.1.tgz
[kafka@kafka1 kafka]$ tar xvf kafka_2.13-3.5.1.tar
[kafka@kafka1 kafka]$ ls -lrt
total 212580
drwxr-xr-x. 7 kafka kafka 105 Jul 15 01:53 kafka_2.13-3.5.1
-rw-rw-r--. 1 kafka kafka 110914560 Sep 19 21:43 kafka_2.13-3.5.1.tar
5. 서버 config 변경해주기 (로그 파일 변경하고 싶으면. 기존 옵션을 그대로 사용하고 싶으면 패스해도 됨)
vi /APP/kafka/kafka_2.13-3.5.1/config/kraft/server.properties
나는 이 log.dirs를 /LOG/kraft-combined-logs로 변경했다.
6. 자바 설치
자바를 설치하기 전에, 내 PC의 아키텍처를 보자 ..
'hostnamectl' 을 사용하면 알 수 있다. --> Architecture x86 인 것 확인.
[kafka@kafka1 kafka_2.13-3.5.1]$ hostnamectl
Static hostname: kafka1
Icon name: computer-vm
Chassis: vm
Machine ID: c11463b35c2e46689b7abfa1b295ea0c
Boot ID: 9f5a2776e5d945ec9750b6804e12a778
Virtualization: oracle
Operating System: Rocky Linux 8.7 (Green Obsidian)
CPE OS Name: cpe:/o:rocky:rocky:8:GA
Kernel: Linux 4.18.0-425.19.2.el8_7.x86_64
Architecture: x86-64
하나 더 중요하게 살펴봐야할 점은, 내가 설치할 카프카와 설치할 자바가 서로 호환되냐의 여부다.
https://kafka.apache.org/documentation.html#java
Apache Kafka
Apache Kafka: A Distributed Streaming Platform.
kafka.apache.org
JAVA8은 곧 서비스가 중지될 예정이고 (카프카 4.0부터), 11은 적극 추천. 17도 괜찮아보인다.
https://adoptium.net/download/
Latest Releases | Adoptium
adoptium.net
- OpenJDK11U-jdk_x64_linux_hotspot_11.0.20.1_1.tar.gz 를 설치했다.
설치 후 다시 sftp 로 접속하여 옮겼다.
sftp>
sftp> put OpenJDK11U-jdk_x64_linux_hotspot_11.0.20.1_1.tar.gz
Uploading OpenJDK11U-jdk_x64_linux_hotspot_11.0.20.1_1.tar.gz to /home/kcy/OpenJDK11U-jdk_x64_linux_hotspot_11.0.20.1_1.tar.gz
OpenJDK11U-jdk_x64_linux_hotspot_11.0.20.1_1.tar.gz 100% 186MB 163.0MB/s 00:01
sftp>
압축 해제
[kafka@kafka1 ~]$
[kafka@kafka1 ~]$ gzip -d OpenJDK11U-jdk_x64_linux_hotspot_11.0.20.1_1.tar.gz
[kafka@kafka1 ~]$
[kafka@kafka1 ~]$ ls -lrt
total 316820
-rwxr-xr-x. 1 kafka kafka 324423680 Sep 19 22:08 OpenJDK11U-jdk_x64_linux_hotspot_11.0.20.1_1.tar
[kafka@kafka1 ~]$
[kafka@kafka1 ~]$ tar xvf OpenJDK11U-jdk_x64_linux_hotspot_11.0.20.1_1.tar
[root@kafka1 kafka]# mkdir /usr/lib/jvm
[root@kafka1 kafka]# mv jdk-11.0.20.1 /usr/lib/jvm
[root@kafka1 jdk-11.0.20.1]# cd /etc/profile.d/
[root@kafka1 profile.d]# vi java.sh
[root@kafka1 profile.d]# cat java.sh
export JAVA_HOME=/usr/lib/java/jdk-11.0.20.1
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=$CLASSPATH:$JAVA_HOME/jre/lib/ext:$JAVA_HOME/lib/tools.jar
[root@kafka1 profile.d]# source java.sh
[root@kafka1 profile.d]# java -version
openjdk version "11.0.20.1" 2023-08-24
OpenJDK Runtime Environment Temurin-11.0.20.1+1 (build 11.0.20.1+1)
OpenJDK 64-Bit Server VM Temurin-11.0.20.1+1 (build 11.0.20.1+1, mixed mode)
[root@kafka1 profile.d]#
[root@kafka1 profile.d]# javac -version
javac 11.0.20.1
자바 설치가 완료되었다.
6. Generate a Cluster UUID
$ KAFKA_CLUSTER_ID="$(bin/kafka-storage.sh random-uuid)"
Format Log Directories
$ bin/kafka-storage.sh format -t $KAFKA_CLUSTER_ID -c config/kraft/server.properties
Start the Kafka Server
$ bin/kafka-server-start.sh config/kraft/server.properties
..생략..
카프카 서버가 시작된거 확인할 ㅜㅅ 있다.
정상실행 여부를 확인하려면 shell 화면을 하나 더 킨 후, 아래와 같이 입력
[kafka@kafka1 kafka_2.13-3.5.1]$ bin/kafka-broker-api-versions.sh --bootstrap-server localhost:9092
토픽 확인은
bin/kafka-topics.sh --bootstrap-server localhost:9092 --list
로컬에 있는 브로커에 있는 토픽 리스트를 가져와라~~~ 임
(아직은 토픽없음)
기동 순서
1. zookeeper-server-start.sh (여긴 kraft 버전이라 생략)
2. kafka-server-start config/server.properties (브로커 실행)
... started 라는 로그가 나오면, 카프카 브로커가 정상적으로 실행된 것
정상 실행 여부 확인
3. kafka-broker-api-version.sh --bootstrap-server localhost:9092 : 각종 옵션에 대한 정보 확인 가능
4. 토픽확인
bin/kafka-topics.sh --bootstrap-server localhost:9092 --list
참고한 사이트