flume的安装与使用

云计算与分布式 笔记
云计算与分布式笔记
本文最后更新于 4 年前，文中所描述的信息可能已发生改变。

flume的安装与使用 ​

软件的安装 ​

1. 下载与解压缩 ​

  • 通过wget直接从官网下载
  wget https://dlcdn.apache.org/flume/1.11.0/apache-flume-1.11.0-bin.tar.gz
image-20240331224805037
  • 解压缩
sudo tar -zxvf apache-flume-1.11.0-bin.tar.gz -C /opt/software/
image-20240331224719469

2.配置环境 ​

  • 复制环境配置
cd /opt/software/apache-flume-1.11.0-bin/conf/
cp flume-env.sh.template flume-env.sh
image-20240331225230839
  • 编辑flume环境
vim flume-env.sh
image-20240331230506154
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64/
  • 配置环境配置
vim /etc/profile
image-20240331230652533
export FLUME_HOME=/opt/software/apache-flume-1.11.0-bin
export PATH=$FLUME_HOME/bin:$PATH

执行source命令

source /etc/profile
  • 验证查看
flume-ng version
image-20240331230957573

bin/flume-ng agent --conf conf/ --name a2 --conf-file /opt/software/apache-flume-1.11.0-bin/job/flume-file-hdfs.conf

docker实验
Hadoop安装与配置