×

Samza 入门

Samza 你好Samza 下载Samza 功能预览

Samza 详细介绍

Samza 背景Samza 概念Samza 结构

Samza 与其他流处理项目比较

Samza 比较介绍Samza MUPD8Samza 与 StormSamza 与 Spark Streaming

Samza API

Samza API概述

Samza 核心

Samza ContainerSamza 流Samza 序列化Samza 定期检查Samza 状态管理Samza 窗口功能Samza 协调器流Samza 事件循环Samza 指标Samza JMX

Samza 作业部署

Samza JobRunnerSamza 配置Samza 打包Samza YARN工作Samza 记录Samza 再处理Samza Web UI和REST APISamza 分离框架和作业部署

Samza YARN

Samza Application MasterSamza YARN执行隔离Samza 主机关联和 YARNSamza YARN资源本地化Samza YARN安全Samza 写入HDFSSamza 从HDFS文件读取

Samza 相关操作

Samza 安全Samza Kafka自动创建主题

Samza REST服务

Samza REST服务概观Samza REST服务资源Samza REST服务监视器

Samza 附录

附录一 工作资源附录二 任务资源附录三 远程调试附录四 从HDFS部署Samza工作附录五 部署Samza Job到CDH附录六 在多节点YARN中运行附录七 在没有联网的情况下运行附录八 Samza REST入门附录九 Async API和多线程指南附录十 代码附录十一 Samza配置参考

部署Samza Job到CDH


本教程假设您已成功运行 hello-samza,现在您要将作业部署到 Cloudera 数据中心(CDH)。本教程基于CDH 5.4.0,并使用 hello-samza 作为示例作业。

CDH 5.4.0编译软件包

我们需要使用特定的编译选项来构建CDH 5.4.0的 hello-samza 包

mvn clean package -Dhadoop.version=cdh5.4.0

将包上传到群集

有几种方法将软件包上传到集群的 HDFS。如果你没有工作包集群,SCP 的从你的本地计算机的集群。然后跑

hadoop fs -put path/to/hello-samza-0.12.0-dist.tar.gz /path/for/tgz

获取部署脚本

解除作业包(假设您将从当前目录运行)

tar -xvf path/to/samza-job-package-0.12.0-dist.tar.gz -C ./

添加包路径到属性文件

vim config/wikipedia-parser.properties

更换 Yarn 包装路径:

yarn.package.path=hdfs://:/path/to/tgz

设置 Yarn 环境变量

export HADOOP_CONF_DIR=/etc/hadoop/conf

运行 Samza Job

bin/run-job.sh --config-factory=org.apache.samza.config.factories.PropertiesConfigFactory --config-path=file://$PWD/config/wikipedia-parser.properties

分类导航

关注微信下载离线手册

bootwiki移动版 bootwiki
(群号:472910771)