【Hadoop离线基础总结】oozie定时任务设置

离线基础总结】oozie定时任务设置"/>

【Hadoop离线基础总结】oozie定时任务设置

目录

• • • 简介
    • • • 概述
    • oozie定时任务设置
    • • • 1.拷贝定时任务的调度模板
        • 拷贝hello.sh脚本
        • 3.修改配置文件
        • 4.上传到hdfs对应路径
        • 5.运行定时任务

简介

• 概述

  在oozie当中，主要是通过Coordinator 来实现任务的定时调度，与workflow类似。Coordinator 这个模块也是主要通过xml来进行配置即可
  Coordinator 的调度主要有两种实现方式：
  第一种： 基于时间的定时任务调度，oozie基于时间的调度主要需要指定三个参数，第一个起始时间，第二个结束时间，第三个调度频率。
  第二种： 基于数据的任务调度，只有在有了数据才会去出发执行。

oozie定时任务设置

• 1.拷贝定时任务的调度模板

  cd /export/servers/oozie-4.1.0-cdh5.14.0
  cp -r examples/apps/cron oozie_works/cron-job
  

• 拷贝hello.sh脚本

  cd /export/servers/oozie-4.1.0-cdh5.14.0/oozie_works
  cp shell/hello.sh  cron-job/
  

• 3.修改配置文件

  修改job.properties

  cd /export/servers/oozie-4.1.0-cdh5.14.0/oozie_works/cron-job
  vim job.properties
  

  nameNode=hdfs://node01:8020
  jobTracker=node01:8032
  queueName=default
  examplesRoot=oozie_worksoozie.coord.application.path=${nameNode}/user/${user.name}/${examplesRoot}/cron-job/coordinator.xml
  start=2018-08-22T19:20+0800
  end=2019-08-22T19:20+0800
  EXEC=hello.sh
  workflowAppUri=${nameNode}/user/${user.name}/${examplesRoot}/cron-job/workflow.xml
  

  修改coordinator.xml
  vim coordinator.xml

  <!--oozie的frequency 可以支持很多表达式，其中可以通过定时每分，或者每小时，或者每天，或者每月进行执行，也支持可以通过与linux的crontab表达式类似的写法来进行定时任务的执行例如frequency 也可以写成以下方式frequency="10 9 * * *"  每天上午的09:10:00开始执行任务frequency="0 1 * * *"  每天凌晨的01:00开始执行任务-->
  <coordinator-app name="cron-job" frequency="${coord:minutes(1)}" start="${start}" end="${end}" timezone="GMT+0800"xmlns="uri:oozie:coordinator:0.4"><action><workflow><app-path>${workflowAppUri}</app-path><configuration><property><name>jobTracker</name><value>${jobTracker}</value></property><property><name>nameNode</name><value>${nameNode}</value></property><property><name>queueName</name><value>${queueName}</value></property></configuration></workflow></action>
  </coordinator-app>修改workflow.xml
  vim workflow.xml
  <workflow-app xmlns="uri:oozie:workflow:0.5" name="one-op-wf"><start to="action1"/><action name="action1"><shell xmlns="uri:oozie:shell-action:0.2"><job-tracker>${jobTracker}</job-tracker><name-node>${nameNode}</name-node><configuration><property><name>mapred.job.queue.name</name><value>${queueName}</value></property></configuration><exec>${EXEC}</exec><!-- <argument>my_output=Hello Oozie</argument> --><file>/user/root/oozie_works/cron-job/${EXEC}#${EXEC}</file><capture-output/></shell><ok to="end"/><error to="end"/>
  </action><end name="end"/>
  </workflow-app>
  

• 4.上传到hdfs对应路径

  cd /export/servers/oozie-4.1.0-cdh5.14.0/oozie_works
  hdfs dfs -put cron-job/ /user/root/oozie_works/
  

• 5.运行定时任务

  cd /export/servers/oozie-4.1.0-cdh5.14.0
  bin/oozie job -oozie http://node03:11000/oozie -config oozie_works/cron-job/job.properties -run