Բովանդակություն:

Ինչպե՞ս կարող եմ պլանավորել փեթակների աշխատանք Oozie-ում:
Ինչպե՞ս կարող եմ պլանավորել փեթակների աշխատանք Oozie-ում:

Video: Ինչպե՞ս կարող եմ պլանավորել փեթակների աշխատանք Oozie-ում:

Video: Ինչպե՞ս կարող եմ պլանավորել փեթակների աշխատանք Oozie-ում:
Video: Ինչպես ձի զբոսնել: Ուղղակի ձիով զբոսնելը Մոսկվայի հիպոկրոմը | Մարզիչ Օլգա Պոլուշկինան 2024, Մայիս
Anonim

Դեպի ժամանակացույց Փեթակի աշխատանք օգտագործելով Օզի , պետք է գրել ա Փեթակ - գործողություն.

hql) դրանում:

  1. Ստեղծեք գրացուցակ HDFS-ում` սեղմելով ստորև նշված հրամանը:
  2. hadoop fs -mkdir -p /user/ օոզի /աշխատանքային հոսքեր/
  3. Տեղադրեք աշխատանքային հոսքը: xml, Փեթակ սցենար (create_table. hql) և փեթակ -կայք. xml 2-րդ քայլում ստեղծված գրացուցակում: Կարող եք օգտագործել ստորև նշված հրամանը:

Այսպիսով, ինչպե՞ս կարող եմ գործարկել Hive սկրիպտը oozie-ում:

Գործարկեք Hive Jobs-ը Oozie-ի հետ

  1. Նշեք փեթակի տեղը: xml job-xml պարամետրում:
  2. Նշեք սկրիպտի անունը (օրինակ՝ script. q), որը պարունակում է hive հարցումը script պարամետրում։
  3. Ընտրովի, ավելացրեք հատկություններ, որոնք օգտագործվում են Oozie գործարկիչի աշխատանքի կողմից: Ավելացնել oozie նախածանցը: գործարկիչ գույքի անվանումներին:

Ավելին, ինչպե՞ս կարող եմ գործարկել oozie աշխատանքային հոսքը: Աշխատում է Oozie Workflow հրամանի տողից

  1. Մուտք գործեք Web Console:
  2. Պատճենեք oozie օրինակները ձեր տնային գրացուցակում վեբ վահանակում՝ cp /usr/hdp/current/oozie-client/doc/oozie-examples: կուպր. գզ.
  3. Քաղեք ֆայլերը tar tar -zxvf oozie-examples.tar.gz-ից:
  4. Պատճենեք օրինակների գրացուցակը HDFS hadoop fs -copyFromLocal օրինակներում:

Այս առումով, ինչպե՞ս կարող եմ պլանավորել Hadoop աշխատանք:

Ինչպես ժամանակացույցի աշխատանքները մեջ հադոպ - Քվորա: Ամենապարզ ձևը ձեր ծածկագիրը shell script-ով փաթաթելն է և ժամանակացույցը այն որպես քրոն աշխատանք եզրային հանգույցում (հանգույցը, որտեղ սովորաբար ներկայացնում եք ձեր աշխատատեղեր ) Բայց սովորաբար ծածկագիրը փաթեթավորելով սկրիպտի մեջ և գործարկել այն որպես a աշխատանք դժվար է վրիպազերծել: փորձարկել և պահպանել:

Ի՞նչ է oozie աշխատանքային հոսքը:

Օզի է աշխատանքային հոսքը ժամանակացույցի համակարգ՝ Apache Hadoop-ի աշխատանքները կառավարելու համար: Oozie Workflow աշխատանքները գործողությունների ուղղորդված ցիկլային գրաֆիկներ են (DAG): Օզի Համակարգողի աշխատատեղերը պարբերական են Oozie Workflow աշխատատեղեր, որոնք առաջացել են ժամանակի (հաճախականության) և տվյալների առկայության պատճառով: Օզի ընդլայնելի, հուսալի և ընդարձակելի համակարգ է:

Խորհուրդ ենք տալիս: