Ինչպե՞ս գործարկել իմ Spark History սերվերը:
Ինչպե՞ս գործարկել իմ Spark History սերվերը:
Anonim

Spark պատմության սերվերը միացնելու համար

  1. Ստեղծեք տեղեկատու իրադարձությունների տեղեկամատյանների համար DSEFS ֆայլային համակարգում՝ dse hadoop fs -mkdir /spark $ dse hadoop fs -mkdir /spark/events:
  2. Երբ իրադարձությունների գրանցումը միացված է, լռելյայն վարքագիծն այն է, որ բոլոր տեղեկամատյանները պետք է պահպանվեն, ինչը հանգեցնում է պահուստի ավելացմանը ժամանակի ընթացքում:

Բացի դրանից, ինչպե՞ս կարող եմ կարգավորել Spark History սերվերը:

Spark պատմության սերվերը միացնելու համար

  1. Ստեղծեք տեղեկատու իրադարձությունների տեղեկամատյանների համար DSEFS ֆայլային համակարգում՝ dse hadoop fs -mkdir /spark $ dse hadoop fs -mkdir /spark/events:
  2. Երբ իրադարձությունների գրանցումը միացված է, լռելյայն վարքագիծն այն է, որ բոլոր տեղեկամատյանները պետք է պահպանվեն, ինչը հանգեցնում է պահուստի ավելացմանը ժամանակի ընթացքում:

Նմանապես, ինչպե՞ս կարող եմ գտնել իմ Spark History սերվերի URL-ը: Օրինակ, համար պատմության սերվեր , դրանք սովորաբար հասանելի կլինեն սերվեր - url >:18080/api/v1, իսկ գործող հավելվածի համար՝ https://localhost:4040/api/v1: API-ում հավելվածը հիշատակվում է իր հավելվածի ID-ով, [app-id]:

Նմանապես, ի՞նչ է Spark History սերվերը:

Այն Spark պատմության սերվերն է մոնիտորինգի գործիք, որը ցուցադրում է ավարտվածի մասին տեղեկատվությունը Կայծ հավելվածներ։ Այս տեղեկությունը է քաղված է այն տվյալներից, որ հավելվածները լռելյայնորեն գրում են Hadoop բաշխված ֆայլային համակարգի (HDFS) գրացուցակում:

Ի՞նչ է Սպարկուին:

Spark Web UI-ն հնարավորություն է տալիս տեսնել ժամանակացույցի փուլերի և առաջադրանքների ցանկը, շրջակա միջավայրի մասին տեղեկատվություն, գործող կատարողների մասին տեղեկատվություն և այլն: Դիտեք այս 30 րոպեանոց ցուցադրությունը՝ իմանալու համար Spark ծրագրի բաղադրիչներն ու կյանքի ցիկլը: Ինչպես է ձեր Spark հավելվածն աշխատում Hadoop կլաստերի վրա:

Խորհուրդ ենք տալիս: