Բովանդակություն:

Ինչպե՞ս գործարկել իմ Spark History սերվերը:
Ինչպե՞ս գործարկել իմ Spark History սերվերը:

Video: Ինչպե՞ս գործարկել իմ Spark History սերվերը:

Video: Ինչպե՞ս գործարկել իմ Spark History սերվերը:
Video: Սթրեսի հաղթահարումը. ինչպե՞ս ճիշտ շնչել, երբ լարված ես, հուզված կամ բարկացած 2024, Մայիս
Anonim

Spark պատմության սերվերը միացնելու համար

  1. Ստեղծեք տեղեկատու իրադարձությունների տեղեկամատյանների համար DSEFS ֆայլային համակարգում՝ dse hadoop fs -mkdir /spark $ dse hadoop fs -mkdir /spark/events:
  2. Երբ իրադարձությունների գրանցումը միացված է, լռելյայն վարքագիծն այն է, որ բոլոր տեղեկամատյանները պետք է պահպանվեն, ինչը հանգեցնում է պահուստի ավելացմանը ժամանակի ընթացքում:

Բացի դրանից, ինչպե՞ս կարող եմ կարգավորել Spark History սերվերը:

Spark պատմության սերվերը միացնելու համար

  1. Ստեղծեք տեղեկատու իրադարձությունների տեղեկամատյանների համար DSEFS ֆայլային համակարգում՝ dse hadoop fs -mkdir /spark $ dse hadoop fs -mkdir /spark/events:
  2. Երբ իրադարձությունների գրանցումը միացված է, լռելյայն վարքագիծն այն է, որ բոլոր տեղեկամատյանները պետք է պահպանվեն, ինչը հանգեցնում է պահուստի ավելացմանը ժամանակի ընթացքում:

Նմանապես, ինչպե՞ս կարող եմ գտնել իմ Spark History սերվերի URL-ը: Օրինակ, համար պատմության սերվեր , դրանք սովորաբար հասանելի կլինեն սերվեր - url >:18080/api/v1, իսկ գործող հավելվածի համար՝ https://localhost:4040/api/v1: API-ում հավելվածը հիշատակվում է իր հավելվածի ID-ով, [app-id]:

Նմանապես, ի՞նչ է Spark History սերվերը:

Այն Spark պատմության սերվերն է մոնիտորինգի գործիք, որը ցուցադրում է ավարտվածի մասին տեղեկատվությունը Կայծ հավելվածներ։ Այս տեղեկությունը է քաղված է այն տվյալներից, որ հավելվածները լռելյայնորեն գրում են Hadoop բաշխված ֆայլային համակարգի (HDFS) գրացուցակում:

Ի՞նչ է Սպարկուին:

Spark Web UI-ն հնարավորություն է տալիս տեսնել ժամանակացույցի փուլերի և առաջադրանքների ցանկը, շրջակա միջավայրի մասին տեղեկատվություն, գործող կատարողների մասին տեղեկատվություն և այլն: Դիտեք այս 30 րոպեանոց ցուցադրությունը՝ իմանալու համար Spark ծրագրի բաղադրիչներն ու կյանքի ցիկլը: Ինչպես է ձեր Spark հավելվածն աշխատում Hadoop կլաստերի վրա:

Խորհուրդ ենք տալիս: