Ի՞նչ է կայծային հեռարձակումը:
Ի՞նչ է կայծային հեռարձակումը:

Video: Ի՞նչ է կայծային հեռարձակումը:

Video: Ի՞նչ է կայծային հեռարձակումը:
Video: Փաշինյանը փորձում է վաբանկ գնալ․ չի հասկանում՝ մատը դրել է Ալիևի բերանը, իսկ նա ձեռքն է կուլ տալու 2024, Մայիս
Anonim

Հեռարձակում փոփոխականներ Apache-ում Կայծ այն կատարողների միջև փոփոխականների փոխանակման մեխանիզմ է, որոնք նախատեսված են միայն կարդալու համար: Առանց հեռարձակում փոփոխականներ: Այս փոփոխականները կուղարկվեն յուրաքանչյուր կատարողին յուրաքանչյուր փոխակերպման և գործողության համար, և դա կարող է առաջացնել ցանցի վերին ծախսեր:

Նմանապես մարդիկ հարցնում են՝ ե՞րբ պետք է կայծ հեռարձակեմ։

Հեռարձակում Փոփոխականները հիմնականում օգտագործվում են, երբ մի քանի փուլերի առաջադրանքները պահանջում են նույն տվյալները կամ երբ անհրաժեշտ է տվյալների քեշավորումը ապասերիալացված ձևով: Հեռարձակում փոփոխականները ստեղծվում են v փոփոխականի միջոցով՝ կանչելով SparkContext:

Նաև ի՞նչ են կուտակիչները և հեռարձակման փոփոխականները կայծում: Կայծ աջակցում է երկու տեսակի համատեղ փոփոխականներ : հեռարձակման փոփոխականներ , որը կարող է օգտագործվել բոլոր հանգույցների վրա հիշողության մեջ արժեք պահելու համար, և կուտակիչներ , որոնք փոփոխականներ որոնք միայն «ավելացված» են, ինչպիսիք են հաշվիչներն ու գումարները:

Հաշվի առնելով սա՝ ի՞նչ է կայծային կուտակիչը։

Կուտակիչներ փոփոխականներ են, որոնք միայն «ավելացվում» են ասոցիատիվ գործողության միջոցով և, հետևաբար, կարող են արդյունավետ կերպով օժանդակվել զուգահեռաբար: Դրանք կարող են օգտագործվել հաշվիչներ (ինչպես MapReduce-ում) կամ գումարներ իրականացնելու համար: Կայծ բնիկորեն աջակցում է կուտակիչներ թվային տեսակների, և ծրագրավորողները կարող են աջակցություն ավելացնել նոր տեսակների համար:

Ինչպե՞ս թարմացնել իմ հեռարձակման փոփոխականը կայծի մեջ:

  1. Տեղափոխեք հղման տվյալների որոնումը forEachPartition կամ forEachRdd, որպեսզի այն ամբողջությամբ մնա աշխատողների վրա:
  2. Վերագործարկեք Spark Context-ը ամեն անգամ, երբ refdata-ն փոխվում է՝ նոր Broadcast Variable-ով:

Խորհուրդ ենք տալիս: