Բովանդակություն:
Video: Ի՞նչ է օգտագործում sqoop-ը տվյալների ներմուծման և արտահանման համար:
2024 Հեղինակ: Lynn Donovan | [email protected]. Վերջին փոփոխված: 2023-12-15 23:48
Sqoop-ն է գործիք, որը նախատեսված է փոխանցելու համար տվյալները Hadoop-ի և հարաբերական տվյալների բազաների միջև: Sqoop ավտոմատացնում է այս գործընթացի մեծ մասը՝ հենվելով տվյալների բազա նկարագրելու համար սխեման տվյալները լինել ներմուծված . Sqoop-ի օգտագործումը Քարտեզ Կրճատել դեպի ներմուծել և արտահանել տվյալները , որն ապահովում է զուգահեռ աշխատանք, ինչպես նաև սխալների հանդուրժողականություն:
Այստեղից ինչպե՞ս կարող եմ տվյալներ արտահանել sqoop-ից:
Սկսել
- Քայլ 1. Ստեղծեք նոր տվյալների բազա MySQL օրինակում: ՍՏԵՂԾԵԼ ՏՎՅԱԼՆԵՐԻ ԲԱԶԱՆ db1;
- Ստեղծեք աղյուսակ՝ ակադ.
- Քայլ 3. արտահանեք input.txt և input2.txt ֆայլերը HDFS-ից MySQL: sqoop արտահանում – միացում jdbc:mysql://localhost/db1 – օգտանուն sqoop –գաղտնաբառի արմատ – աղյուսակ acad –export-dir /sqoop_msql/ -m 1:
Բացի այդ, ինչպես է աշխատում sqoop արտահանումը: Sqoop - Export Sqoop արտահանում հրամանը պատրաստում է INSERT հայտարարությունները մուտքային տվյալների հավաքածուով, այնուհետև հարվածում է տվյալների բազային: համար է արտահանում նոր գրառումներ, եթե աղյուսակը ունի եզակի արժեքի հաստատուն հիմնական բանալիով, արտահանում աշխատանքը ձախողվում է, քանի որ ներդիրի հայտարարությունը ձախողվում է: Եթե ունեք թարմացումներ, կարող եք օգտագործել --update-key տարբերակը:
Նմանապես, մարդիկ հարցնում են՝ ինչպե՞ս կարող եմ տվյալներ ներմուծել sqoop-ում:
Ահա թե ինչ է նշանակում Sqoop հրամանի յուրաքանչյուր տարբերակ
- միացնել – Ապահովում է jdbc տող:
- օգտվողի անուն - տվյալների բազայի օգտվողի անուն:
- -P – Կպահանջվի գաղտնաբառը վահանակում:
- սեղան – Համակարգչին ասում է, թե որ աղյուսակն եք ցանկանում ներմուծել MySQL-ից:
- split-by – Նշում է ձեր բաժանվող սյունակը:
- target-dir – HDFS նպատակակետ գրացուցակ:
Ի՞նչ է sqoop ներմուծումը:
Sqoop գործիք' ներմուծում - սովոր է ներմուծում աղյուսակի տվյալները աղյուսակից մինչև Hadoop ֆայլային համակարգ՝ որպես տեքստային կամ երկուական ֆայլ: Հետևյալ հրամանը օգտագործվում է ներմուծում emp աղյուսակը MySQL տվյալների բազայի սերվերից մինչև HDFS:
Խորհուրդ ենք տալիս:
Ի՞նչ տվյալների բազա է օգտագործվում տվյալների պահեստի համար:
Gartner-ը հայտնում է, որ Teradata-ն հաշվում է ավելի քան 1200 հաճախորդ։ Oracle-ը հիմնականում տնային անունն է հարաբերական տվյալների բազաներում և տվյալների պահեստում և այդպես է եղել տասնամյակներ շարունակ: Oracle 12c Database-ը արդյունաբերական ստանդարտն է բարձր արդյունավետության մասշտաբային, օպտիմիզացված տվյալների պահեստավորման համար
Ինչո՞ւ է սյունակ ուղղված տվյալների պահպանումը սկավառակների վրա տվյալների հասանելիությունն ավելի արագ դարձնում, քան տողերի վրա հիմնված տվյալների պահպանումը:
Սյունակ կողմնորոշված տվյալների շտեմարանները (այսինքն՝ սյունակային տվյալների բազաները) ավելի հարմար են վերլուծական ծանրաբեռնվածության համար, քանի որ տվյալների ձևաչափը (սյունակի ձևաչափը) հնարավորություն է տալիս ավելի արագ մշակել հարցումները՝ սկանավորում, համախմբում և այլն: սյունակներ) անընդմեջ
Ո՞րը հիմնական գործոնը չէ, որն օգտագործում է ծրագրավորողը նախագծի համար լեզուն ընտրելու համար:
Բացատրություն. Պահանջվող մուտքերի քանակը հիմնական գործոնը չէ ծրագրավորողի համար լեզու ընտրելու համար, քանի որ ցանկացած լեզու կարող է ընդունել ծրագրում ցանկացած քանակությամբ մուտքագրում: Լեզվի ընտրության հիմնական գործոններն են այլ տարբերակների առկա տարածքը, պահանջվող արագությունը, թիրախային հավելվածի տեսակը
Ո՞րն է ETC արտահանման ֆայլի նպատակը:
21.7. /etc/exports Կազմաձևման ֆայլը: /etc/exports ֆայլը վերահսկում է, թե որ ֆայլային համակարգերն են արտահանվում հեռավոր հոսթեր և սահմանում է ընտրանքները: Յուրաքանչյուր արտահանված ֆայլային համակարգ պետք է լինի իր անհատական տողում, և արտահանվող ֆայլային համակարգից հետո տեղադրված լիազորված հոստերերի ցանկերը պետք է առանձնացվեն բացատ նիշերով:
Ո՞րն է տարբերությունը RMAN-ի և արտահանման կրկնօրինակի միջև:
RMAN կրկնօրինակը ֆիզիկական պահուստավորում է, իսկ Data Pump-ը տրամաբանական կրկնօրինակում է: Expdp-ի օգտագործմամբ տվյալների բազան տվյալների բազայի մեկ կամ մի քանի սխեմաների 1 անգամ արտահանում է: Այն կրկնօրինակում է DDL-ը (աղյուսակի կառուցվածքներ, դիտումներ, հոմանիշներ, պահված ընթացակարգեր, փաթեթներ և այլն), գումարած տվյալները