1樓：匿名使用者
、資料採集：etl工具負責將分佈的、異構資料來源中的資料如關係資料、平面資料檔案等抽取到臨時中間層後
2樓：匿名使用者
大資料指無法在一定時間範圍內用常規軟體工具進行捕捉、管理和處理的資料集合，是需要新處理模式才能具有更
3樓：雙魚淚以幹
01_linux 02_zebra 03_hadoop 04_flume 05_hive與sqoop 06_hbase與phoenix
07_kafka 08_storm 10_scala與spark
4樓：塵無中心
1.分散式儲存系統(hdfs)。2.
mapreduce分散式計算框架。3.yarn資源管理平臺。
4.sqoop資料遷移工具。5.
mahout資料探勘演算法庫。6.hbase分散式資料庫。
7.zookeeper分散式協調服務。8.
hive基於hadoop的資料倉儲。9.flume日誌收集工具。
大資料需要掌握哪些技能
5樓：尚矽谷
大資料學什麼
大資料需要掌握的內容包括8個方面，你可以根據這個路線圖的順序學習，選擇培訓機構的時候重點關注機構的口碑，希望你早日學有所成。
6樓：杭州千峰
想學習大資料技術，是不是首先要知道大資料技術有哪些呢？也好知道自己未來應該往哪個方向發展，應該重點學習哪些知識？
抽象而言，各種大資料技術無外乎分散式儲存 + 平行計算。具體體現為各種分散式檔案系統和建立在其上的並行運算框架。這些軟體程式都部署在多個相互連通、統一管理的物理或虛擬運算節點之上，形成叢集(cluster)。
因此不妨說，雲端計算是大資料的基礎。
下面介紹幾種當前比較流行的大資料技術：
1.hadoop
hadoop無疑是當前很知名的大資料技術了。
2023年到2023年間，google釋出了關於gfs、mapreduce和bigtable三篇技術**(這幾篇**成為了後來雲端計算、大資料領域發展的重要基石)。當時一位因公司倒閉賦閒在家的程式設計師doug cutting根據前兩篇**，開發出了一個簡化的山寨版gfs – hdfs,以及基於其的mapreduce計算框架，這就是hadoop當初的版本。後來cutting被yahoo僱傭，得以依賴yahoo的資源改進hadoop,並將其貢獻給了apache開源社群。
簡單描述hadoop原理：資料分散式儲存，運算程式被髮派到各個資料節點進行分別運算(map)，再將各個節點的運算結果進行合併歸一(reduce)，生成結果。相對於動輒tb級別的資料，計算程式一般在kb – mb的量級，這種移動計算不移動資料的設計節約了大量網路頻寬和時間，並使得運算過程可以充分並行化。
在其誕生後的近10年裡，hadoop憑藉其簡單、易用、高效、免費、社群支援豐富等特徵成為眾多企業雲端計算、大資料實施的首選。
2.storm
hadoop雖好，卻有其「死穴」.其一：它的運算模式是批處理。
這對於許多有實時性要求的業務就無法做到很好的支援。因此，twitter推出了他們自己的基於流的運算框架——storm。不同於hadoop一次性處理所有資料並得出統一結果的作業(job)，storm對源源匯入的資料流進行持續不斷的處理，隨時得出增量結果。
3.spark
hadoop的另一個致命弱點是：它的所有中間結果都需要進行硬碟儲存，i/o消耗巨大，這就使得它很不適合多次迭代的運算。而大多數機器學習演算法，恰恰要求大量迭代運算。
2023年開始，uc berkeley amp lab開始研發分散式運算的中間過程全部記憶體儲存的spark框架，由此在迭代計算上大大提高了效率。也因此成為了hadoop的強有力競爭者。
4.nosql 資料庫
nosql資料庫可以泛指非關係型資料庫，不過一般用來指稱那些建立在分散式檔案系統(例如hdfs)之上，基於key-value對的資料管理系統。
相對於傳統的關係型資料庫，nosql資料庫中儲存的資料無需主鍵和嚴格定義的schema。於是，大量半結構化、非結構化資料可以在未經清洗的情況下直接進行儲存。這一點滿足了處理大量、高速、多樣的大資料的需求。
當前比較流行的nosql資料庫有mongodb,redis,cassandra,hbase等。
nosql並不是沒有sql,而是不僅僅有(not only)sql的意思。為了相容之前許多執行在關係型資料庫上的業務邏輯，有很多在nosql資料庫上執行sql的工具湧現出來，典型的例如hive和pig,它們將使用者的sql語句轉化成mapreduce作業，在hadoop上執行。
大資料產業已進入發展的「快車道」，急需大量優秀的大資料人才作為後盾。能夠在大資料行業崛起的初期進入到這個行業當中來，才有機會成為時代的弄潮兒。
為什麼需要大資料技術？
7樓：茜拉密
企業組織利用相關資料和分析可以幫助它們降低成本、提高效率、開發新產品、做出更明智的業務決策等等。
例如，通過結合大資料和高效能的分析，下面這些對企業有益的情況都可能會發生:
及時解析故障、問題和缺陷的根源，每年可能為企業節省數十億美元。
為成千上萬的快遞車輛規劃實時交通路線，躲避擁堵。分析所有sku，以利潤最大化為目標來定價和清理庫存。
根據客戶的購買習慣，為其推送他可能感興趣的優惠資訊。從大量客戶中快速識別出金牌客戶。
使用點選流分析和資料探勘來規避欺詐行為。
總之，大資料對企業精細運營起到的價值是非常巨大的，可以讓企業在社交平臺上的運營更加完善，儘量讓企業能有一個理想的口碑，並對一些不良的言論做輿情監測等等。
然後根據資料進行產品改進，並且利用大資料還能更好的驅動使用者體驗，促進企業運營目標朝著正確的方向前進，這都是大資料為企業帶來的價值。
大資料都是需要什麼技術的？
8樓：喵喵喵喵喵咪
想學習大資料技術，是不是首先要知道大資料技術有哪些呢？也好知道自己未來應該往哪個方向發展，應該重點學習哪些知識？
抽象而言，各種大資料技術無外乎分散式儲存 + 平行計算。具體體現為各種分散式檔案系統和建立在其上的並行運算框架。這些軟體程式都部署在多個相互連通、統一管理的物理或虛擬運算節點之上，形成叢集(cluster)。
因此不妨說，雲端計算是大資料的基礎。
下面介紹幾種當前比較流行的大資料技術：
1.hadoop
hadoop無疑是當前很知名的大資料技術了。
2023年到2023年間，google釋出了關於gfs、mapreduce和bigtable三篇技術**(這幾篇**成為了後來雲端計算、大資料領域發展的重要基石)。當時一位因公司倒閉賦閒在家的程式設計師doug cutting根據前兩篇**，開發出了一個簡化的山寨版gfs – hdfs,以及基於其的mapreduce計算框架，這就是hadoop當初的版本。後來cutting被yahoo僱傭，得以依賴yahoo的資源改進hadoop,並將其貢獻給了apache開源社群。
簡單描述hadoop原理：資料分散式儲存，運算程式被髮派到各個資料節點進行分別運算(map)，再將各個節點的運算結果進行合併歸一(reduce)，生成結果。相對於動輒tb級別的資料，計算程式一般在kb – mb的量級，這種移動計算不移動資料的設計節約了大量網路頻寬和時間，並使得運算過程可以充分並行化。
在其誕生後的近10年裡，hadoop憑藉其簡單、易用、高效、免費、社群支援豐富等特徵成為眾多企業雲端計算、大資料實施的首選。
2.storm
hadoop雖好，卻有其「死穴」.其一：它的運算模式是批處理。
這對於許多有實時性要求的業務就無法做到很好的支援。因此，twitter推出了他們自己的基於流的運算框架——storm。不同於hadoop一次性處理所有資料並得出統一結果的作業(job)，storm對源源匯入的資料流進行持續不斷的處理，隨時得出增量結果。
3.spark
hadoop的另一個致命弱點是：它的所有中間結果都需要進行硬碟儲存，i/o消耗巨大，這就使得它很不適合多次迭代的運算。而大多數機器學習演算法，恰恰要求大量迭代運算。
2023年開始，uc berkeley amp lab開始研發分散式運算的中間過程全部記憶體儲存的spark框架，由此在迭代計算上大大提高了效率。也因此成為了hadoop的強有力競爭者。
4.nosql 資料庫
nosql資料庫可以泛指非關係型資料庫，不過一般用來指稱那些建立在分散式檔案系統(例如hdfs)之上，基於key-value對的資料管理系統。
相對於傳統的關係型資料庫，nosql資料庫中儲存的資料無需主鍵和嚴格定義的schema。於是，大量半結構化、非結構化資料可以在未經清洗的情況下直接進行儲存。這一點滿足了處理大量、高速、多樣的大資料的需求。
當前比較流行的nosql資料庫有mongodb,redis,cassandra,hbase等。
nosql並不是沒有sql,而是不僅僅有(not only)sql的意思。為了相容之前許多執行在關係型資料庫上的業務邏輯，有很多在nosql資料庫上執行sql的工具湧現出來，典型的例如hive和pig,它們將使用者的sql語句轉化成mapreduce作業，在hadoop上執行。
大資料產業已進入發展的「快車道」，急需大量優秀的大資料人才作為後盾。能夠在大資料行業崛起的初期進入到這個行業當中來，才有機會成為時代的弄潮兒。
9樓：塵無中心
大資料的關鍵技術
1.分散式儲存系統(hdfs)。2.
mapreduce分散式計算框架。3.yarn資源管理平臺。
4.sqoop資料遷移工具。5.
mahout資料探勘演算法庫。6.hbase分散式資料庫。
7.zookeeper分散式協調服務。8.
hive基於hadoop的資料倉儲。9.flume日誌收集工具。
大資料都需要學什麼？
10樓：楠風吹呀那個吹
大資料技術的學習內容有很多，包括：
基礎階段：linux、docker、kvm、mysql基礎、oracle基礎、mongodb、redis。
hadoop mapreduce hdfs yarn：hadoop：hadoop 概念、版本、歷史，hdfs工作原理，yarn介紹及元件介紹。
學大資料需要什麼基礎，學習大資料需要什麼基礎？
大資料是近五年興起的行業，發展迅速，很多技術經過這些年的迭代也變得比較成熟了，同時新的東西也不斷湧現，想要保持自己競爭力的唯一辦法就是不斷學習。我能這麼說麼，沒基礎也可以，比如這邊是初中起步就可以入學網際網路 現在學計算機這方面的話，都是0基礎教學的。首先想找到好的計算機學校就不要有地區的侷限哪個城...
什麼是大資料，什麼是大資料技術？大資料的概念
大資料指無法在一定時間範圍內用常規軟體工具進行捕捉 管理和處理的資料集合。通過大量的統計瞭解大家的喜好，想要的東西，從而得到他們想要的，比如精準營銷，徵信分析，消費分析等等 大資料是指無法在一定時間內用常規軟體工具對其內容進行抓取 管理和處理的資料集合。大資料技術是指從各種各樣型別的資料中，快速獲得...
大資料需要學習什麼樣的知識，大資料專業需要學習什麼樣的知識？
大資料專業將從大資料應用的三個主要層面 即資料管理 系統開發 海量資料分析與挖掘 系統地幫助企業掌握大資料應用中的各種典型問題的解決辦法，包括實現和分析協同過濾演算法 執行和學習分類演算法 分散式hadoop叢集的搭建和基準測試 分散式hbase叢集的搭建和基準測試 實現一個基於 mapreduce...