在千鋒大數(shù)據(jù)培訓學習至今,已經(jīng)有了比較基本的思維框架,大數(shù)據(jù)主要是通過對數(shù)據(jù)流進行數(shù)據(jù)處理,然后進行數(shù)據(jù)監(jiān)控協(xié)調(diào)。正是因為在千鋒大數(shù)據(jù)培訓的學習讓我對大數(shù)據(jù)產(chǎn)生了濃厚的興趣,隨著逐漸的深入學習,我接觸到了很多大數(shù)據(jù)相關的知識,對我來說這是全新的,像開辟了新大陸。
這個階段對我來說只能算是有所了解,進去到大數(shù)據(jù)的世界讓我很欣喜,每天都有新知識,而我孜孜不倦的學習,學的越多,越感到自己的不足,接著上個階段的java web階段,過渡到hadoop階段老師仔細的講述hadoop原理,讓我從底層原理了解hadoop,上手快,更加易學。
兩個月的學習,已經(jīng)學至Hadoop階段。Hadoop是一種可靠的,可擴展的分布式計算開發(fā)軟件。Hadoop的軟件庫是一個框架,它允許使用簡單的編程模型跨計算機集群分布式處理海量數(shù)據(jù)。
Hadoop的模塊可大致分為cluster,mapreduce,hdfs,yarn。mapreduce是一種分布式運算的框架,可以幫助我們來實現(xiàn)一些分布式運算,對數(shù)據(jù)進行分析和處理。ddfs的作用是在存儲文件對大型文件進行切塊,保存在服務器中的不同節(jié)點,然后當我們需要的時候來找到這些文件。搭建Hadoop的集群的時候要注意環(huán)境變量配置,著重的注意不要出現(xiàn)空格,中文,特殊符號。甚至連存儲路徑也盡量存放在全英文的路徑下,盡可能的不要因為這些事情犯錯。
總而言之,在學習大數(shù)據(jù)的道路上我還有很多技能去熟練掌握,所以接下來的學習中,我將會繼續(xù)努力。
相關文章
了解千鋒動態(tài)
關注千鋒教育服務號
掃一掃快速進入
千鋒移動端頁面
掃碼匿名提建議
直達CEO信箱