提到大數(shù)據(jù)，我們首先會(huì)想到3V,即：數(shù)據(jù)量大、業(yè)務(wù)復(fù)雜、速度快。而對(duì)開發(fā)者來說，我們無需關(guān)心什么是大數(shù)據(jù)，大數(shù)據(jù)會(huì)帶來哪些影響。開發(fā)者的日常工作，主要是解決哪些業(yè)務(wù)問題，通過哪些技術(shù)手段增加企業(yè)的業(yè)務(wù)價(jià)值，并進(jìn)一步提高用戶體驗(yàn)。但是，如果我們能全面地了解大數(shù)據(jù)的當(dāng)前和未來狀態(tài)，可以讓開發(fā)工作變得得心應(yīng)手。

??那么，開發(fā)人員在處理大數(shù)據(jù)時(shí)，需要記住哪些要領(lǐng)呢?

??1、把基本流程自動(dòng)化，重點(diǎn)關(guān)注業(yè)務(wù)問題

??很多開發(fā)者都知道，要想構(gòu)建一個(gè)更酷的解決方案，需要關(guān)注最重要的業(yè)務(wù)問題，并且要與各個(gè)部門通力合作，共同完成。但是，開發(fā)人員不了解的是，很多流行的大數(shù)據(jù)技術(shù)，只滿足于特定用例，我們需要根據(jù)特定的應(yīng)用場(chǎng)景，選擇適合的解決方案。所以，在構(gòu)建大數(shù)據(jù)解決方案時(shí)，我們要充分了解數(shù)據(jù)邏輯，構(gòu)建數(shù)據(jù)提取規(guī)則，并考慮數(shù)據(jù)的遵從性和安全性要求，還要考慮如何與其他軟件無縫集成。

??如果只借助開發(fā)人員或者解決方案架構(gòu)師的思維來考慮問題，我們的最終方案肯定不夠全面，如何讓我們的解決方案覆蓋面更廣，盡可能地解決更多的問題，其實(shí)是有規(guī)律可循的。首先，把思考數(shù)據(jù)來源作為常態(tài);其次，我是否與主抓業(yè)務(wù)數(shù)據(jù)的人建立了合作關(guān)系;其三，我處理業(yè)務(wù)的結(jié)果是什么，業(yè)務(wù)人員是否能看到價(jià)值?

??假如，你從事的是零售業(yè)，就應(yīng)該從開發(fā)的角度進(jìn)一步提高零售體驗(yàn);假如你從事的是石油和天然氣行業(yè)，就要想如何通過技術(shù)手段有效地從地下開采石油。總之，作為開發(fā)人員，要專注于如何為特定業(yè)務(wù)提供價(jià)值，進(jìn)而影響到特定行業(yè)，而不是把大量時(shí)間都花費(fèi)在橫向功能的擴(kuò)展上。

??從頭開始，構(gòu)建一個(gè)端到端的數(shù)據(jù)管道。雖然一開始非常有成就感，但是后期隨著企業(yè)業(yè)務(wù)的擴(kuò)張，你需要構(gòu)建10個(gè)、100個(gè)甚至1000個(gè)數(shù)據(jù)管道，就會(huì)被大數(shù)據(jù)所累了。因?yàn)槟愕脑即a限制了你數(shù)據(jù)管道的擴(kuò)展能力。所以，把基本流程自動(dòng)化，會(huì)讓我們有更多時(shí)間關(guān)注專業(yè)的業(yè)務(wù)功能。

??2、智能數(shù)據(jù)系統(tǒng)可解決大規(guī)模數(shù)據(jù)帶來的問題

??對(duì)于大規(guī)模數(shù)據(jù)，有人害怕，而人則覺得不足為奇，無非是提供更多的存儲(chǔ)空間，把所有的數(shù)據(jù)存儲(chǔ)下來。其實(shí)，過于擔(dān)心和毫不關(guān)心，都不可取。

??大數(shù)據(jù)雖然不是什么新鮮物種，但是隨著數(shù)據(jù)量的增多，數(shù)據(jù)的安全性、數(shù)據(jù)訪問等問題，就會(huì)接踵而來。一旦出現(xiàn)問題，由大數(shù)據(jù)帶來的懲罰，就會(huì)被放大更多倍。大規(guī)模數(shù)據(jù)其實(shí)不止體現(xiàn)在容量上，在種類、使用方式等，都有很多不同點(diǎn)，我們需要通過自助式服務(wù)改變傳統(tǒng)的大數(shù)據(jù)管理模式。并且，開發(fā)人員不能憑空想象隨意構(gòu)建大數(shù)據(jù)解決方案，需要通過大量的測(cè)試案例去規(guī)避一些性能、安全和可伸縮性等問題。

??智能數(shù)據(jù)系統(tǒng)是一種新型大數(shù)據(jù)應(yīng)用，也是過去軟件開發(fā)過程中的核心應(yīng)用。現(xiàn)在，智能數(shù)據(jù)系統(tǒng)也可以用于大數(shù)據(jù)開發(fā)，解決大數(shù)據(jù)系統(tǒng)的可靠性、可伸縮性和可擴(kuò)展性等問題。

??3、全面提升數(shù)據(jù)安全意識(shí)

??無論是靜止數(shù)據(jù)，還是動(dòng)態(tài)數(shù)據(jù)，當(dāng)數(shù)據(jù)返回?cái)?shù)據(jù)中心時(shí)，請(qǐng)確保有足夠的保護(hù)措施和服務(wù)器空間。尤其是靜態(tài)數(shù)據(jù)，更要關(guān)注其安全性。必要的時(shí)候，開發(fā)人員要接受專業(yè)的數(shù)據(jù)保護(hù)培訓(xùn)。

??另外，不只是開發(fā)人員自己要有數(shù)據(jù)保護(hù)能力，還要讓整個(gè)企業(yè)都要有提升數(shù)據(jù)安全性的意識(shí)。

??4、遠(yuǎn)離關(guān)系型數(shù)據(jù)庫(kù)

??從數(shù)據(jù)庫(kù)的選擇上，要遠(yuǎn)離關(guān)系型數(shù)據(jù)庫(kù)。關(guān)系型數(shù)據(jù)庫(kù)非常善于處理事務(wù)的更新操作，尤其是處理更新過程中復(fù)雜一致性的問題。但是，關(guān)系型數(shù)據(jù)庫(kù)并不擅長(zhǎng)處理一些大數(shù)據(jù)管理方面的關(guān)鍵操作，比如：無法大規(guī)模擴(kuò)展，無法動(dòng)態(tài)地創(chuàng)建新的集群，不善于處理非結(jié)構(gòu)化數(shù)據(jù)等。即使有些關(guān)系型數(shù)據(jù)庫(kù)，能構(gòu)建大數(shù)據(jù)解決方案，但是代價(jià)非常昂貴。并且，在SQL和關(guān)系型數(shù)據(jù)庫(kù)的組合模式中，難以實(shí)現(xiàn)某些類型語句的簡(jiǎn)單查詢。

??在大數(shù)據(jù)解決方案中，NoSQL是最大贏家，這種數(shù)據(jù)庫(kù)結(jié)構(gòu)可以適用于微服務(wù)架構(gòu)。另外，在大數(shù)據(jù)的不同用例下要使用不同的編碼工具，所以Kubernetes (k8)變得越來越重要，成為DevOps解決方案中最終的應(yīng)用。

??5、掌握幾個(gè)關(guān)鍵的大數(shù)據(jù)技術(shù)

??在硅谷，如果你掌握了Kafka、Spark等主流的大數(shù)據(jù)技術(shù)，意味著你可以找到一份非常不錯(cuò)的工作。這說明，擁抱新技術(shù)是大勢(shì)所趨。但這并不代表這些大數(shù)據(jù)技術(shù)就是萬能的，我們要通過更有效的方法和更成熟的經(jīng)驗(yàn)不斷調(diào)優(yōu)，讓企業(yè)構(gòu)建適合的大數(shù)據(jù)平臺(tái)。

??總之，構(gòu)建一個(gè)全面、靈活的大數(shù)據(jù)平臺(tái)，并非易事。對(duì)于開發(fā)者來說，如果你只專注于某一個(gè)數(shù)據(jù)模型，那么可能會(huì)陷入大數(shù)據(jù)的“坑”，未來大數(shù)據(jù)擴(kuò)展會(huì)成問題。如果你想構(gòu)建一個(gè)完全原始、干凈的數(shù)據(jù)平臺(tái)，那么在實(shí)際應(yīng)用中，你所構(gòu)建的數(shù)據(jù)平臺(tái)將無法進(jìn)行工作。（文章來源/IT168）