提到大數據，我們首先會想到3V,即：數據量大、業(yè)務復雜、速度快。而對開發(fā)者來說，我們無需關心什么是大數據，大數據會帶來哪些影響。開發(fā)者的日常工作，主要是解決哪些業(yè)務問題，通過哪些技術手段增加企業(yè)的業(yè)務價值，并進一步提高用戶體驗。但是，如果我們能全面地了解大數據的當前和未來狀態(tài)，可以讓開發(fā)工作變得得心應手。

??那么，開發(fā)人員在處理大數據時，需要記住哪些要領呢?

??1、把基本流程自動化，重點關注業(yè)務問題

??很多開發(fā)者都知道，要想構建一個更酷的解決方案，需要關注最重要的業(yè)務問題，并且要與各個部門通力合作，共同完成。但是，開發(fā)人員不了解的是，很多流行的大數據技術，只滿足于特定用例，我們需要根據特定的應用場景，選擇適合的解決方案。所以，在構建大數據解決方案時，我們要充分了解數據邏輯，構建數據提取規(guī)則，并考慮數據的遵從性和安全性要求，還要考慮如何與其他軟件無縫集成。

??如果只借助開發(fā)人員或者解決方案架構師的思維來考慮問題，我們的最終方案肯定不夠全面，如何讓我們的解決方案覆蓋面更廣，盡可能地解決更多的問題，其實是有規(guī)律可循的。首先，把思考數據來源作為常態(tài);其次，我是否與主抓業(yè)務數據的人建立了合作關系;其三，我處理業(yè)務的結果是什么，業(yè)務人員是否能看到價值?

??假如，你從事的是零售業(yè)，就應該從開發(fā)的角度進一步提高零售體驗;假如你從事的是石油和天然氣行業(yè)，就要想如何通過技術手段有效地從地下開采石油。總之，作為開發(fā)人員，要專注于如何為特定業(yè)務提供價值，進而影響到特定行業(yè)，而不是把大量時間都花費在橫向功能的擴展上。

??從頭開始，構建一個端到端的數據管道。雖然一開始非常有成就感，但是后期隨著企業(yè)業(yè)務的擴張，你需要構建10個、100個甚至1000個數據管道，就會被大數據所累了。因為你的原始代碼限制了你數據管道的擴展能力。所以，把基本流程自動化，會讓我們有更多時間關注專業(yè)的業(yè)務功能。

??2、智能數據系統(tǒng)可解決大規(guī)模數據帶來的問題

??對于大規(guī)模數據，有人害怕，而人則覺得不足為奇，無非是提供更多的存儲空間，把所有的數據存儲下來。其實，過于擔心和毫不關心，都不可取。

??大數據雖然不是什么新鮮物種，但是隨著數據量的增多，數據的安全性、數據訪問等問題，就會接踵而來。一旦出現問題，由大數據帶來的懲罰，就會被放大更多倍。大規(guī)模數據其實不止體現在容量上，在種類、使用方式等，都有很多不同點，我們需要通過自助式服務改變傳統(tǒng)的大數據管理模式。并且，開發(fā)人員不能憑空想象隨意構建大數據解決方案，需要通過大量的測試案例去規(guī)避一些性能、安全和可伸縮性等問題。

??智能數據系統(tǒng)是一種新型大數據應用，也是過去軟件開發(fā)過程中的核心應用。現在，智能數據系統(tǒng)也可以用于大數據開發(fā)，解決大數據系統(tǒng)的可靠性、可伸縮性和可擴展性等問題。

??3、全面提升數據安全意識

??無論是靜止數據，還是動態(tài)數據，當數據返回數據中心時，請確保有足夠的保護措施和服務器空間。尤其是靜態(tài)數據，更要關注其安全性。必要的時候，開發(fā)人員要接受專業(yè)的數據保護培訓。

??另外，不只是開發(fā)人員自己要有數據保護能力，還要讓整個企業(yè)都要有提升數據安全性的意識。

??4、遠離關系型數據庫

??從數據庫的選擇上，要遠離關系型數據庫。關系型數據庫非常善于處理事務的更新操作，尤其是處理更新過程中復雜一致性的問題。但是，關系型數據庫并不擅長處理一些大數據管理方面的關鍵操作，比如：無法大規(guī)模擴展，無法動態(tài)地創(chuàng)建新的集群，不善于處理非結構化數據等。即使有些關系型數據庫，能構建大數據解決方案，但是代價非常昂貴。并且，在SQL和關系型數據庫的組合模式中，難以實現某些類型語句的簡單查詢。

??在大數據解決方案中，NoSQL是最大贏家，這種數據庫結構可以適用于微服務架構。另外，在大數據的不同用例下要使用不同的編碼工具，所以Kubernetes (k8)變得越來越重要，成為DevOps解決方案中最終的應用。

??5、掌握幾個關鍵的大數據技術

??在硅谷，如果你掌握了Kafka、Spark等主流的大數據技術，意味著你可以找到一份非常不錯的工作。這說明，擁抱新技術是大勢所趨。但這并不代表這些大數據技術就是萬能的，我們要通過更有效的方法和更成熟的經驗不斷調優(yōu)，讓企業(yè)構建適合的大數據平臺。

??總之，構建一個全面、靈活的大數據平臺，并非易事。對于開發(fā)者來說，如果你只專注于某一個數據模型，那么可能會陷入大數據的“坑”，未來大數據擴展會成問題。如果你想構建一個完全原始、干凈的數據平臺，那么在實際應用中，你所構建的數據平臺將無法進行工作。（文章來源/IT168）