互聯(lián)網(wǎng)公司普通進(jìn)步迅速. 一方面, 業(yè)務(wù)飛速進(jìn)步, 當(dāng)前使用的方式和模型每天都在變革; 企業(yè)的產(chǎn)品也在經(jīng)歷一直的下線上線過(guò)程. 資料倉(cāng)庫(kù)如何擁抱變革, 是難點(diǎn)之一.
互聯(lián)網(wǎng)的運(yùn)營(yíng)人員從了解經(jīng)營(yíng)情況轉(zhuǎn)化為精細(xì)化運(yùn)營(yíng), 這就于要求資料倉(cāng)庫(kù)具備提供明細(xì)資料水平, 資料倉(cāng)庫(kù)如何在龐大資料量的前提下, 實(shí)現(xiàn)滿足差異層次的資料提出和分析, 是難點(diǎn)之二.
資料經(jīng)過(guò)ETL后來(lái)到達(dá)應(yīng)用資料者手里; 提取資料和提出資料的需要往往來(lái)自差異的部門和出于差異的目標(biāo). 這普通會(huì)導(dǎo)致資料口徑不一致, 資料含意模糊, 甚至資料正確性很難校驗(yàn). 資料倉(cāng)庫(kù)如何提升/增加資料口徑一致, 資料途徑可追溯性, 是難點(diǎn)之三.
資料倉(cāng)庫(kù)的使用行業(yè)除了各個(gè)業(yè)務(wù)部門還包含技術(shù)部門自身. 因?yàn)楹A抠Y料解決, 互聯(lián)網(wǎng)的技術(shù)架構(gòu)越來(lái)越依賴大資料平臺(tái)的支持. 一個(gè)點(diǎn)上平臺(tái)每天都會(huì)有數(shù)以萬(wàn)記的店鋪和商品更新, 數(shù)以億計(jì)的用戶日志, 訂單資料等. 這些資料在毫無(wú)保留的消息隊(duì)列匯總到資料倉(cāng)庫(kù)中. 如果應(yīng)用資料倉(cāng)庫(kù)進(jìn)行再生產(chǎn)是技術(shù)架構(gòu)重點(diǎn)考慮的事情. 資料倉(cāng)庫(kù)擁有其他資料平臺(tái)無(wú)奈比擬的橫向擴(kuò)展和迭代計(jì)算水平, 可以直接或者間接面向用戶提供資料服務(wù). 這也是大資料的機(jī)遇之一.
咱們對(duì)于近源資料層的定位是可以"快速"的構(gòu)建基礎(chǔ)資料平臺(tái). 不做業(yè)務(wù)相干的解決可以讓這局部的工作專一在大資料架構(gòu)正確性和穩(wěn)定性的問(wèn)題.