2016年6月8日,大數(shù)據(jù)技術(shù)研討會(huì)在國(guó)家超級(jí)計(jì)算深圳中心二樓順利開(kāi)展。出席研討會(huì)的來(lái)賓有深圳市交委、公安、衛(wèi)計(jì)委、管委會(huì)等政府部委領(lǐng)導(dǎo),中科院先進(jìn)院、深圳大學(xué)等科研單位代表,深圳前海信息技術(shù)有限公司、SAS軟件(北京)有限公司和深圳市漢云科技有限公司等大數(shù)據(jù)企業(yè)。
會(huì)上,行業(yè)專(zhuān)家就大數(shù)據(jù)的技術(shù)、應(yīng)用和面臨的挑戰(zhàn)發(fā)表各自的看法,都表達(dá)了對(duì)大數(shù)據(jù)產(chǎn)業(yè)的普遍關(guān)注和重視。會(huì)議上,我司總裁王界兵博士向與會(huì)嘉賓分享了公司產(chǎn)品和技術(shù),以及他本人的大數(shù)據(jù)時(shí)代數(shù)據(jù)觀。
強(qiáng)調(diào)Hadoop先進(jìn)性 2020年市場(chǎng)占比增至50%
會(huì)議上,王總首先介紹了Hadoop在大數(shù)據(jù)市場(chǎng)中的地位。目前基于Hadoop的大數(shù)據(jù)系統(tǒng)占有1/4市場(chǎng)份額。 Hadoop擁有完整且健康的生態(tài)圈,從數(shù)據(jù)源接入、數(shù)據(jù)采集、數(shù)據(jù)處理到數(shù)據(jù)使用、分析、挖掘都有先進(jìn)解決方案及工具支持,這些都將確保Hadoop的市場(chǎng)份額到2020年將攀升至50%。
前信閃電大數(shù)據(jù)平臺(tái) 提供全面大數(shù)據(jù)解決方案
前海信息專(zhuān)門(mén)從事基于Hadoop2.0的大數(shù)據(jù)系統(tǒng)產(chǎn)品研發(fā),主打產(chǎn)品前信閃電大數(shù)據(jù)系統(tǒng)是一套企業(yè)級(jí)、全中文、分布式的大數(shù)據(jù)平臺(tái)系統(tǒng),可以提供給用戶在業(yè)務(wù)不下線的情況下對(duì)數(shù)據(jù)存儲(chǔ)和計(jì)算能力進(jìn)行集群的橫向擴(kuò)展,同時(shí)用戶可以通過(guò)友好交互的可視化界面對(duì)數(shù)據(jù)進(jìn)行全方位的綜合使用。前信閃電大數(shù)據(jù)系統(tǒng)可以對(duì)各種結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)在分布式數(shù)據(jù)庫(kù)進(jìn)行有效存儲(chǔ),具有卓越的事實(shí)數(shù)據(jù)流處理能力、SQL查詢、全文搜索和數(shù)據(jù)分析挖掘能力,同時(shí)集成了業(yè)界最快的基于內(nèi)存的并行數(shù)據(jù)處理引擎Spark,擁有世界頂尖的集群安全技術(shù),能為用戶提供各個(gè)層面上的平臺(tái)安全保護(hù),是業(yè)界功能最全面、性能最強(qiáng)大、操作最友好的企業(yè)級(jí)可視化全中文大數(shù)據(jù)平臺(tái)系統(tǒng)。
提出“數(shù)據(jù)湖”理念 高效使用大數(shù)據(jù)
大會(huì)上,王總還分享了他的大數(shù)據(jù)時(shí)代數(shù)據(jù)觀,重點(diǎn)強(qiáng)調(diào)了大數(shù)據(jù)中的“數(shù)據(jù)湖”概念。王總表示,過(guò)去的數(shù)據(jù)都散落在各個(gè)業(yè)務(wù)系統(tǒng),彼此分割獨(dú)立、沒(méi)有組織沒(méi)有管理,無(wú)法查詢,獲取價(jià)值更是難上加難,就像一大片數(shù)據(jù)沼澤地,讓人望而生怯。前信的“數(shù)據(jù)湖”概念是將全體數(shù)據(jù)在保持其原始形態(tài)的條件下匯聚至大數(shù)據(jù)系統(tǒng),然后建立原始數(shù)據(jù)的沙盤(pán),通過(guò)數(shù)據(jù)管理平臺(tái)建立元數(shù)據(jù)目錄,對(duì)所有數(shù)據(jù)的血統(tǒng)和生命周期進(jìn)行有效管理,使得數(shù)據(jù)可被查詢、被追朔?!皵?shù)據(jù)湖”概念的核心是:數(shù)據(jù)寫(xiě)入大數(shù)據(jù)系統(tǒng)時(shí)沒(méi)有schema,只有數(shù)據(jù)被用到時(shí)才按需建立schema,這是對(duì)大數(shù)據(jù)的最高效使用方式之一。
保障用戶隱私 增強(qiáng)數(shù)據(jù)共享意識(shí)
在與衛(wèi)計(jì)委、交委等部委領(lǐng)導(dǎo)交流過(guò)程中,大家普遍對(duì)政府?dāng)?shù)據(jù)共享和隱私表示關(guān)注。王總認(rèn)為前海信息作為大數(shù)據(jù)產(chǎn)品公司,無(wú)意將政府?dāng)?shù)據(jù)占為己有,而且目前的數(shù)據(jù)脫敏工具保證了數(shù)據(jù)在交付分析之前通過(guò)不可逆處理可以實(shí)現(xiàn)高度脫敏,從技術(shù)層面可以完全保障用戶的數(shù)據(jù)隱私,希望政府職能部門(mén)能夠打消疑慮并增強(qiáng)數(shù)據(jù)共享的理念,真正讓數(shù)據(jù)造福百姓。
轉(zhuǎn)變觀念 重視價(jià)值挖掘基礎(chǔ)工作
王總還與在座嘉賓探討大數(shù)據(jù)目前存在的一種思維,即一談到大數(shù)據(jù)就是數(shù)據(jù)建模、分析和挖掘。其實(shí)數(shù)據(jù)的整理、清洗、融合、建倉(cāng)也是大數(shù)據(jù)的關(guān)鍵,這一階段的工作其實(shí)是最高難度、最耗時(shí)的,對(duì)未來(lái)數(shù)據(jù)分析的影響也最大。建立一個(gè)高效的大數(shù)據(jù)“數(shù)據(jù)湖”,就是為價(jià)值挖掘提供一個(gè)真正的“聚寶盆”!
此外,王總分享了公司的人才情況、產(chǎn)品優(yōu)勢(shì)、服務(wù)價(jià)值、成功案例等,得到了在座嘉賓的積極肯定。