帳號:
密碼:
最新動態
產業快訊
CTIMES / 文章 /
為大數據與各種工作負載設計的解決方案
 

【作者: Gerrit Kazmaier】   2022年04月12日 星期二

瀏覽人次:【3039】

現今的資料格式不僅相當多元,更會以即時串流的形式提供,同時散布於世界各地許多不同的資料中心和雲端環境中。從數據分析、資料工程、人工智慧與機器學習,到資料導向應用程式,運用及分享資料的方式仍在持續增加。資料的影響力不再僅限於分析師,現已擴及所有員工、客戶和合作夥伴。


由於資料、工作負載和使用者的數量與類型急劇成長,因此目前正處於一個臨界點上,即便將傳統資料架構部署於雲端,也無法完整發揮資料的潛在價值,導致資料越來越難以轉化為實際價值。


為克服這些難題,我們正式發表多項資料雲端的創新技術,協助大家處理各種工作負載中無窮無盡的資料,並讓所有人都能使用。這次發表的項目中包含 BigLake和Spanner變更串流,這些技術可以進一步整合客戶資料,同時確保資料能夠即時傳遞。


另外,Vertex AI Workbench和Model Registry則能讓大家輕鬆將資料轉化為 AI方面的價值。為了讓所有人都能使用資料,我們將發表經過統合的商業智慧 (BI)服務,當中包含全新的Workspace整合方案,以及進一步支援Google資料雲端合作夥伴生態系的新計畫。


突破所有資料限制

我們發表的Beta版BigLake,這個資料湖泊儲存引擎可以整合不同的資料湖泊與倉儲,進而打破其中的界線。如果分開管理不同的資料倉儲與湖泊,會造成資料孤島的情形發生,並導致額外的風險和費用,這樣的問題在需要遷移資料時會特別明顯。


有了BigLake,企業就能整合資料倉儲和資料湖泊,並進行分析,且不必擔心基礎的儲存空間格式或系統,這樣就不需要複製或遷移來源中的資料,進而降低成本並提高效率。


在BigLake的協助下,客戶可以採用更細緻的存取權控管機制,並透過API介面使用Google Cloud和Parquet等開放原始碼檔案格式,進而運用Apache Spark等開放原始碼處理引擎。這些功能將BigQuery十年的革新成果拓展至 Google Cloud Storage中的資料湖泊,實現了具備彈性並符合成本效益的開放式資料湖倉架構。


Twitter已開始採用BigQuery的儲存空間功能來打破資料限制,以便進一步掌握其用戶使用Twitter平台的方式,以及會感到興趣的內容類型。因此,Twitter 能透過每秒可執行超過 300 萬次聚合作業的廣告管道,每天為數兆個事件提供內容。


另一項重大創新技術是Spanner變更串流。這項即將推出的新產品會進一步協助大家打破資料限制,並即時追蹤Spanner資料庫中的變更,以便創造全新價值。Spanner變更串流可以追蹤Spanner的植入、更新和刪除作業,並在整個 Spanner資料庫中即時串流異動內容。這樣一來,客戶就能隨時存取最新資料,同時輕鬆將Spanner中的變更複製到BigQuery來進行即時分析、透過 Pub/Sub觸發下游應用程式行動,或是將變更儲存至Google Cloud Storage (GCS)來遵守法規要求。Spanner目前每秒最多可處理超過20億項要求,同時維持99.999%的可用性。而在增加變更串流之後,Spanner現在可以讓客戶在處理資料時享有無限可能。


消除資料工作負載的限制

我們的AI產品組合是以Vertex AI來驅動,這個代管平台提供建立、部署及擴充模型所需的各項機器學習工具,並經過最佳化的處理,可以順暢處理 BigQuery 等服務中的資料工作負載。Vertex AI創新技術提供更加流暢的體驗,讓客戶在更短時間內將AI模型部署至實際工作環境,並進一步簡化維護作業。


Vertex AI Workbench現已正式推出,能夠將資料和機器學習系統整合至單一介面,這樣一來無論是執行資料分析、數據科學或機器學習等工作,團隊都能使用相同的工具組來完成。Vertex AI Workbench與BigQuery、無伺服器 Spark和Dataproc整合後,可讓團隊快速建立、訓練及部署機器學習模型,速度是傳統筆記型電腦的5倍。事實上,一間跨國零售公司採用了Vertex AI Workbench之後,銷售額增加了數百萬美元,產品上市速度也加快了15%。


有了Vertex AI,就可以定期更新模型,不過要管理大量的構件並非易事,情況可能會在短時間內失控。為了能夠更輕鬆地管理模型的維護作業,我們發布全新的機器學習運作功能Vertex AI Model Registry。目前Vertex AI Model Registry為Beta版,提供中央存放區,可供探索、使用及管理機器學習模型,BigQuery ML中的模型也包含在內。如此,數據資料學家就能輕鬆分享模型,以方便應用程式開發人員使用,進而讓團隊能依據資料即時制定決策,在面對持續變化的市場環境時能保持更高彈性。


擴大資料觸及範圍

我們也推出Looker連結試算表,以及在Data Studio中存取Looker資料模型的功能。無論是透過Looker探索(Looker Explore)、Google試算表或是數據分析(Data Studio)的拖曳式介面,大家現在都能按照自己選取的方式與資料行互動。


如此一來,所有人都能運用這個經過整合的全新Google Cloud商業智慧 (BI)平台,更輕鬆地存取資料、並從中擷取出深入分析的結果,藉此推動革新,並依據資料來制定決策。有了這項整合式商業智慧服務,使用者就能輕鬆取得受管理且值得信賴的企業資料、採用新的資料集和計算功能,並與同事協同合作。


Mercado Libre是拉丁美洲最大的線上商務與支付服務系統,同時也是Looker連結試算表的初期採用者。借助這項整合服務,他們已能透過原先慣用的試算表介面將資料存取權分享給更多員工。藉由降低入門門檻,他們已經營造出資料導向文化,所有人都能依據資料制定決策。


強化支持資料雲端合作夥伴生態系

如果沒有出色的合作夥伴生態系,我們即使擁有這些資料創新技術,也不可能讓使用者輕鬆發揮數據的價值。目前已有超過700個軟體合作夥伴使用 Google的資料雲來驅動自家的應用程式。Bloomreach、Equifax、Exabeam、Quantum Metric和ZoomInfo等許多合作夥伴均已開始採用我們的資料雲功能,並參加Built with BigQuery計畫,來享有專屬工程團隊、協同行銷和市場開發的支援。


我們的用戶希望合作夥伴解決方案不僅能夠與BigQuery等產品緊密整合,並可以進一步優化。因此Google Cloud Ready - BigQuery這項全新的驗證機制,能夠識別一系列符合功能性和互通性核心需求的合作夥伴解決方案,例如 Fivetran、Informatica和Tableau所提供的服務。目前在「Google Cloud Ready - BigQuery」計畫中收錄了超過25個合作夥伴。這項嶄新的計畫可協助客戶減少評估新工具所需的成本,同時支援新的應用情境。


另外,我們也宣布一項新的資料庫遷移計畫,希望能夠協助大家在短時間內順暢且迅速地邁開遷移的腳步,將地端部署環境和其他雲端中的資料遷移至 Google的全代管資料庫服務上。除了由Deloitte等合作夥伴提供的工具、資源和專業知識之外,我們也提供獎勵來協助客戶節省遷移資料庫的費用。


我們會繼續與客戶挹注資源的資料與數據分析公司合作,持續推動革新。Databricks、Fivetran、MongoDB、Neo4j和Redis也都已經向Google Cloud 的用戶公布重大新功能。


(本文作者Gerrit Kazmaier為Google Cloud資料庫、資料分析及Looker商業智慧平台總經理暨副總裁)


相關文章
大數據和AI預測助力 快土石流不只一步!
生成式AI與PC革新
利用學習資源及AI提升自動化程式開發效率
機器學習可以幫助未來的癌症診斷
資料科學與機器學習協助改善頸部損傷評估
comments powered by Disqus
相關討論
  相關新聞
» 偉康科技獲得三重資安驗證 全方位防護控管
» 精誠金融科技取得第三方支付能量登錄 數位金流佈局到位
» 聯發科與大聯大品佳於Embedded World 2024展出嵌入式物智慧聯網成果
» 遠東醫電與臺北榮總簽訂MOU 強化海外地區面臨緊急醫療需求
» 資策會攜手日本5GMF 推動5G發展與創新應用


刊登廣告 新聞信箱 讀者信箱 著作權聲明 隱私權聲明 本站介紹

Copyright ©1999-2024 遠播資訊股份有限公司版權所有 Powered by O3  v3.20.2048.3.141.31.209
地址:台北數位產業園區(digiBlock Taipei) 103台北市大同區承德路三段287-2號A棟204室
電話 (02)2585-5526 #0 轉接至總機 /  E-Mail: webmaster@ctimes.com.tw