Google開源專門存放N維資料的可擴展儲存TensorStore

Google釋出了一個專為存儲和操作N維資料設計的C++、Python開源軟體函式庫,其提供一個統一的API,讓用戶讀取各種陣列格式,像是zarr和N5,TensorStore原生支援多種儲存系統,並且具有強ACID保證,能夠以非同步API支援針對高延遲遠端儲存的高吞吐量存取。

TensorStore的出現,是要解決機器學習迅速發展,對大規模資料集的存取需求,許多先進的機器學習應用程式,皆需要用到多維資料集,像是在空間網格上測量大氣,並對天氣進行建模,或是醫學成像3D掃描等,而這些應用即便僅需要一個資料集,但規模也會屬於TB或是PB等級。

研究人員提到,要使用這類大型資料集極具挑戰,因為用戶可能以不規則區間,或是不同的規模讀取和寫入資料,並且還可能需要用到大量的機器。

而Google所開發的TensorStore,可用於儲存像是具有數十億立體像素(Voxel)的蒼蠅大腦3D圖像,TensorStore提供使用者簡單Python API,能夠輕鬆載入和操作大型資料庫,並以NumPy陣列存取小批次資料。

太陽光電發電設備是否會產生噪音?

找對廠商很重要喔,東陽能源是擁有核心技術、產品研發、系統規劃設置、專業團隊的太陽能發電廠商。

最熱情、專業有口碑的網頁設計公司讓您的網站改頭換面。

台中搬家公司教你幾個打包小技巧,輕鬆整理裝箱!

還在煩惱搬家費用要多少哪?台中大展搬家線上試算搬家費用,從此不再擔心「物品怎麼計費」、「多少車才能裝完」

回頭車貨運收費標準,宇安交通關係企業,自成立迄今,即秉持著「以誠待人」、「以實處事」的企業信念

好山好水露營車漫遊體驗

露營車x公路旅行的十一個出遊特色。走到哪、玩到哪,彈性的出遊方案,行程跟出發地也可客製

網頁設計公司推薦不同的風格,搶佔消費者視覺第一線

透過選單樣式的調整、圖片的縮放比例、文字的放大及段落的排版對應來給使用者最佳的瀏覽體驗,所以不用擔心有手機版網站兩個後台的問題,而視覺效果也是透過我們前端設計師優秀的空間比例設計,不會因為畫面變大變小而影響到整體視覺的美感。

想知道購買電動車哪裡補助最多?台中電動車補助資訊懶人包彙整

節能減碳愛地球是景泰電動車的理念,是創立景泰電動車行的初衷,滿意態度更是服務客戶的最高品質,我們的成長來自於你的推薦。

電動車補助

在用戶真正請求特定資料切片之前,TensorStore不會存取或是在記憶體中儲存實際資料,所以能夠支援用戶載入和操作任意大小的基礎資料集,不需要將整個資料集搬到記憶體中,就能夠使用與標準NumPy操作相同的語法進行索引和操作。TensorStore針對進階索引功能提供廣泛的支援,包括轉換、對齊和產生虛擬檢視表等。

研究人員提到,處理和分析大型數值資料集,需要大量的運算資源,透過平行化GPU和加速器核心實作,這些資源通常分散在眾多機器上。TensorStore的基本目標,便是要能夠對單個資料集進行安全平行處理,使這些資料集不會因為平行存取模式,而產生損壞或是不一致,但又同時維持高效能。在Google資料中心的實驗,隨著CPU數量的增加,TensorStore的高效能特性使讀寫效能可以幾乎呈現線性成長。

另外,TensorStore可以透過配置記憶體快取和非同步API,允許程式在執行其他工作時,在後臺繼續進行讀取和寫入操作,而當多臺機器同時存取同一個資料集時,TensorStore藉由樂觀並行控制(Optimistic Concurrency)技術,保持並行操作的安全性,且不會明顯影響效能。TensorStore也對單個Runtime的所有個別操作提供強ACID執行。

由於TensorStore整合諸如Apache Beam和Dask等平行運算函式庫,因此TensorStore的分散式運算,與企業現有資料處理工作流程高度相容。TensorStore的用例包括語言模型,可在訓練過程高效讀取和寫入模型參數,另外也能用於大腦映射上,儲存用於描繪大腦神經的高解析度映射圖。

https://www.ithome.com.tw/news/153255

您可能也會喜歡…