實戰| 配置DataDog監控Apache Hudi應用指標_貨運

※評比南投搬家公司費用收費行情懶人包大公開

搬家價格與搬家費用透明合理,不亂收費。本公司提供下列三種搬家計費方案,由資深專業組長到府估價,替客戶量身規劃選擇最經濟節省的計費方式

1. 可用性

在Hudi最新master分支,由Hudi活躍貢獻者Raymond Xu貢獻了DataDog監控Hudi應用指標,該功能將在0.6.0 版本發布,也感謝Raymond的投稿。

2. 簡介

Datadog是一個流行的監控服務。在即將發布的Apache Hudi 0.6.0版本中,除已有的報告者類型(Graphite和JMX)之外,我們將引入通過Datadog HTTP API報告Hudi指標的功能。

3. 配置

類似於其他支持的報告者,啟用Datadog報告者需要以下兩個屬性。

hoodie.metrics.on=true
hoodie.metrics.reporter.type=DATADOG

下面的屬性用來配置Datdog API站點。它會決定請求被發送給api.datadoghq.eu (EU) 還是 api.datadoghq.com (US)。根據你的Datadog賬號作相應配置。

hoodie.metrics.datadog.api.site=EU # 或者 US

hoodie.metrics.datadog.api.key可以讓你配置API密匙。

hoodie.metrics.datadog.api.key=<你的API密匙>
hoodie.metrics.datadog.api.key.supplier=<你的API密匙提供者>

出於安全性考慮,你可能會選擇在運行時返回API密匙。要使用這個方法,需要實現java.util.function.Supplier<String>。並把實現類的完整類名設置到hoodie.metrics.datadog.api.key.supplier。由於hoodie.metrics.datadog.api.key有更高的優先級,也要確保它沒有設置。

下面的屬性用來配置指標前綴,從而區分不同job的指標。

※智慧手機時代的來臨,RWD網頁設計為架站首選

網動結合了許多網際網路業界的菁英共同研發簡單易操作的架站工具,及時性的更新,為客戶創造出更多的網路商機。

hoodie.metrics.datadog.metric.prefix=<你的指標前綴>

注意這裏.會被用來隔離前綴和指標名。比如,如果前綴是foo,則foo.會被加在指標名稱前。

其他的可選屬性在配置參考頁里有相關解釋。

4. 示例演示

在這個示例中,我們運行了一個HoodieDeltaStreamer,啟用了指標收集並做了相應的配置。

如圖所示,我們能收集到Hudi操作相關的指標,比如

  • <前綴>.<表名>.commit.totalScanTime
  • <前綴>.<表名>.clean.duration
  • <前綴>.<表名>.index.lookup.duration

以及HoodieDeltaStreamer相關的指標。

  • <前綴>.<表名>.deltastreamer.duration
  • <前綴>.<表名>.deltastreamer.hiveSyncDuration

. 總結

Hudi提供了多種報告者,方便監控Hudi應用運行時的各項指標,及時發現系統中的問題。

本站聲明:網站內容來源於博客園,如有侵權,請聯繫我們,我們將及時處理

※回頭車貨運收費標準

宇安交通關係企業,自成立迄今,即秉持著「以誠待人」、「以實處事」的企業信念

您可能也會喜歡…