1. <strike id="778xg"></strike>

      <strike id="778xg"><sup id="778xg"></sup></strike>

      1. <th id="778xg"><video id="778xg"></video></th>
        <strike id="778xg"><video id="778xg"></video></strike>
      2. <strike id="778xg"></strike>

      3. 世界滾動:初探ETLCloud CDC零代碼實現MySQL數據實時同步

        • 商洛在線
        • 2023-06-23 17:09:08
        • 來源:RestCloud

        1. CDC實時數據同步的應用場景

        CDC實時同步功能是現代數據倉庫技術中常見的一種數據同步技術,能夠實現實時交互、持續同步、高可用性和高性能的數據傳輸。

        應用場景:

        實時數據備份:將源系統的數據實時備份到目標數據系統中,確保數據的實時性和可靠性。


        (資料圖片)

        高效數據同步:保證源系統中數據變化及時地同步到目標數據系統中,減少數據同步延遲和數據丟失。

        數據異構轉換:將不同數據系統之間的數據進行異構轉換,實現數據的互通和共享。

        數據監管和審計:對數據的改動進行監管和審計,提高數據的安全性和合規性。

        ETLCloud CDC 介紹

        ETLCloud CDC是一款容安裝易使用的、零代碼的CDC實時數據同步工具,ETLCloud CDC具有以下功能特點:

        零代碼:只需簡單配置,無需任何代碼即可完成CDC的配置和同步。

        實時數據同步:將一個或多個源數據系統的數據實時傳輸到目標數據系統。

        增量數據同步:高效的數據同步方式,可以只同步最新的更新內容,避免全部備份和傳輸。

        數據源類型:ETLCloud CDC支持多種數據源類型的實時同步主要包含:MySQL、Sql Server、Oracle、PG、MQ等。

        實時數據類型轉換:實時將原始數據轉換為目標端可以識別的格式,從而保證數據準確性和有效性。

        DDL同步: 當源表的DDL發現變更時自動同步目標表的DDL。

        斷點自動恢復:在傳送過程中發生異常時能自動從斷點位置重新傳送實時數據。

        CDC+ETL一體化架構: 通過CDC實時數據流與ETL的結合實現對實時復雜數據的處理需求。

        此外,ETLCloud CDC 還具備高可用性、靈活配置、數據安全加密、任務監控等功能,可滿足不同場景下企業級應用的要求。

        安裝部署

        3.1安裝ETLCloud CDC

        步驟1:官網下載linux一鍵部署包,把一鍵部署包放到一個目錄下解壓并進入該目錄。

        對腳本文件進行賦權

        chmod +x restcloud_install.sh

        執行腳本

        ./restcloud_install.sh

        等待tomcat啟動,當出現這個界面,則restcloud證明啟動成功

        步驟2:打開瀏覽器輸入{host}/restcloud/admin/login

        輸入用戶名密碼: admin/pass

        步驟3:登入系統后我們去官網申請sn碼

        填寫好郵箱和對應的機器號,點擊驗證發送驗證郵件然后就會返回申請的序列號到所填寫的郵箱

        將返回的序列號填好,點擊保存,刷新頁面進入到首頁

        步驟4:填寫好序列號后, 需要執行下版本更新, 在平臺主頁選擇平臺監控 -> 一鍵備份升級,點擊版本更新按鈕,重啟Tomcat即可。

        進入tomcat/bin目錄

        cd /usr/tomcat/bin

        //啟動tomcat并打印啟動日志

        ./startup.sh && tail -f ../logs/catalina.out

        ETLCloud CDC實時庫表同步

        步驟1: 啟用MySQL的CDC功能,需要在MySQL的my.cnf配置文件中設置相應的參數。

        在配置文件中增加如下配置,開啟Binlog。

        server-id = 123

        log_bin = mysql-bin

        binlog_format = row

        binlog_row_image = full

        expire_logs_days = 10

        gtid_mode = on

        enforce_gtid_consistency = on

        修改完配置參數后重啟MySQL服務

        步驟2: 創建數據監聽器

        步驟3: 配置數據監聽器

        在創建數據同步任務后,需要對同步任務進行配置。在這個過程中,您需要指定要同步的表以及數據傳輸模式。

        步驟4: 啟動同步任務

        完成同步任務的配置后,您需要啟動同步任務以開始實時同步數據。在ETLCloud中,可以通過單擊“啟動”按鈕來啟動同步任務。

        步驟5: 監控同步任務

        啟動數據同步任務后,可以通過監控面板統計圖來了解任務的運行狀態、同步量以及異常情況。

        使用Navicat查看源表數據(restcloud.test)

        使用Navicat查看目標表數據(test.test)

        執行插入語句

        監控面板統計圖

        再次使用Navicat查看源表數據(restcloud.test)

        目標表數據(test.test)

        通過對比發現ETLCloud CDC實時同步功能成功使用。

        ETLCloud CDC實時同步功能是一種高效、可靠的數據同步方案,它可以用于實現源數據庫和目標數據庫之間的實時同步,從而提高數據集成和應用開發的效率。

        ETLCloud CDC社區免費版本下載地址:ETLCloud 全域數據集成平臺

        標簽:

        ?

        推薦More

        亚洲成a人片久久久久国产