關鍵字: [亞馬遜云科技, Redshift Serverless, 亞馬遜云科技, Redshift Serverless, 數據分析靈活性, 效率優化, 計算資源動態調整]
導讀在這場演講中,演講者介紹了亞馬遜云科技的Redshift Serverless新服務。Redshift Serverless繼承了傳統Redshift數據倉庫的性能和功能,但在用戶體驗上有了顯著提升。它采用了Namespace、Workgroup和RPU的新概念,無需管理節點大小和數量,并且可以無縫升級版本。演講者還分享了兩個客戶案例,展示了Redshift Serverless如何解決多源數據整合和數據存儲管理的難題。最后,演講者介紹了兩個最佳實踐,即如何自動監控和優化查詢性能瓶頸,以及如何動態調整RPU數量以實現最佳利用率。Redshift Serverless重新定義了數據分析的靈活性和效率。
演講精華以下是小編為您整理的本次演講的精華。
亞馬遜云科技中國區技術支持工程師在此次演講中分享了關于Redshift Serverless的內容,主題為“Redshift Serverless重新定義數據分析的靈活性與效率”。他將演講分為三個部分:Redshift Serverless服務介紹、用戶案例分享以及兩個最佳實踐。
第一部分是Redshift Serverless服務介紹。演講者首先概述了亞馬遜云科技中與數據相關的服務,可分為收集、存儲和分析三個部分,其中Redshift定位于分析這一塊,旨在為客戶提供數據分析決策支持。接著,他回顧了Redshift傳統數據倉庫所支持的功能,包括多種實例類型選擇,從RA3的xlarge值一直到RA3的16xlarge值,這些不同的節點都有它們分別的vCPU、核數、內存,以及存儲的上限。在選擇數據倉庫時,由于是由多個節點構成,客戶可以靈活選擇節點類型,不同節點有不同價格,從而實現精細的性價比控制。并且隨著使用,可以從兩個節點擴容到四個節點,當然也可以擴容到更多節點或收縮。
其次,Redshift支持不同的查詢隊列。這意味著,假設有多個業務部門同時使用同一個數據倉庫,可能會出現一種情況,一個業務部門帶來的都是大型且復雜的查詢,另一個業務部門帶來的都是小型但要求迅速出結果的查詢。如果沒有隊列設置,可能會出現一個大型查詢占據大量資源造成后面查詢阻塞的情況。因此,Redshift提供了隊列概念,可以將不同業務部門或用戶的查詢分入不同隊列,并限定每個隊列的資源上限。
最后,Redshift還可以隨時暫停和恢復集群,因為集群是根據節點運行時間計費,在不使用時可暫停并停止計費,恢復使用時再開始計費,實現了精細的性價比控制。
然而,Redshift Serverless在傳承了傳統Redshift所有性能和功能的基礎上,還提供了更好的用戶體驗支持。Redshift Serverless中有三個重要概念:Namespace、Workgroup和RPU(Redshift處理單元)。Namespace沒有大小限制,可以存儲任意數量數據,解決了傳統集群存儲上限的問題;Workgroup用于配置連接和安全設置,如VPC、安全組、端口等;RPU則替代了節點類型,每個RPU對應16GB內存,更加靈活。
更重要的是,Redshift Serverless提供了AI動態計算功能,可以根據查詢自動調整RPU數量,最大化性價比或性能,無需人工干預。它采用了5個檔位,分別對應最佳性價比到最佳性能,客戶只需規定一個最大RPU數量,Redshift就會在這個范圍內靈活調配。它還采用按查詢運行時長計費的模式,更加精細高效。舉例來說,如果從2點到2點15分,集群上一共有5個查詢在運行,它們之間有重疊和間隔,實際收費時長并不是15分鐘,而是從2點到2點03分,加上2點07分到2點08分,再加上2點12分到2點13分,只有這短暫的幾分鐘費用。
相比之下,傳統預制集群需要管理節點大小和數量,還需要規定維護窗口進行版本升級,給客戶帶來了額外的運維負擔。
第二部分是兩個用戶案例分享。第一個案例是一個電商零售平臺,他們遇到的問題是需要將多種數據源整合到Redshift Serverless集群中,后接BI決策工具。這些數據源包括RDS(通過肌肉ETL功能實時復制數據)、S3(外部表直接查詢)、MSK(亞馬遜云科技的流數據服務)、Kinesis(亞馬遜云科技的流數據服務)以及其他業務來源(通過數據管道導入)。通過這一架構,客戶成功解決了多源數據接入和整合的難題,在BI工具中可隨意查詢不同業務數據,為決策提供了支持。
第二個案例是一家藥企,他們有兩個需求:一是將RDS中實時業務數據放到分析平臺,二是只在RDS保留30天內的數據,超過30天的數據稱為冷數據需要遷移出去。為此,他們通過定期從RDS遷移數據到Serverless并清理RDS中冷數據的方式,成功解決了這兩個難題。之所以選擇Serverless,是因為相比傳統數據倉庫,Serverless通過RPU替代了節點類型,更加靈活高效,能夠應對不斷增長的數據量。傳統數據倉庫的不同節點類型在CPU和內存上都有限制,如RA3的xlarge節點只有1個vCPU和16GB內存。
第三部分是兩個最佳實踐。第一個是如何自動監控和優化查詢性能瓶頸。隨著數據量和業務量的增加,查詢性能可能會出現瓶頸,響應時間變長。為了自動化檢測和優化這一過程,他們通過CloudWatch監控CPU利用率、查詢成功率(QUERIES_SUCCEEDED每秒成功查詢數量)、查詢失敗率(QUERIES_FAILED每秒失敗查詢數量)、查詢耗時(QUERY_DURATION平均查詢時長)等指標,當異常時觸發SNS(簡單通知服務)警報,接著Lambda自動kill鎖和重復查詢,并結合Redshift Advisor的優化建議自動優化表設計,從而實現了自動化的性能優化。Redshift Advisor可以監控表的設計是否合理,如查詢是否落在分區鍵和排序鍵上,并給出ALTER TABLE語句的優化建議。Lambda會直接連接到Redshift Serverless執行查詢和優化操作,所有操作都記錄在日志中。
第二個最佳實踐是如何動態調整RPU數量。由于業務發展,RPU數量的設置可能會過多或過少,不合理的設置會影響性價比。為此,他們通過監控CloudWatch中RPU利用率指標,當長期低于設置的最大RPU值或一直使用到最大值時,就會觸發SNS警報,接著Lambda自動調整Serverless中的最大RPU數量,以保持最佳利用率。
通過這兩個最佳實踐,客戶能夠自動化地優化查詢性能,并動態調整計算資源,充分發揮Redshift Serverless的靈活性和高效性。
總的來說,Redshift Serverless作為一個數據倉庫平臺,相比傳統Redshift在靈活性和效率方面有了重大提升,真正重新定義了數據分析體驗。它無需管理節點和規定維護窗口,提供了AI動態計算和按需付費等新功能,并通過案例和最佳實踐展示了在多源數據整合、動態資源調度和自動化運維優化等方面的實際應用,被認為重新定義了數據分析的靈活性與效率。
總結亞馬遜云科技的 Redshift Serverless 為數據分析帶來了全新的靈活性和效率。這種無服務器架構繼承了 Redshift 傳統數據倉庫的性能和功能,同時提供了更優越的用戶體驗。它引入了 Namespace、Workgroup 和 RPU 等新概念,消除了對節點大小和數量的管理需求,并通過 AI 動態計算實現了自動資源調配。此外,Redshift Serverless 采用按查詢運行時長付費的模式,大幅提高了成本效率。
通過兩個真實案例,演講者展示了 Redshift Serverless 如何解決客戶在多源數據整合和數據存儲管理方面的挑戰。最后,他分享了兩個最佳實踐,介紹了如何利用 CloudWatch 指標、系統視圖和 Redshift Advisor 等工具,實現查詢性能瓶頸的自動監控和優化,以及動態調整 RPU 數量以保持最佳利用率。總的來說,Redshift Serverless 重新定義了數據分析的靈活性和效率,為客戶帶來了前所未有的便利性和價值。
我們正處在Agentic AI爆發前夜。2025亞馬遜云科技中國峰會提出,企業要從“成本優化”轉向“創新驅動”,通過完善的數據戰略和AI云服務,把握全球化機遇。亞馬遜將投入1000億美元在AI算力、云基礎設施等領域,通過領先的技術實力和幫助“中國企業出海“和”服務中國客戶創新“的豐富經驗,助力企業在AI時代突破。





京公網安備 11011402013531號