這項由ByteDance Seed團隊和新加坡國立大學(xué)合作完成的研究發(fā)表于2025年8月，論文題為《Taming the Chaos: Coordinated Autoscaling for Heterogeneous and Disaggregated LLM Inference》。感興趣的讀者可以通過arXiv:2508.19559v1訪問完整論文。研究團隊開發(fā)了一套名為HeteroScale的智能調(diào)度系統(tǒng)，專門解決大規(guī)模AI服務(wù)中GPU資源自動分配的復(fù)雜難題。

現(xiàn)在的大語言模型服務(wù)就像一個巨大的餐廳，需要處理海量的顧客點餐需求。傳統(tǒng)的做法是讓廚師既負責(zé)準備食材（預(yù)處理階段），又負責(zé)烹飪出餐（生成回答），這種一條龍服務(wù)雖然簡單，但效率不高。新的方法是把這兩個步驟分開：專門的師傅負責(zé)準備食材，另一批師傅專門負責(zé)烹飪。這種分工叫做Prefill-Decode（P/D）分離架構(gòu)，能大大提高整體效率。

但這種分工帶來了三個頭疼的問題。首先是設(shè)備不匹配的問題，就像準備食材需要的是鋒利的刀具，而烹飪需要的是大火力爐灶，不同工種需要不同的專業(yè)設(shè)備。如果所有師傅都用同樣的設(shè)備，必然會造成浪費。其次是溝通成本問題，食材準備好后需要快速傳遞給烹飪師傅，如果兩個工作臺距離太遠，傳遞過程就會拖慢整個流程。最后是人員配比問題，如果準備食材的師傅太少，烹飪師傅就要等待；反之，烹飪師傅不夠，準備好的食材就會積壓。

ByteDance的研究團隊面對的正是這樣的挑戰(zhàn)，只不過他們管理的不是餐廳，而是擁有數(shù)萬張GPU的超大規(guī)模AI服務(wù)集群。他們的HeteroScale系統(tǒng)就像一個超級智能的餐廳經(jīng)理，能夠?qū)崟r監(jiān)控每個環(huán)節(jié)的工作狀態(tài)，自動調(diào)配人手和設(shè)備，確保整個流程高效運轉(zhuǎn)。

一、問題的核心：三大挑戰(zhàn)如何影響AI服務(wù)效率

要理解HeteroScale解決的問題，我們可以把AI服務(wù)比作一個超級復(fù)雜的流水線工廠。在這個工廠里，處理用戶請求分為兩個主要環(huán)節(jié)：首先是理解和分析用戶的問題（預(yù)處理階段），然后是逐步生成回答（生成階段）。這兩個階段就像工廠里的不同工序，各有各的特點和需求。

第一個挑戰(zhàn)是硬件配置不當造成的資源浪費。預(yù)處理階段就像是圖書館里的研究工作，需要強大的"大腦"來快速理解和分析復(fù)雜信息，因此需要計算能力強的GPU。而生成階段更像是按照既定模板進行復(fù)制工作，主要需要的是大容量的"記憶儲存"來保存之前的上下文信息。如果用同一種GPU來處理這兩種完全不同的任務(wù)，就好比讓賽車司機去開貨車，讓貨車司機去開賽車，都無法發(fā)揮各自的最大優(yōu)勢。研究數(shù)據(jù)顯示，這種"一刀切"的配置方式會讓每個生成的token成本增加41%，這在處理數(shù)萬億token的規(guī)模下，浪費是極其驚人的。

第二個挑戰(zhàn)是網(wǎng)絡(luò)傳輸瓶頸。兩個階段之間需要傳遞一個叫做"KV緩存"的重要數(shù)據(jù)，這就像是工廠流水線上的半成品需要從一個車間傳遞到另一個車間。這個數(shù)據(jù)包含了到目前為止對話的所有關(guān)鍵信息，數(shù)據(jù)量很大。如果兩個處理單元距離太遠，比如一個在北京，一個在上海，那么傳輸這些數(shù)據(jù)就需要很長時間。研究團隊發(fā)現(xiàn)，如果不考慮網(wǎng)絡(luò)距離隨意分配任務(wù)，會導(dǎo)致傳輸帶寬減少約20%，直接影響整體響應(yīng)速度。

第三個挑戰(zhàn)是兩個階段之間的人員配比失衡。這個問題特別微妙，因為傳統(tǒng)的監(jiān)控方法會產(chǎn)生誤導(dǎo)。通常我們通過GPU使用率來判斷系統(tǒng)是否繁忙，就像通過員工是否在工作來判斷他們是否忙碌。但在AI服務(wù)中，負責(zé)生成回答的GPU即使在不太忙的時候，使用率也可能顯示很高，因為它需要不斷維護大量的上下文信息在內(nèi)存中，就像一個圖書管理員即使沒有讀者，也要不斷整理和維護書架。這種"虛假繁忙"讓系統(tǒng)管理者誤以為生成階段很忙，從而分配過多資源給它，反而讓預(yù)處理階段資源不足。

這三個問題相互關(guān)聯(lián)，形成了一個復(fù)雜的管理難題。傳統(tǒng)的自動調(diào)度系統(tǒng)，比如Kubernetes的水平擴展器（HPA），就像是只會按固定規(guī)則工作的簡單機器人，無法應(yīng)對這種復(fù)雜情況。它們通常只看單一指標，比如CPU使用率，然后簡單地增加或減少服務(wù)器數(shù)量。但在AI服務(wù)的場景下，這種簡單粗暴的方法會導(dǎo)致系統(tǒng)震蕩，時而資源過度分配，時而資源嚴重不足，無法維持穩(wěn)定高效的服務(wù)。

二、HeteroScale的解決方案：三層架構(gòu)的智能調(diào)度

面對這些挑戰(zhàn)，研究團隊設(shè)計了HeteroScale系統(tǒng)，就像為復(fù)雜的工廠建立了一套三級管理體系。每一層都有明確的職責(zé)，相互配合，確保整個系統(tǒng)高效運轉(zhuǎn)。

最上層是策略決策層，就像工廠的總經(jīng)理辦公室。這一層負責(zé)制定整體策略，決定什么時候需要增加人手，什么時候需要減少人手。它收集各種運營數(shù)據(jù)，包括訂單量變化、員工工作強度、設(shè)備使用情況等，然后根據(jù)預(yù)設(shè)的業(yè)務(wù)目標做出調(diào)度決策。這一層的關(guān)鍵創(chuàng)新在于它不是簡單地看某個單一指標，而是綜合考慮多種因素，特別是采用了一種叫做"decode TPS"的指標作為主要判斷依據(jù)。

中間層是聯(lián)合預(yù)調(diào)度層，相當于工廠的生產(chǎn)調(diào)度部門。當上層決定需要調(diào)整人員配置后，這一層負責(zé)具體的人員和設(shè)備安排。它需要考慮的因素包括：哪些設(shè)備最適合新任務(wù)、如何保證協(xié)作團隊能夠就近工作、如何在不同優(yōu)先級的任務(wù)之間合理分配資源等。這一層引入了兩個重要概念：部署組（Deployment Group）和RDMA子組。部署組確保需要密切協(xié)作的工作單元能夠在同一個區(qū)域內(nèi)工作，而RDMA子組則根據(jù)設(shè)備的稀缺程度和性能水平進行優(yōu)先級管理。

最下層是子集群調(diào)度層，類似于各個車間的現(xiàn)場主管。這一層直接與底層的Kubernetes系統(tǒng)對接，負責(zé)將上層的調(diào)度決策轉(zhuǎn)化為具體的操作指令，比如啟動新的服務(wù)實例、關(guān)閉不需要的實例等。它還負責(zé)向上層報告設(shè)備狀態(tài)和資源使用情況，為決策層提供準確的基礎(chǔ)數(shù)據(jù)。

這種三層架構(gòu)的最大優(yōu)勢在于分工明確但協(xié)調(diào)統(tǒng)一。每一層都專注于自己最擅長的工作，同時通過標準化的接口與其他層交流。這種設(shè)計既保證了系統(tǒng)的靈活性，也確保了決策的一致性和執(zhí)行的高效性。

三、核心創(chuàng)新：從混亂中找到秩序的三大法寶

HeteroScale系統(tǒng)的核心創(chuàng)新可以用三個相互關(guān)聯(lián)的"法寶"來概括，它們共同解決了大規(guī)模AI服務(wù)調(diào)度中的根本性難題。

第一個法寶是異構(gòu)資源管理框架。傳統(tǒng)的資源管理就像是經(jīng)營一家只有標準房間的酒店，所有客人都住一樣的房間。但實際上，有的客人需要的是帶大書桌的商務(wù)房間（適合預(yù)處理任務(wù)），有的客人需要的是有大衣柜的休閑房間（適合生成任務(wù)）。HeteroScale建立了一套智能的房間分配系統(tǒng)，它首先識別每種任務(wù)的具體需求，然后將其與最匹配的硬件資源配對。系統(tǒng)會自動維護一個詳細的資源清單，記錄每種GPU的特性，包括計算能力、內(nèi)存大小、網(wǎng)絡(luò)連接質(zhì)量等，然后根據(jù)任務(wù)特點進行最優(yōu)匹配。更重要的是，系統(tǒng)還會考慮服務(wù)的優(yōu)先級，確保重要任務(wù)能夠優(yōu)先獲得最佳資源。

第二個法寶是網(wǎng)絡(luò)感知調(diào)度抽象。這個創(chuàng)新解決了"距離問題"。系統(tǒng)引入了部署組的概念，就像為需要頻繁協(xié)作的員工安排相鄰的辦公室。每個部署組包含處理同一個服務(wù)請求的所有組件，系統(tǒng)會確保這些組件被安排在網(wǎng)絡(luò)距離最近的位置，通常是在同一個交換機下面。同時，系統(tǒng)還建立了RDMA子組的優(yōu)先級體系，將網(wǎng)絡(luò)資源分為三個等級：低優(yōu)先級的是同質(zhì)GPU子組，中優(yōu)先級的是異質(zhì)GPU子組，最高優(yōu)先級的是能夠在同一個交換機下直接連接不同類型GPU的子組。調(diào)度器會優(yōu)先為要求不高的服務(wù)分配低優(yōu)先級資源，把最珍貴的高優(yōu)先級資源留給最需要的服務(wù)。

第三個法寶是基于生產(chǎn)數(shù)據(jù)的全面調(diào)度策略分析。這可能是整個系統(tǒng)最重要的創(chuàng)新。研究團隊做了一件前人沒有做過的事情：他們對生產(chǎn)環(huán)境中的各種監(jiān)控指標進行了大規(guī)模的實證分析，最終發(fā)現(xiàn)了一個關(guān)鍵洞察。傳統(tǒng)上，大家都習(xí)慣用GPU使用率來判斷系統(tǒng)忙碌程度，但在AI服務(wù)中，這個指標會產(chǎn)生嚴重誤導(dǎo)。特別是在生成階段，即使工作量很輕，GPU使用率也會保持在很高水平，因為它需要持續(xù)維護內(nèi)存中的上下文信息。

研究團隊測試了八種不同的監(jiān)控指標，包括吞吐量指標（每秒處理的token數(shù)量）、硬件指標（GPU計算單元活躍度、GPU利用率）、延遲指標（首次響應(yīng)時間、后續(xù)響應(yīng)時間）等。通過對比分析，他們發(fā)現(xiàn)"decode TPS"（生成階段每秒處理的token數(shù)）是最可靠的指標，它能夠準確反映系統(tǒng)的真實工作負荷，不會被內(nèi)存操作干擾。

基于這個發(fā)現(xiàn)，他們設(shè)計了兩套互補的調(diào)度算法。對于線性變化的指標，采用比例控制算法，當工作量增加時，按比例增加資源。對于非線性變化的指標（如延遲），采用負反饋控制算法，設(shè)置多個閾值，在不同程度的壓力下觸發(fā)不同幅度的調(diào)整。這種雙重策略既保證了系統(tǒng)的響應(yīng)速度，又避免了過度調(diào)整導(dǎo)致的不穩(wěn)定。

四、實戰(zhàn)驗證：從實驗室到生產(chǎn)環(huán)境的全面測試

為了驗證HeteroScale系統(tǒng)的實際效果，研究團隊進行了從小規(guī)模實驗到大規(guī)模生產(chǎn)部署的全方位測試，就像一款新藥需要經(jīng)過從試管到臨床的完整驗證過程。

首先，他們進行了P/D比例優(yōu)化實驗。這個實驗就像尋找最佳的員工配比，研究團隊測試了兩種不同類型的服務(wù)，看看預(yù)處理員工和生成員工的最佳比例是多少。服務(wù)A處理的主要是中等長度的對話，輸入平均3000個字符，輸出約350個字符，要求首次響應(yīng)時間不超過1秒，后續(xù)響應(yīng)間隔不超過40毫秒。服務(wù)B處理更復(fù)雜的長對話，輸入平均7800個字符，輸出約700個字符，要求首次響應(yīng)時間不超過1秒，但后續(xù)響應(yīng)更快，不超過20毫秒。

實驗結(jié)果發(fā)現(xiàn)了一個有趣的現(xiàn)象：最佳比例并不是固定的，而是呈現(xiàn)鐘形分布。當預(yù)處理員工太少時（比例過低），生成員工只能等待，造成首次響應(yīng)超時；當預(yù)處理員工太多時（比例過高），會讓生成環(huán)節(jié)過載，導(dǎo)致后續(xù)響應(yīng)變慢。最佳比例范圍很廣，從1:5到9:1都有可能，完全取決于具體的業(yè)務(wù)特征和性能要求。這個發(fā)現(xiàn)證明了"一刀切"配置的問題，也驗證了HeteroScale靈活調(diào)配能力的重要性。

接著，他們進行了調(diào)度指標對比實驗。實驗團隊選擇了一個處理開放域?qū)υ挼姆?wù)作為測試對象，這種服務(wù)最接近普通用戶的使用場景。他們提取了8小時的真實工作負載數(shù)據(jù)，這段時間包含了從清晨低谷到下午高峰的完整周期，為算法提供了充分的考驗。

實驗中，TPS類指標表現(xiàn)出了優(yōu)異的響應(yīng)特性。無論是預(yù)處理TPS還是生成TPS，都能準確跟蹤工作負載的變化，信噪比很高，響應(yīng)及時。當用戶請求增加時，這些指標會立即上升；當請求減少時，指標會相應(yīng)下降。這種敏感性使得調(diào)度系統(tǒng)能夠快速做出正確的擴容或縮容決策。

硬件類指標則出現(xiàn)了明顯的分化。預(yù)處理階段的GPU利用率和計算單元活躍度能夠較好地反映工作負載變化，雖然敏感性不如TPS指標，但仍然可用。然而，生成階段的硬件指標表現(xiàn)糟糕，即使在工作負載很輕的情況下，GPU利用率和計算單元活躍度依然保持在高位，完全無法反映真實的業(yè)務(wù)壓力。

延遲類指標展現(xiàn)了典型的非線性特征。在負載較輕時，首次響應(yīng)時間和后續(xù)響應(yīng)時間都保持在較低水平，曲線相對平緩；但當負載接近系統(tǒng)容量極限時，延遲會急劇上升，呈現(xiàn)"懸崖式"增長。這種特性讓延遲很難作為日常調(diào)度的主要依據(jù)，但可以作為緊急情況下的安全閥。

最終的生產(chǎn)環(huán)境驗證更是令人印象深刻。HeteroScale現(xiàn)在管理著ByteDance數(shù)萬張GPU，每天處理數(shù)萬億個預(yù)處理token和數(shù)千億個生成token。在一個代表性的對比測試中，啟用HeteroScale的服務(wù)相比未啟用的服務(wù)，GPU平均利用率提高了26.6個百分點，計算單元活躍度提升了9.2個百分點。更重要的是，這些改進都是在不違反任何服務(wù)質(zhì)量要求的前提下實現(xiàn)的。

從具體的服務(wù)案例來看，一個開放域?qū)υ挿?wù)在啟用HeteroScale后，整體GPU使用量減少了41.3%，預(yù)處理GPU平均利用率從46.8%提升到76.2%，預(yù)處理計算單元活躍度從36.6%提升到62.5%。同時，系統(tǒng)的延遲指標變得更加穩(wěn)定，波動幅度明顯減小，偶爾出現(xiàn)的延遲峰值也主要是由于擴容過程中的暫時性P/D比例失衡造成的，系統(tǒng)很快就會自動修復(fù)。

五、技術(shù)創(chuàng)新的深層意義：重新定義AI服務(wù)的資源管理

HeteroScale的成功不僅僅是一個工程技術(shù)的勝利，更代表了AI服務(wù)資源管理理念的根本性轉(zhuǎn)變。這種轉(zhuǎn)變就像從傳統(tǒng)的計劃經(jīng)濟向市場經(jīng)濟的轉(zhuǎn)換，從僵化的統(tǒng)一管理向靈活的按需分配發(fā)展。

傳統(tǒng)的云服務(wù)資源管理基本上沿用了傳統(tǒng)企業(yè)IT的思路，假設(shè)所有工作負載都是相似的，可以用統(tǒng)一的標準進行管理。這種方法在處理傳統(tǒng)的Web服務(wù)或數(shù)據(jù)庫應(yīng)用時還算有效，因為這些應(yīng)用的資源需求相對穩(wěn)定和同質(zhì)化。但AI服務(wù)，特別是大語言模型服務(wù)，完全顛覆了這些假設(shè)。

AI服務(wù)的工作負載具有極強的動態(tài)性和異質(zhì)性。用戶的請求可能是簡單的問候，也可能是復(fù)雜的推理任務(wù)；可能需要處理幾十個字符，也可能需要處理數(shù)萬個字符。這種多樣性要求資源管理系統(tǒng)必須具備更強的適應(yīng)性和智能性。HeteroScale正是在這樣的背景下應(yīng)運而生的。

該系統(tǒng)最重要的理念創(chuàng)新是"協(xié)調(diào)性優(yōu)于效率性"的設(shè)計哲學(xué)。在傳統(tǒng)系統(tǒng)中，管理者通常追求單個組件的最大利用率，認為每個GPU都應(yīng)該盡可能忙碌。但HeteroScale認識到，在復(fù)雜的協(xié)作系統(tǒng)中，整體的協(xié)調(diào)性比單個部件的忙碌程度更重要。一個稍微"閑置"的預(yù)處理GPU如果能保證生成GPU不用等待，那么這種"閑置"實際上是有價值的。這種系統(tǒng)性思維讓HeteroScale能夠?qū)崿F(xiàn)更高的整體效率。

另一個重要創(chuàng)新是"指標即策略"的方法論。傳統(tǒng)系統(tǒng)往往依賴工程師的經(jīng)驗和直覺來設(shè)定調(diào)度策略，但在AI服務(wù)這種快速發(fā)展的領(lǐng)域，經(jīng)驗往往是不夠的甚至是誤導(dǎo)的。HeteroScale團隊通過大規(guī)模的數(shù)據(jù)分析，讓數(shù)據(jù)自己"說話"，發(fā)現(xiàn)了許多反直覺的規(guī)律。比如，生成階段的GPU使用率指標是誤導(dǎo)性的，這個發(fā)現(xiàn)可能讓很多依賴傳統(tǒng)監(jiān)控方法的工程師感到意外。

系統(tǒng)還體現(xiàn)了"拓撲感知"的重要性。在云計算的早期階段，大家往往忽視物理網(wǎng)絡(luò)拓撲對性能的影響，認為云就是一個扁平的資源池。但隨著應(yīng)用復(fù)雜性的增加，特別是在需要大量數(shù)據(jù)傳輸?shù)腁I應(yīng)用中，網(wǎng)絡(luò)拓撲的影響變得至關(guān)重要。HeteroScale將網(wǎng)絡(luò)拓撲作為調(diào)度決策的一個核心因素，這種做法在云原生社區(qū)中還是比較少見的。

從工程實現(xiàn)的角度，HeteroScale還展示了"漸進式優(yōu)化"的重要性。系統(tǒng)沒有試圖一次性解決所有問題，而是識別出最關(guān)鍵的瓶頸，優(yōu)先解決最重要的問題。在P/D分離、異構(gòu)硬件、網(wǎng)絡(luò)拓撲三個主要挑戰(zhàn)中，系統(tǒng)首先聚焦于找到正確的調(diào)度指標，然后逐步完善硬件匹配和網(wǎng)絡(luò)優(yōu)化功能。這種方法不僅降低了開發(fā)風(fēng)險，也使得系統(tǒng)更容易在生產(chǎn)環(huán)境中部署和調(diào)試。

六、面向未來：HeteroScale的發(fā)展方向和啟示

研究團隊在論文中明確提出了HeteroScale的三個主要發(fā)展方向，每一個都代表著AI服務(wù)管理領(lǐng)域的前沿探索。

第一個方向是探索更加通用和智能的監(jiān)控指標。當前的系統(tǒng)主要依賴decode TPS這一個核心指標，雖然已經(jīng)比傳統(tǒng)方法有了很大改進，但研究團隊認識到，隨著AI模型和應(yīng)用場景的多樣化，可能需要更加精細化的指標體系。他們計劃深入挖掘各種AI推理引擎（如vLLM、TensorRT-LLM、SGLang等）的內(nèi)部統(tǒng)計信息，尋找能夠跨模型、跨硬件、跨工作負載的通用指標。這種探索就像尋找生物醫(yī)學(xué)中的通用生物標記物一樣，一旦找到，就能大大簡化不同場景下的系統(tǒng)配置和管理工作。

第二個方向是實現(xiàn)動態(tài)P/D比例調(diào)整。目前的系統(tǒng)使用固定的預(yù)處理與生成階段比例，這個比例通過壓力測試和歷史數(shù)據(jù)確定。但實際應(yīng)用中，用戶行為會發(fā)生微妙變化，比如用戶提問的復(fù)雜程度可能逐漸增加，或者期望的回答長度可能發(fā)生變化。這種"工作負載漂移"現(xiàn)象在長期運行的系統(tǒng)中很常見。未來的HeteroScale將能夠檢測到這種變化，并自動進行小幅度的比例調(diào)整，就像一個有經(jīng)驗的餐廳經(jīng)理能夠根據(jù)顧客偏好的變化微調(diào)廚房人員配置一樣。

第三個方向是開發(fā)KV緩存感知的調(diào)度策略。KV緩存是AI服務(wù)中一個非常重要但經(jīng)常被忽視的組件，它存儲著對話的歷史上下文信息。目前的系統(tǒng)主要關(guān)注計算資源的分配，但隨著對話變得越來越長，KV緩存的管理變得越來越重要。未來的系統(tǒng)將能夠直接監(jiān)控緩存命中率、驅(qū)逐統(tǒng)計、內(nèi)存壓力等緩存相關(guān)指標，并將這些信息納入調(diào)度決策中。這就像一個智能的圖書館管理系統(tǒng)，不僅要管理閱覽室的座位分配，還要優(yōu)化書籍的存儲和檢索策略。

除了這些技術(shù)發(fā)展方向，HeteroScale的成功還為整個AI基礎(chǔ)設(shè)施領(lǐng)域提供了幾個重要啟示。

首先是"數(shù)據(jù)驅(qū)動決策"的重要性。在AI服務(wù)這個快速發(fā)展的領(lǐng)域，很多傳統(tǒng)的最佳實踐可能不再適用。HeteroScale團隊通過大規(guī)模的生產(chǎn)數(shù)據(jù)分析發(fā)現(xiàn)了許多反直覺的規(guī)律，這提醒我們在設(shè)計復(fù)雜系統(tǒng)時，不能完全依賴經(jīng)驗和直覺，而需要讓數(shù)據(jù)指導(dǎo)決策。

其次是"系統(tǒng)思維"的價值。AI服務(wù)不是獨立組件的簡單組合，而是一個復(fù)雜的協(xié)作系統(tǒng)。優(yōu)化單個組件的性能并不一定能提高整體效率，有時甚至可能產(chǎn)生負面效果。HeteroScale的成功在于它始終從系統(tǒng)整體的角度思考問題，追求的是全局最優(yōu)而不是局部最優(yōu)。

最后是"漸進式創(chuàng)新"的智慧。面對復(fù)雜的挑戰(zhàn)，HeteroScale沒有試圖一次性解決所有問題，而是識別出最關(guān)鍵的瓶頸，逐步改進。這種方法不僅降低了技術(shù)風(fēng)險，也使得系統(tǒng)更容易在實際環(huán)境中部署和維護。

說到底，HeteroScale代表的不僅僅是一個技術(shù)解決方案，更是一種面向未來AI服務(wù)的管理理念。隨著AI模型變得越來越復(fù)雜，應(yīng)用場景越來越多樣化，這種智能化、自適應(yīng)的資源管理方法將變得越來越重要。對于那些正在構(gòu)建或運營大規(guī)模AI服務(wù)的團隊來說，HeteroScale提供了一個很好的參考框架和實踐指南。而對于普通用戶來說，這項技術(shù)的最終價值體現(xiàn)在更快的響應(yīng)速度、更穩(wěn)定的服務(wù)質(zhì)量，以及可能更低的使用成本。當我們享受AI服務(wù)帶來的便利時，背后有像HeteroScale這樣的智能系統(tǒng)在默默保障著服務(wù)的高效運行。

Q&A

Q1：HeteroScale是什么？它主要解決什么問題？

A：HeteroScale是ByteDance開發(fā)的智能GPU調(diào)度系統(tǒng)，專門解決大規(guī)模AI服務(wù)中的資源自動分配問題。它主要解決三個核心問題：不同類型GPU的最優(yōu)匹配、網(wǎng)絡(luò)傳輸瓶頸優(yōu)化，以及預(yù)處理與生成階段的人員配比平衡。

Q2：為什么傳統(tǒng)的GPU使用率指標在AI服務(wù)中會產(chǎn)生誤導(dǎo)？

A：在AI服務(wù)的生成階段，即使工作量很輕，GPU使用率也會保持很高，因為GPU需要持續(xù)維護大量上下文信息在內(nèi)存中。這種"虛假繁忙"讓系統(tǒng)管理者誤判資源需求，導(dǎo)致配置失衡。

Q3：HeteroScale在實際生產(chǎn)中取得了什么效果？

A：在ByteDance的生產(chǎn)環(huán)境中，HeteroScale管理著數(shù)萬張GPU，每天處理數(shù)萬億個token。系統(tǒng)讓GPU平均利用率提高了26.6個百分點，整體GPU使用量減少了41.3%，同時保持了所有服務(wù)質(zhì)量要求。