近日,國(guó)內(nèi)企業(yè)聯(lián)匯科技OmAgent開(kāi)源智能體核心模型OmDet-Turbo模型憑借在技術(shù)領(lǐng)域的算法創(chuàng)新和卓越性能,正式收錄進(jìn)入Transformers。OmDet-Turbo模型開(kāi)源項(xiàng)目自在GitHub發(fā)布以來(lái),迅速獲得了業(yè)界的廣泛認(rèn)可與好評(píng),目前在已在GitHub獲得了超1500 star。

Transformers庫(kù)是由Hugging Face公司維護(hù)的開(kāi)源項(xiàng)目,它提供了豐富的預(yù)訓(xùn)練模型和工具,被全球數(shù)百萬(wàn)開(kāi)發(fā)者用于自然語(yǔ)言處理和其他機(jī)器學(xué)習(xí)任務(wù)。本次OmDet-Turbo模型憑借其高效的目標(biāo)檢測(cè)能力和出色的算法優(yōu)化與在實(shí)際應(yīng)用中的高效、穩(wěn)定,獲得Transformers官方青睞。

隨著正式收錄進(jìn)Transformers,這一先進(jìn)目標(biāo)檢測(cè)技術(shù)將為全球的研究人員和開(kāi)發(fā)提供更加強(qiáng)大和便捷的開(kāi)放技術(shù),為深度學(xué)習(xí)和計(jì)算機(jī)視覺(jué)任務(wù)領(lǐng)域的技術(shù)創(chuàng)新與進(jìn)步提供了強(qiáng)大的算法支持。

了解OmDet-Turbo

OmDet-Turbo 是一種實(shí)時(shí)的 transformer-based 開(kāi)放詞表目標(biāo)檢測(cè)大模型,結(jié)合了強(qiáng)大的 OVD 能力和快速的推理速度。該模型通過(guò)引入高效融合頭(Efficient Fusion Head, EFH)模塊,顯著降低了特征編碼和多模態(tài)融合的計(jì)算復(fù)雜性,同時(shí)保持了良好的泛化能力和檢測(cè)精度。

具體來(lái)說(shuō),EFH 使用高效的語(yǔ)言感知編碼器(ELA-Encoder)和解碼器(ELA-Decoder)來(lái)替代傳統(tǒng)的重型編碼器和 ROIAlign 模塊,從而實(shí)現(xiàn)更高效的視覺(jué)-語(yǔ)言融合。OmDet-Turbo 在 COCO 和 LVIS 數(shù)據(jù)集上的零樣本檢測(cè)性能接近當(dāng)前最先進(jìn)的監(jiān)督模型,并在 ODinW 和 OVDeval 數(shù)據(jù)集上創(chuàng)下了新的性能基準(zhǔn),分別達(dá)到了 30.1 和 26.86 的 AP 分?jǐn)?shù)。此外,OmDet-Turbo-base 在 A100 GPU 上的推理速度可以達(dá)到 100.2 FPS,展示了其在實(shí)際應(yīng)用中的卓越性能,解決了OVD模型在實(shí)際應(yīng)用中的推理速度慢的痛點(diǎn)。OmDet-Turbo 通過(guò)創(chuàng)新的架構(gòu)設(shè)計(jì)和高效的計(jì)算方法,成為實(shí)時(shí)目標(biāo)檢測(cè)任務(wù)中的一個(gè)強(qiáng)力選擇。