機器之心報道

編輯：Panda

我們都知道，Mistral 團隊向來「人狠話不多」。昨天下午，他們又又又丟出了一個不帶任何注解的磁力鏈接。

解析一下這個鏈接，可以看到大小共 23.64 GB，其中包含 4 個文件，其中最大的文件是一個封裝的多模態大模型。

動作快的非官方 Mistral 社區已經將該模型上傳到了 Hugging Face。

這一發布引來如潮好評，有人將其與近日經常出現在話題熱榜中的 Reflection 模型做了對比，更是盡顯 Mistral 團隊踏實做事的風格：

Pixtral 12B 的規格和性能

該模型的名字為 pixtral-12b-240910，從名字也能看出，該模型的參數量為 12B。

其中 params.jsom 列出了該模型的相關參數：

可以看到，該模型有一個視覺編碼器，其支持 1024×1024 大小的圖像，有 24 個隱藏層，支持高級圖像處理。

該模型的層數為 40、隱藏維度大小為 14,336，注意力頭有 32 個。

此外，Pixtral 12B 的詞匯庫有 131,072 個不同的 token，可以說相當龐大，因此能實現非常細膩的語言理解和生成。

從這些參數和配置也能看出，Pixtral 12B 至少有能力處理文本和圖像數據，實現多模態處理。

Pixtral 12B 的發布廣受好評，這是因為人們一直在期待開放模型社區也能獲得好用易用的多模態模型。Mistral 這條磁力鏈接將我們向這個方向推進了一步。

不過由于該模型才剛發布，其效果究竟如何還尚未可知，但好在我們也不是完全沒有線索。就在昨天，Mistral 低調地舉辦了一場峰會 Mistral AI Summit，演講者包括 Mistral CEO Arthur Mensch 以及英偉達 CEO 黃仁勛等。

幾位參與者在社交網絡上分享了一些現場照片，讓我們可以一窺 Pixtral 模型的性能。

在這張幻燈片中，我們可以看到 Pixtral 12B 支持任意大小的圖像和 128k 的上下文窗口。另外，該模型也能處理同時包含文本和圖像的大型文檔。

具體性能指標上，Pixtral 12B 的表現雖不及 GPT-4o 和 Claude-3.5 Sonnet，但在各基準上全面勝過了 Claude-3 Haiku 和 Gemini-1.5 8B。

而在幾個開放多模態模型中，Pixtral 在大多數基準上都表現最佳，僅在 DocVQA 上略低于 Qwen2 7B。

Mistral 展示了 Pixtral 的一些具體應用案例。

通過 OCR 將包含數學公式的科學文章圖片轉錄成 Markdown 格式？毫無壓力！

識別潦草的手寫內容，也不在話下。

提取圖片信息和描述圖像內容？這已經算是多模態模型的基本能力，那就更無問題了。

不僅如此，Pixtral 還能理解更加復雜的圖像，并從中提取出關鍵信息和見解：

Pixtral 也具備非常出色的解釋和推理能力。具體指標上，Pixtral 12B 在 MMMU 和 MathVista 上的多模態知識和推理性能均領先其它參與對比的模型（主要是開放模型，并沒有 GPT-4o 和 Claude-3.5 Sonnet）。多模態問答性能也表現卓越，處于領先位置。

多模態指令遵從以及文本理解能力都表現不錯，在某些指標上僅略遜于 Claude-2 Haiku。

比如它能根據 DNA 圖像分析出該圖像是在解釋 DNA 的結構（相信這個能力很適合用于學習新知識）：

也能基于手繪的潦草網頁設計草稿推理生成 HTML 代碼：

拍一拍考試卷讓其解答數學選擇題，也輕輕松松就能完成：

至于 Pixtral 是否支持視頻，Mistral 在問答環節分享說他們還未測試過視頻幀，但已經嘗試過 PFF（點特征融合），并且他們表示 Pixtral「128k 的上下文應該能處理視頻」。此外，Pixtral 也能泛化用于衛星圖像。

至于如何使用 Pixtral 12B，如果你的硬件性能足夠，當然可以自己部署；但 Mistral 的開發者關系負責人 Sophia Yang 也表示，未來會通過 Mistral 的 Le Chat 和 La Platforme 提供該模型。

Mistral 的愿景：讓 AI 好用且有用

根據網友們分享的消息，在 Mistral AI Summit 上，該公司分享了他們的愿景。

他們認為，要讓 AI 有用，最關鍵的其實是系統問題。

但對不懂相關技術的普通用戶來說，這個系統顯得非常復雜。Mistral 想做的就是簡化用戶的使用流程，降低用戶的使用成本。他們想把復雜的技術部分都整合進 La Platforme，讓用戶只需進行簡單的配置就能享受 AI 帶來的便利和效率。

此外，為了讓 AI 有能力解決復雜問題，將用戶交互用于 AI 模型的持續訓練是很有必要的。同時還需要持續地將新軟件整合進 AI 的工具箱，提升其能力。

目前，Mistral 的模型矩陣中已經包含了用于通用任務和科研任務的多種免費模型。

另外，該公司還為編程任務開發了 Codestral 模型，支持 80 多種編程語言并且性能優秀。不過需要指出，雖然 Mistral 允許研究者基于研究和測試目的免費使用 Codestral，但若想將其投入商業應用，則需要向其購買商用權限 —— 這也算是該公司為數不多的盈利項目之一。

今年 6 月份，Mistral 以 60 億美元的估值獲得了 6.4 億美元投資，之后不久便發布了該公司的旗艦模型 Mistral Large 2。

Mistral Large 2 的參數量為 123B，支持多語言和函數調用，具備強大的推理和代碼能力，整體性能雖不及當前最佳的 GPT-4o 和 Claude-3.5 Sonnet，但卻超過了 405B 參數的 Llama 3.1。同樣，Mistral Large 2 也免費開放給非商業用途。

Mistral 團隊絕對算是 AI 模型開發領域的一股清流。在 AI 領域普遍關注營銷宣傳的如今，Mistral 的 Twitter 雖有 10 萬關注者卻并未關注任何一個人，其僅有的 10 條推文也幾乎都是在發布新模型，其 CEO Arthur Mensch 的個人賬戶也毫不活躍。

Mistral AI 成立于 2023 年 5 月，是一家法國人工智能初創公司，也是為數不多來自歐洲的大模型開源領域的明星團隊。一個有趣的小知識是因為該公司來自法國，所以 Le Chat 的意思其實就是「貓」，這也是其 Logo 之所以像一只貓的原因。

Mistral AI 曾在 2023 年 6 月獲得了創紀錄的 1.18 億美元種子輪融資（據稱是歐洲歷史上最大的種子輪融資）。當然，這個紀錄在前些天已經被 Ilya Sutskever 創立的 Safe Superintelligence Inc. 打破。

參考鏈接：

https://x.com/MistralAI/status/1833758285167722836

https://x.com/swyx/status/1833926630861070359