在加密貨幣世界，一則誤讀的新聞可能導致數百萬美元的誤判。我們舊有的情感分析系統——一個混合了開源模型與自托管LLM的架構——在面對全球25種語言的即時新聞流時已力不從心。典型的崩潰場景是：當“以太坊合併”這類事件在不同語種社群中衍生出截然相反的解讀時，我們的系統要麼延遲飆升，要麼給出矛盾的情緒標籤。這迫使我們重新思考核心命題：如何為全球用戶提供既快速又精準的市場洞察？答案最終指向一個經過精心設計的“多模型共識”架構。
來源：InterSystems
架構演進：從單一模型到專家委員會
我們最初陷入了尋找“萬能模型”的陷阱。實踐證明，沒有單個LLM能在處理速度、多語言精度和加密貨幣領域知識這三方面同時達到生產級要求。Claude 3 Haiku響應迅捷，但對中文社群俚語的理解有限；我們微調過的Mistral模型擅長解析項目白皮書，卻在長文本吞吐效率上存在瓶頸。更嚴峻的是自托管這些模型帶來的基礎設施負擔——峰值流量下的GPU資源競爭和持續的運維複雜度，讓團隊疲於應付。正是這些痛點推動我們轉向模型聯邦的核心理念：讓專門的模型各司其職，通過智能仲裁機制整合集體智慧。
雙路徑異步流水線設計
新系統的核心是一個運行在AWS上的雙路徑異步流水線，其設計哲學是在保障冗餘的前提下將P99延遲嚴格控制在秒級以內。
新聞文本首先並行進入兩條處理通道。第一條是高速通道，直接調用Amazon Bedrock上的Claude 3 Haiku執行初步的情緒判定與關鍵實體提取，通常在300毫秒內完成。第二條是深度分析通道，將文本送至通過Amazon SageMaker微調的Mistral 7B模型進行領域上下文增強，例如區分“gas費飆升”是由於普遍網路擁堵還是熱門NFT鑄造所致，此過程約需600毫秒。
真正的創新在於輕量級仲裁層的設計。該層實時比對雙路徑輸出，當結果高度一致時優先採用高速通道結果以保障極致響應；當出現分歧時，則基於預設的領域規則與置信度分數在20毫秒內完成決策合成。這套機制確保了絕大多數請求能在1秒內獲得兼具速度與深度的可靠洞察。
資料管道的隱蔽戰場
構建模型本身僅是工程挑戰的表層，真正的複雜性深藏於資料管道之中。來自全球新聞源和社交媒體的資料流充斥著多語言混雜、表情符號和網路俚語等噪聲，我們為此構建了多層過濾系統——融合了語種特異性正則表達式與基於FastText的即時檢測模型，確保輸入文本的潔淨度。這套預處理流程的穩定性直接決定了後續分析的置信度。
更大的挑戰在於評估體系的建立。我們不僅依靠多語種專家團隊的手動標註，更引入了市場反應作為動態驗證指標：將情緒輸出與相關資產短期價格波動進行相關性分析，持續優化評估標準。這使得系統從追求靜態標註準確性轉向追蹤動態市場感知的有效性。
基礎設施的成本哲學
遷移至Bedrock API帶來了運維模式的根本轉變。最顯著的收益是基礎設施負擔的徹底消除與近乎無限的彈性伸縮能力——當突發新聞導致流量激增300%時，系統無需人工干預即可平穩響應。成本結構上，雖然採用按Token計費模式，但通過智能快取高頻敘事模板與持續優化提示工程，整體支出較自托管GPU集群的閒置損耗降低約35%。這種轉變釋放了工程師資源，使其能專注於仲裁邏輯與管道優化等核心創新。
結論與演進方向
這次架構演進的核心啟示在於：面向極致性能的生產系統，“單一權威模型”往往不如“各司其職的專家委員會”。通過有機融合通用LLM的響應速度與領域專用模型的深層語義理解，我們終於建立起能夠承受全球市場即時考驗的情感感知系統。
展望未來，我們正推動系統從“情緒分析”向“敘事追蹤”智能體演進。新的挑戰在於讓AI不僅能判斷情緒極性，更能識別並持續追蹤“真實世界資產代幣化”等新興敘事的形成、擴散與衰減軌跡。這要求架構具備更強的記憶機制與因果推理能力，也將引領我們走向下一代智能金融基礎設施的探索前沿。
