智信版本公升級，多回合對話，LLM加速！

Oceanmind-智鑫產品功能全新公升級：

知識庫增加了多輪對話的能力，為使用者帶來更加“人性化”的問答體驗。

自主研發的大模型推理加速機制，加速大模型響應，減少使用者等待時間的消耗。

多輪對話公升級

基於”。RAG+大型號“框架的知識庫Q&A失去了大模型本身的上下文記憶和多輪對話能力，這是求解多輪對話場景時存在的兩大難點

Q&A 效果在公升級前顯示。

使用者問題通常隱藏在上下文中，在當前問題中沒有完全給出。

有必要平衡知識庫中的回憶結果和對話上下文的隱式語義。

針對上述困難，智信提出了一種基於“對話歷史，補全當前問題”的多輪問答機制。

劃分對話之間的記憶區域並記錄對話內容，包括問題、檢索回憶結果和 LLM 答案。

根據記憶體記錄資訊修改當前對話問題。

根據歷史召回結果或最新的知識召回結果生成響應。

志新加入多輪對話機制最後，在多輪對話中，可以充分記錄上下文資訊，有效理解問題的隱含資訊，從而優化問答效果。

例如，對上述兩個多輪問題的回答如下所示：

公升級後顯示 Q&A 效果。

LLM推理加速

大模型的內容基於解碼器生成迴圈輸出，每個輸出的Token需要消耗相同數量的資源，以減少大模型的資源消耗，同時應對多使用者、多步驟帶來的併發和效能壓力Hirui Zhixin 提出了一種結合機器學習和推測取樣的大模型推理加速方法。根據實際評估效果，與原大模型的推理速度基線相比，智信的LLM加速方法可以將大模型的文字生成速度提公升6倍左右，同時保證模型在併發請求的情況下效能不受影響。

衡量公升級效果

資料資產將新增到表中這是企業數位化轉型的最新熱點話題。

歡迎大家前來參加考試體驗海瑞想了想通過問答，我們可以快速了解科興的產品體系如何賦能資料資產入錶。