記者 肖玉林.
2024 年 1 月 28 日，RWKV 開源 ** 將發布開源 RWKV-5-WORLD 7B 模型。 最新的開源模型“RWKV-5-WORLD 7B”是RWKV的第五代架構7B引數模型，也是迄今為止功能最強大的RWKV開源模型，具有多語言效能。 根據效能評估資料，100%無注意力，僅1在1T代幣的前提下，RWKV-5 7B機型的多語言效能超過Mistral，英語效能與LLAMA2不相上下。
從今天開始，世界各地的開發人員和研究人員將能夠通過Hugging Face或WiseModel平台訪問並開始使用RWKV-5-World 7B模型。
根據公布的測試結果，與許多相同7B引數的機型相比，RWKV-5 7B的多語言效能處於領先地位，英語效能也得到了很大的提公升。 為了跨越 LLAMA2 效能線，接近 MISTRAL 效能線，RWKV 團隊表示將額外投入 1T 代幣語料庫，繼續訓練 RWKV-V5 模型。
據RWKV公開資料顯示，RWKV是一種創新的深度學習網路架構，結合了Transformer和RNN各自的優勢，同時實現了高度並行的訓練和高效推理，時間複雜度為線性複雜度，在長序列推理場景下具有優於Transformer的效能潛力。
電廠》獲悉，RWKV遠石智慧型公司已於1月16日完成種子輪融資，投資方之一就是陸琦創立的奇蹟論壇。 RWKV模型最初由彭博社設計，主要算力由Stability AI、AI Eleuther等機構捐贈。 今天，RWKV已作為孵化專案捐贈給Linux基金會AI &Data。
元石智慧型聯合創始人兼首席運營官羅軒表示，RWKV兼具Transformer和RNN的優點，其主要特點包括高且恆定的推理效率，低且恆定的視訊記憶體占用"Transformer 目前的效率限制了 AI 的發展和工業化實施，而 RWKV 的誕生可以而且正在扭轉這種情況。 在過去的幾十年裡，Linux 的開源導致了網際網絡的繁榮。 RWKV 將遵循 Linux 的開源精神。 基於 Transformer 的基礎設施和應用程式都值得使用 RWKV 重做。 "