2023 年 8 月，Meta 發布了 Code Llama，這是乙個專為程式設計任務設計的大規模語言模型，基於之前的 LLAMA 2 模型。 今天，該公司發布了"具有更強大功能的新版本"--code llama 70b。
Code Llama 70b 已經用 5000 億位元組的 ** 和相關資料進行了訓練。 由於 100,000 個短語的上下文視窗，它可以處理和生成長序列。
根據 Meta 的說法，Code Llama 70b 使用一種稱為自我注意力的技術來理解結構。 可基於文字或片段提示實現演算法、排序、搜尋等功能，適用於Python、C++、J**Ascript、J**A等多種語言。
這個人工智慧驅動的工具包括針對特定任務進行微調的變體。 其中一種變體是 codellama-70b-instruct，它被訓練為理解自然語言指令。 還有乙個以 Python 為重點的版本，稱為 codellama-70b-python。 根據 Meta 的說法，通過額外訓練 1000 億個 Python 代幣，它可以生成 Python 的"流暢度和準確性無與倫比"。
寫作和編輯已成為當今 AI 模型最重要的用途之一"Meta首席執行官馬克·扎克伯格（Mark Zuckerberg）在Facebook帖子中寫道。 "事實證明，能力對於人工智慧模型更嚴格、更合乎邏輯地處理來自其他領域的資訊也非常重要。 "
Code Llama 70b 在與早期 Code Llama 型號相同的開放許可下免費**：
根據 Meta 的說法，該許可證允許學術和商業使用者修改模型。
Microsoft擁有的 GitHub 於 2023 年 7 月推出了 Copilot Chat。 開發人員可以向 Copilot 詢問有關他們自己的問題，獲得特定部分的解釋，甚至可以讓 Copilot 修復其中的錯誤。 最近，谷歌還推出了 Duet AI 和 Gemini Pro，這是 AI 驅動的完成和生成工具。