在這個故事中，openai發現他們的聊天機械人 ChatGPT 是：黑客使用盜版 API 的攻擊。 但是，他們並沒有立即阻止它黑客，卻選擇了乙個巧妙的策略。 他們在 ChatGPT 中設定了乙個陷阱，將回答所有問題變成“喵喵喵”。 黑客他們最終發現了這個“陷阱”，並且是對的openai該團隊表示失望。 這個耐人尋味的故事展現了大模型時代的安全問題，同時：openai團隊靈活應對的能力。
為了解決黑客攻擊問題，openai工程師們沒有採取通常的防禦措施，而是採用了一種巧妙的方法。 他們將 ChatGPT 重新命名為“catgpt”，並設定了乙個“cat promt”，讓它無論如何都無法實現黑客無論問什麼問題，chatgpt只會回答“喵喵喵”，這是在黑客在他們眼裡，這很有趣。
黑客他們開始懷疑有什麼不對勁，他們在 Discord 社群偷偷討論，一些黑客開始懷疑openai意識到他們使用盜版API，他故意以“貓語”的方式回應他們。 但是，他們不知道openai很久以前就滲透到社群，並一直密切關注他們的談話。 最終黑客我們意識到了真相，並且是對的openai該團隊表達了他們的失望，並希望下次他們能給出更有趣的回應。 openai成員們同意了他們的要求。
這個故事雖然充滿趣味，但也折射出當下大模型時代面臨的安全隱患。 隨著模型的不斷增長，它們對惡意行為者的潛在暴露也在增加。 openai該團隊表示，他們需要更加警惕，並採取更多措施來保護模型的安全性。
在本節中，openai工程師 Evanmorikawa 分享了他們在 GPU 上部署 ChatGPT 時面臨的挑戰和經驗。
首先，Evan 回顧了 ChatGPT 的初始版本。 ChatGPT發布後，吸引了大量關注和使用者湧入。 但是，它們的GPU計算能力無法承受如此大的負載。 針對這個問題，openai該團隊使用 8 個 NVIDIA A100 GPU 為 ChatGPT 提供計算能力，並為每個 GPU 新增了特殊的 HPM 高頻寬記憶體。 此外，在 GPU 之間通訊對於ChatGPT的效能來說，這是非常關鍵的。
然後，埃文總結道openaiGPU 面臨幾個瓶頸。 首先，由於ChatGPT的模型龐大，它需要大量的GPU記憶體來儲存權重，GPU 上有限的高頻寬記憶體成為瓶頸。 其次，早期對 GPU 利用率的簡單監控存在問題，並且沒有充分考慮tensor計算的記憶體訪問方式導致GPU計算能力未得到充分利用，浪費了計算資源。 第三，隨著使用者使用模式的變化，不同型號和請求型別對GPU的計算方式和記憶體訪問模式需要不斷調整和優化。 此外，在 GPU 之間通訊資料交換也變成了培訓建築。
面對這些挑戰，openai該團隊通過不斷調整策略和深度優化，成功讓ChatGPT穩定執行。 他們深入研究硬體的底層細節，並隨著模型和場景的變化調整系統。 此外，他們認識到考慮到硬體的產品的各種侷限性路線圖關鍵。
Evan 還分享了openai團隊在團隊建設經驗。 他們將 ChatGPT 視為一體嵌 套在openai在初創公司中，該團隊重視高效和迭代的文化。 隨著產品規模的擴大，他們還意識到，為了保持功能支援和風險控制，有必要增加團隊規模。
通常openai在部署大型模型服務時，存在一些系統級挑戰，但他們能夠通過不斷調整和優化來克服這些挑戰。 他們的課程包括將問題視為系統工程挑戰，優化各個系統元件的協同工作，深入了解硬體的細節和侷限性，根據模型和場景變化進行調整，以及將 ChatGPT 視為獨立的初創公司而不是初創公司openai乙個部門。
以上是openai團隊面對ChatGPT黑客對攻擊和挑戰的響應，以及在 GPU 上部署的經驗教訓。 這些經驗對於當前大模型時代大模型的開發和部署具有一定的參考價值。