用於構建大型語言模型的開源庫 The Open-Source Libraries to Check Out for LLM Building

https://hackernoon.com/the-open-source-libraries-to-check-out-for-llm-building

整理文本:

應對 LLM 建模的開源庫

GPT-2 (XL)有 15 億參數,需約 3GB 記憶體,單 GPU 記憶體不足。

LLM 需要大規模的計算資源及工程技術。

為此,有各種專門的庫及工具,從開發、訓練、部署到記錄。

## 訓練與擴展

– Megatron-LM
– DeepSpeed
– YaFSDP

## 測試與評估

– Giskard
– lm-evaluation-harness

## 部署與推論

– vLLM
– CTranslate2

## 記錄

– Truera
– Deepchecks

對於 LLM 評估及記錄,還有更多工具。

via HackerNoon – hackernoon-top-story

June 27, 2024 at 04:08AM

發佈留言

發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *