(相關資料圖)
品玩6月26日訊,據 huggingface 頁面顯示,?ChatGLM-6B?的第二代版本 ChatGLM2-6B? 現已正式開源。
ChatGLM2-6B 擁有比 ChatGLM-6B?更強大的性能,相比于初代模型,ChatGLM2-6B 在 MMLU(+23%)、CEval(+33%)、GSM8K(+571%) 、BBH(+60%)等數據集上的性能取得了大幅度的提升,在同尺寸開源模型中具有較強的競爭力。此外,ChatGLM2-6B基座模型的上下文長度由 ChatGLM-6B 的 2K 擴展到了 32K,并在對話階段使用 8K 的上下文長度訓練,允許更多輪次的對話。
另外,ChatGLM2-6B 可以實現更高效的推理,在官方的模型實現下,其推理速度相比初代提升了 42%,INT4 量化下,6G 顯存支持的對話長度由 1K 提升到了 8K。
標簽: