Understanding LLMs: A Comprehensive Overview from Training to Inference, Yiheng Liu+, arXiv'24

[AkihikoWatanabe]

URL

• https://arxiv.org/abs/2401.02038

Authors

• Yiheng Liu
• Hao He
• Tianle Han
• Xu Zhang
• Mengyuan Liu
• Jiaming Tian
• Yutong Zhang
• Jiaqi Wang
• Xiaohui Gao
• Tianyang Zhong
• Yi Pan
• Shaochen Xu
• Zihao Wu
• Zhengliang Liu
• Xin Zhang
• Shu Zhang
• Xintao Hu
• Tuo Zhang
• Ning Qiang
• Tianming Liu
• Bao Ge

Abstract

• The introduction of ChatGPT has led to a significant increase in the utilization of Large Language Models (LLMs) for addressing downstream tasks. There's an increasing focus on cost-efficient training and deployment within this context. Low-cost training and deployment of LLMs represent the future development trend. This paper reviews the evolution of large language model training techniques and inference deployment technologies aligned with this emerging trend. The discussion on training includes various aspects, including data preprocessing, training architecture, pre-training tasks, parallel training, and relevant content related to model fine-tuning. On the inference side, the paper covers topics such as model compression, parallel computation, memory scheduling, and structural optimization. It also explores LLMs' utilization and provides insights into their future development.

Translation (by gpt-4o-mini)

• ChatGPTの導入により、下流タスクに対する大規模言語モデル（LLMs）の利用が大幅に増加しました。この文脈において、コスト効率の良いトレーニングとデプロイメントに対する関心が高まっています。LLMsの低コストトレーニングとデプロイメントは、今後の発展のトレンドを示しています。本論文では、この新たなトレンドに沿った大規模言語モデルのトレーニング技術と推論デプロイメント技術の進化をレビューします。トレーニングに関する議論では、データ前処理、トレーニングアーキテクチャ、事前トレーニングタスク、並列トレーニング、モデルのファインチューニングに関連する内容など、さまざまな側面が含まれています。一方、推論に関しては、モデル圧縮、並列計算、メモリスケジューリング、構造最適化などのトピックが取り上げられています。また、LLMsの利用方法を探求し、その将来の発展に関する洞察を提供します。

Summary (by gpt-4o-mini)

• ChatGPTの普及に伴い、LLMsのコスト効率の良いトレーニングとデプロイメントへの関心が高まっている。本論文では、LLMsのトレーニング技術と推論デプロイメント技術の進化をレビューし、データ前処理やモデル圧縮などのさまざまな側面を議論する。また、LLMsの利用方法と将来の発展についての洞察も提供する。

[AkihikoWatanabe]

Perplexity（参考;Hallucinationに注意）

[AkihikoWatanabe]

単なるLLMの理論的な説明にとどまらず、実用的に必要な各種並列処理技術、Mixed Precision、Offloadingなどのテクニックもまとまっているのがとても良いと思う。

[AkihikoWatanabe]

LLM Frameworkのところに、メジャーなものが網羅されていないように感じる。たとえば、UnslothやLiger-KernelなどはTransformersの部分で言及されてても良いのでは、と感じる。