Calculator Chi Phí Training AI 2026: Pre-training và Fine-tuning Compute
Tính chi phí training AI 2026 — GPU-hour × rate/giờ × kích thước dataset. Pre-train từ đầu so LoRA fine-tune. Ví dụ ngân sách thực cho model 8B đến 405B.
Chi phí training AI 2026 trải 7 order of magnitude — từ $1 fine-tune adapter tí xíu đến $200M+ pre-train model frontier. Số đúng cho project phụ thuộc hoàn toàn vào việc bạn pre-train từ đầu, full fine-tune, hay LoRA fine-tune. Hướng dẫn này đi qua phạm vi chi phí thực ở mỗi scale với ví dụ worked, toán GPU hour, và so sánh provider. Cho giá GPU real-time qua 12 cloud provider, dùng GPU Pricing Calculator. Cho forecast chi phí fine-tuning cụ thể, dùng LLM Fine-tuning Cost Calculator.
Quy tắc quan trọng nhất duy nhất: hầu như không ai nên pre-train từ đầu năm 2026. Model open-weight (Llama, Mistral, DeepSeek, Qwen) đủ tốt làm điểm bắt đầu mà fine-tuning đánh bại training từ đầu về cost-per-result 100-10,000×.
Training AI thực sự tốn bao nhiêu 2026?
Phổ đầy đủ theo loại training:
| Loại training | Phạm vi chi phí | Thời gian | Use case |
|---|---|---|---|
| LoRA fine-tune model 7B | $1-50 | 15 phút - 2 giờ | Hầu hết use case production |
| LoRA fine-tune model 70B | $50-500 | 1-8 giờ | Adapter 70B chuyên domain |
| Full fine-tune model 7B | $100-1,000 | 2-12 giờ | Tokenizer hoặc vocab mới |
| Full fine-tune model 70B | $5,000-50,000 | 24-96 giờ | Thêm capability lớn |
| Pre-train 7B từ đầu | $100k-500k | 1-4 tuần | Research / ngôn ngữ niche |
| Pre-train 70B từ đầu | $5M-8M | 4-12 tuần | Research model nền tảng |
| Pre-train 405B từ đầu | $40M-80M | 3-6 tháng | Research scale frontier |
| Pre-train 1T+ (class GPT-5) | $100M-500M+ | 6-18 tháng | Chỉ lab frontier |
Cho 99% team, phạm vi thực tế là $1-1,000 cho LoRA fine-tuning. Đi trên đó nghĩa bạn đã cross sang category research khác.
Công thức cho chi phí training là gì?
Phương trình cơ bản:
training_cost = total_gpu_hour × $/gpu_hour
= (training_token × FLOPS_mỗi_token × throughput_mỗi_GPU)
/ GPU × $/gpu_hour
Phiên bản thực hành cho LoRA fine-tuning:
training_cost = corpus_token × epoch × rate_training_mỗi_triệu
Ví dụ worked cho fine-tune Llama 4 8B trên Together:
Corpus: 5M token
Epoch: 3
Rate Together LoRA: $1.00 mỗi 1M token
Chi phí: 5 × 3 × $1.00 = $15
Thời gian: ~30 phút
Cho full fine-tune trên GPU thuê:
Corpus: 50M token, full fine-tune Llama 4 70B
Phần cứng: cluster H100 SXM5 ×8
Throughput: ~30M token/giờ ở utilization FP8 đầy đủ
Thời gian: 50M / 30M = ~1.7 giờ mỗi epoch × 3 epoch = 5 giờ
Chi phí GPU: $2.99/giờ × 8 × 5 = $120
Tổng: ~$120
Cho pre-train model từ đầu:
Llama 4 8B từ đầu (tương tự Llama 3 8B reference):
Training token: 15 trillion (Llama 3 8B train trên cái này)
FLOPs: 15T × 8B × 6 = 720 ZFLOPs
H100 throughput: 1 PFLOP/s FP8 utilized
Thời gian: 720,000 PFLOP-second / 1 PFLOP/s = 720,000 GPU-second = 200 GPU-hour mỗi H100
Với 256 H100: 200 / 256 = 0.78 giờ? Không — overhead và communication chi phối ở scale
Thực tế: 256 H100 × 3 tuần = 129,000 GPU-hour
Chi phí: 129,000 × $2.99 = $385,000
Pre-training là cõi nơi cải thiện hiệu quả nhỏ quan trọng đáng kể. Cải thiện 5% throughput tiết kiệm $20,000 trên loại run này.
Vì sao fine-tuning đánh bại training từ đầu?
Ba lý do fine-tuning chi phối 2026:
1. Chất lượng tương đương
Fine-tune Llama 4 8B cho domain cụ thể đạt chất lượng training 8B domain-specific từ đầu — ở chi phí thấp hơn 10,000×. Trọng số pre-train đã học pattern ngôn ngữ chung; bạn chỉ cần dạy chi tiết.
2. Tốc độ nhanh hơn đáng kể
Pre-train Llama 4 8B từ đầu: ~3 tuần trên 256 H100. Fine-tune Llama 4 8B trên corpus domain: ~30 phút trên một H100. Chu kỳ iterate nhanh 1000×.
3. Model open-weight thu hẹp gap
Llama 4 405B, DeepSeek V3 (671B), Qwen 2.5 72B, Mistral Large 2 — trọng số mở sẵn có phủ hầu hết nhu cầu architecture và capability. Bạn không cần train model nền tảng riêng trừ khi đang nghiên cứu ở frontier.
Ngoại lệ: ngôn ngữ niche (Việt, Indonesia, v.v.), domain chuyên dụng (medical, legal, chỉ code), hoặc mục tiêu research nơi thực sự cần exploration architecture từ đầu.
Phần cứng GPU nào tốt nhất cho training 2026?
Cây quyết định theo loại training và kích thước model:
- LoRA fine-tune model ≤8B — Single H100 PCIe hoặc A100 80GB. Đường rẻ nhất.
- LoRA fine-tune model 70B — H100 SXM ×2 hoặc ×4 với NVLink. Memory-bound, nên SXM quan trọng.
- Full fine-tune model ≤8B — H100 SXM ×4 với NVLink cho throughput sạch.
- Full fine-tune model 70B — Cluster H100 SXM ×8 (một node) minimum.
- Pre-train 7B từ đầu — Minimum 64 H100. Dưới đó, thời gian training vượt patience research.
- Pre-train 70B từ đầu — Minimum 256 H100. Thực tế 512-1024 cho thời gian hợp lý.
- Pre-train 405B+ — 2,000-10,000 H100. Lãnh thổ lab frontier.
- Cluster B200 cho training >70B — nhanh hơn H100 1.5-2× ở chi phí 1.6× = rẻ hơn 25% mỗi run training.
Cho pricing qua loại GPU này, xem GPU Pricing Calculator.
Đường rẻ nhất fine-tune model custom 2026?
Tier 1 (dưới $50 tổng):
- LoRA Llama 4 8B trên Fireworks: 5M token × 3 epoch × $0.50/M = $7.50
- LoRA Llama 4 8B trên Together: 5M × 3 × $1.00 = $15
- OpenAI GPT-4o mini fine-tune: 5M × 3 × $3.00 = $45
Tier 2 (dưới $500):
- LoRA Llama 4 70B trên Together: 5M × 3 × $6.00 = $90
- LoRA Llama 4 70B trên Fireworks: 5M × 3 × $3.00 = $45 (option 70B rẻ nhất)
- OpenAI GPT-4o fine-tune: 5M × 3 × $25.00 = $375
- Self-host LoRA trên H100 SXM ×4 thuê: 8 giờ × $2.99 × 4 = $96
Tier 3 (dưới $5,000):
- Full fine-tune Llama 4 70B trên RunPod: 48 giờ × $2.99 × 8 = $1,148
- Full fine-tune Llama 4 70B trên AWS p5 spot: 48 × $6.40 × 8 = $2,458
- Mistral Small 3 fine-tune (managed): 50M × 3 × $3.00 + hosting = $450 + $24/năm
Cho hầu hết work production, Tier 1 (dưới $50) đủ. Chi phí curate data training vượt xa chi phí compute.
Cái gì included trong chi phí training thực ngoài GPU hour?
Năm line item ngân sách pre-training thường xuyên miss:
1. Chuẩn bị data
Curate, làm sạch, dedup, filter dataset training là phần lao động nặng nhất pre-training. Corpus pre-training 15T-token cần 1-3 FTE-năm data engineering. Cho fine-tuning, kỳ vọng $2,000-$10,000 thời gian engineer mỗi project trên prep data.
2. Sweep hyperparameter
Bạn sẽ không có learning rate và batch size đúng lần đầu. Kế hoạch 3-10 run eval ngắn ở 5-10% scale trước full run training. Đó là 30-100% compute thêm trên số niêm yết.
3. Storage và checkpoint
Checkpoint thường xuyên ngăn loss từ spot eviction nhưng tiêu bandwidth và storage. Checkpoint model 70B là ~140GB. Save mỗi 30 phút trong training 1 tuần = 336 checkpoint × 140GB = 47TB. Chi phí storage trên AWS S3 Standard: ~$1,100/tháng.
4. Validation và evaluation
Chạy suite benchmark (MMLU, HumanEval, MTEB cho embedding) trên checkpoint trung gian. Kế hoạch 50-100 GPU-hour tổng cho eval qua run training.
5. Run thất bại và OOM
Cả team kinh nghiệm cũng có 20-30% run thất bại do NaN loss, gradient explosion, bug distributed training. Ngân sách tương ứng.
Cho mô hình chi phí hạ tầng toàn diện gồm cái này, xem Agent Dev Cost Calculator. Cho chỉ toán GPU-hour, dùng GPU Pricing Calculator.
Nên thuê hay sở hữu GPU cho training?
Toán break-even 2026:
| Giờ training năm | Thuê thắng | Sở hữu thắng |
|---|---|---|
| <500 GPU-hour | ✅ | |
| 500 - 4,000 GPU-hour | ✅ hơi | colo + GPU riêng ≈ |
| 4,000 - 15,000 GPU-hour | ✅ colo + riêng | |
| >15,000 GPU-hour | ✅ riêng |
500 GPU-hour mỗi năm khoảng 60 ngày một H100 chạy, hoặc một run training lớn mỗi quý. Dưới đó, thuê rẻ hơn vì GPU depreciate khi idle.
Trên 4,000 GPU-hour/năm (một H100 chạy nửa năm, hoặc một cluster 8-GPU chạy ~3 tháng tổng), toán chuyển sang colocation + phần cứng sở hữu. Chi phí một H100 2026: ~$30,000. Amortize qua 3 năm ở $830/tháng mỗi GPU. So với $2,153/tháng RunPod cho cùng H100.
Cái catch: sở hữu phần cứng thêm 0.5-1.0 FTE platform engineering cho điện, làm mát, networking, RMA. Dưới 50 GPU, chi phí FTE chi phối tiết kiệm.
Cách thông minh train AI 2026?
Playbook 2026 trưởng thành:
- Đừng pre-train từ đầu trừ khi bạn là lab research. Bắt đầu từ trọng số mở Llama 4, Mistral, hoặc DeepSeek.
- LoRA fine-tune trước, full fine-tune chỉ nếu LoRA fail đạt bar chất lượng của bạn.
- Dùng fine-tuning managed (Fireworks, Together, Mistral) đến khi vượt $1,000/tháng chi training. Sau đó chuyển sang self-managed.
- Test với data nhỏ trước. Chạy 1M token × 1 epoch trên model rẻ nhất trước khi commit run đầy đủ 50M-token × 3-epoch.
- Eval khắt khe. Fine-tune tốt 2% trên benchmark X nhưng xấu 5% trên benchmark Y thường là regression ròng cho sản phẩm của bạn.
Cho pricing qua mọi option training và chi phí năm 1 dự kiến (training + inference recurring), xem LLM Fine-tuning Cost Calculator. Cho mô hình infra toàn diện, Agent Dev Cost Calculator.
Sai lầm 2026 lớn nhất duy nhất là over-train. Phần lớn team plateau chất lượng sau 1-2 epoch trên corpus well-curated. Train ít hơn, eval nhiều hơn.