AITOT

Calculator

Calculator chi phí Fine-tuning LLM

Tính chi phí fine-tuning — token training × giá/triệu, cộng uplift mỗi token cho inference trên model custom.

Pricing cập nhật:

AITOT LLM Fine-tuning Cost calculator ước tính chi phí training + inference uplift cho model fine-tuned trên OpenAI (GPT-4o, GPT-4o-mini, o3), Anthropic Claude (invite-only), Google Vertex (Gemini tuning), và Together AI (LoRA fine-tuning cho Llama 4, Qwen, Mistral).

Chi phí training = token training × epoch × rate/triệu token training. OpenAI GPT-4o-mini: $3/M token training. Together Llama 4 70B LoRA: $1.20/M. Phần lớn fine-tune production tốn $50–$500 chi phí training một lần. Sau đó inference tốn 1.5–3× model base mỗi token mãi mãi.

Toggle epoch (mặc định 3) và volume inference để mô phỏng tổng năm 1. Dưới 10M token tháng, fine-tuning hiếm khi thắng prompt được craft tốt. Trên 100M với task định nghĩa ổn định, fine-tuned model nhỏ thắng model lớn dùng prompt 3–10× tổng chi phí.

Tổng năm 1 · rẻ nhất

Fireworks · Llama 4 8B

$248

ProviderModel gốcChi phí trainingInference/thángTổng năm 1
FireworksLlama 4 8B

≤16B LoRA SFT tier

$8$20$248
CohereCommand R$30$48$606
OpenAIGPT-4o mini

Stale — OpenAI moved to per-hour training 2026-05; verify pending

$45$48$621
MistralMistral Small 3

$2/mo hosting per deployed adapter

$45$58$741
FireworksLlama 4 70B

16-80B LoRA SFT tier

$45$90$1,125
TogetherLlama 3.3 70B

Legacy v3 line; verify pending 2026-05-18 — no longer top-listed on Together pricing

$75$88$1,131
OpenAIGPT-5 mini

Stale — OpenAI moved to per-hour training 2026-05; verify pending

$60$96$1,212
TogetherLlama 4 Maverick (LoRA SFT)

$16 minimum charge; Maverick = ~70B-class

$120$120$1,560
OpenAIo3-mini

Stale — OpenAI moved to per-hour training 2026-05; verify pending

$75$136$1,707
TogetherLlama 4 Maverick (LoRA DPO)$300$120$1,740
AWS BedrockClaude Haiku 4.5 (custom)

Provisioned throughput required

$120$303$3,756
MistralMistral Large 2$135$564$6,903
OpenAIGPT-4o

Stale — OpenAI moved to per-hour training 2026-05; verify pending

$375$600$7,575

Chi phí training = token × epoch × giá/triệu. Inference dùng giá fine-tuned (cao hơn model gốc). Tổng năm 1 = training một lần + 12 tháng inference.

Calculator này làm được gì

Multi-provider

OpenAI fine-tuning, Together LoRA, Vertex tuning, ước tính self-host.

Tách training + inference

Chi phí training một lần tách khỏi inference uplift tháng.

Slider epoch

Mặc định 3 epoch. Calculator nhân token training × epoch cho tổng billed.

Mô phỏng inference uplift

Model fine-tuned tốn 1.5–3× base. Calculator nắm impact năm 1.

Tổng năm 1

Training một lần + 12 tháng inference = một con số ngân sách.

LoRA vs full fine-tuning

LoRA trên Together rẻ hơn full fine-tuning OpenAI 10×.

So sánh nhanh

Chi phí fine-tuning 5M token training, 50M inference/tháng, 3 epoch

ProviderChi phí TrainingInference UpliftTổng năm 1
Together Llama 4 70B (LoRA)$18+$50/tháng$618
OpenAI GPT-4o-mini$45+$120/tháng$1,485
Google Gemini 2.5 Flash tune$75+$150/tháng$1,875
OpenAI GPT-4o$375+$1,200/tháng$14,775
OpenAI o3$2,250+$3,500/tháng$44,250

Năm 1 = training + 12 × inference uplift tháng. Inference uplift là chi phí trên model base.

Cách dùng calculator

Tính chi phí training + inference uplift cho LLM fine-tuned.

  1. 1

    Nhập token training

    Tổng token dataset training. 100 example × 500 token = 50k token.

  2. 2

    Đặt epoch

    Mặc định 3. Trên 4 thường overfit. Calculator bill training × epoch.

  3. 3

    Ước tính inference tháng

    Bao nhiêu token model fine-tuned sẽ serve/tháng? Driver chi phí uplift.

  4. 4

    So provider

    LoRA Together rẻ nhất; OpenAI full fine-tune cao nhất. Calculator hiển thị tổng năm 1.

Vì sao nên dùng calculator này

  • ✓5 provider refresh hàng tháng
  • ✓Tách training + inference
  • ✓So LoRA vs full FT
  • ✓Con số ngân sách năm 1
  • ✓Mô phỏng epoch + token
  • ✓Không cần đăng nhập

Câu hỏi thường gặp

Fine-tune LLM tốn bao nhiêu 2026?+
Chi phí training: 1M token training × giá training/triệu token. OpenAI GPT-4o-mini fine-tuning: $3/M token training. Anthropic Claude Haiku fine-tuning (access hạn chế): $5/M. Together AI Llama 4 70B LoRA: $1.20/M. Phần lớn fine-tune production tốn $50–$500 chi phí training.
Inference uplift cho model fine-tuned là gì?+
Model fine-tuned tốn 1.5–3× mỗi token so với model base ở inference. OpenAI GPT-4o-mini base: $0.15/M input. Fine-tuned: $0.30/M input. Lên kế hoạch cho cái này — fine-tune workload volume cao chỉ tiết kiệm tiền nếu cũng đổi sang class model nhỏ hơn.
Khi nào fine-tuning tiết kiệm hơn prompt engineering?+
Break-even ~10M token tháng. Dưới đó, fine-tuning hiếm khi thắng prompt few-shot craft tốt. Trên 100M token tháng với định nghĩa task ổn định, fine-tuned model nhỏ thường thắng model lớn dùng prompt 3–10× tổng chi phí.
Bao nhiêu epoch nên fine-tune?+
Mặc định 3 epoch cho data instruction-style và 1–2 epoch cho data completion. Trên 4 epoch thường overfit. Calculator nhân token training × epoch để có số token training bill — bump nhỏ trong epoch cộng chi phí nhiều.
Fine-tune được Claude hay chỉ OpenAI?+
OpenAI: fine-tuning GPT-4o, GPT-4o-mini, và o3 GA. Anthropic Claude fine-tuning invite-only 2026. Google Vertex có Gemini tuning. Together AI có LoRA fine-tuning cho mọi open-weight model lớn. Self-host Axolotl + Modal là đường rẻ nhất cho open weight.
Cần bao nhiêu data training để fine-tune hiệu quả?+
50–500 example chất lượng cao cho style/format adaptation. 1,000–10,000 cho domain knowledge. Trên 10,000 example, gain plateau. Chất lượng thắng số lượng — 100 example craft tay thường vượt 5,000 example nhiễu. Token count quan trọng cho billing, không cho chất lượng.