Local LLM을 활용하기 위한 기준과 PC사양 검토

코딩 및 문서 작성에 사용되는 대표 LLM(7B, 14B, 30B, 70B)의 만족감과 성능에 대한 다양한 평가와 실제 사용자 피드백, 벤치마크 결과를 종합해 비교하면 다음과 같습니다.

사용자 평가 및 벤치마크 요약

모델 크기	코딩 만족감	문서 작성 만족감	장점	단점	실사용 추천
7B	★★☆☆☆	★☆☆☆☆	빠름, 저사양, 특화작업	범용성 부족, 품질 낮음	간단한 작업, 특화 파인튜닝
14B	★★★☆☆	★★☆☆☆	7B 대비 개선, 일부 실용	복잡한 작업 한계	제한적 실사용
30B	★★★★☆	★★★☆☆	실사용 가능, 속도/성능 균형	70B 대비 미세한 부족	고성능 PC, 실용적
70B	★★★★★	★★★★★	최고 품질, 범용성, 일관성	자원 소모, 속도	프로덕션, 고급 작업

참고

• **작은 모델(7B~13B)**은 특정 목적(파인튜닝, 코드 자동완성, 간단 요약)에선 쓸만하지만, "만족감"은 한계가 뚜렷합니다.
• 30B는 고성능 PC에서 실사용에 적합, 대부분의 문서 작성·코딩 작업에서 충분히 강력합니다.
• 70B는 "최고의 품질"과 "범용성"을 원할 때 선택, 실제 사용자들도 "70B는 넘어야 의미가 있다"고 평가합니다.

모델별 상세비교

7B 모델

• 장점

  • 경량: 저사양 PC, 모바일 등에서 구동 가능
  • 특화된 작업(예: 코드 자동완성, 간단한 요약, 분류, 특정 도메인에 맞춘 파인튜닝)에는 꽤 쓸만함.
  • 최신 7B 모델(예: Qwen2.5-7B-Instruct)은 **코딩 벤치마크(HumanEval 84.8점, MBPP 79.2점 등)**에서 동급 모델 중 우수한 성능을 보임.

• 단점

  • 범용성 부족: 다양한 주제, 복잡한 문서 작성, 창의적 작업에서는 한계가 뚜렷함.
  • 생성 품질: 논리적 일관성, 문맥 이해, 장문 작성, 고차원적 추론 등에서 부족함.
  • 실사용 만족감: "생산성 도구로는 부족하다", "RAG나 프로덕션 용도에는 부적합"이라는 사용자 평가가 많음.

14B 모델

• 장점

  • 7B 대비 문맥 이해력과 응답 품질이 개선됨.
  • 특정 작업(코딩, 문서 요약 등)에서 실용적 수준에 도달하는 모델이 등장.
  • 최신 13~14B 모델은 일부 30B 모델에 근접하는 성능도 가능.

• 단점

  • 여전히 복잡한 문서 작성이나 심층적 코딩에서는 한계가 있음.
  • "효용감이 느껴질 만한 모델은 거의 없다"는 벤치마크 평가도 존재.

30B 모델

• 장점

  • 실사용 가능성이 크게 높아짐. 문서 작성, 코딩, 요약, 질의응답 등에서 만족도 상승.
  • 70B와 비교해 속도·자원 효율성이 좋아, 고성능 PC에서 충분히 활용 가능.
  • 최신 Qwen2.5-32B-Instruct 등은 코딩, 수학, 일반 대화 등 다양한 벤치마크에서 70B급에 근접한 성능을 보임.

• 단점

  • 70B 대비 세밀한 추론, 창의성, 장문 일관성 등에서 미세한 차이 존재.
  • "30B도 70B의 만족감에 완전히 도달하지는 못한다"는 의견도 있음.

70B 모델

• 장점

  • 최고 수준의 범용성: 복잡한 문서 작성, 고차원적 코딩, 창의적 작업, 장문 생성에서 압도적.
  • 사용자 만족감: "70B는 넘어야 의미 있는 결과가 나온다", "실제 프로덕션에 쓸 만하다"는 평가가 다수.
  • 최신 70B 모델(Qwen2.5-72B-Instruct 등)은 코딩, 수학, 일반 대화 등 거의 모든 영역에서 탁월, GPT-4에 근접.

• 단점

  • 자원 소모: 고성능 GPU, 대용량 메모리 필요. 일반 PC에서는 구동이 어렵거나 불가능.
  • 속도: 하드웨어에 따라 느릴 수 있음.

결론:

• 일상적 코딩·문서 작성: 30B 이상 추천
• 최고 품질·프로덕션: 70B
• 특화 목적, 저사양: 7B/14B(파인튜닝 필수)
• GPT-4 등 최신 API 모델은 여전히 모든 오픈소스 LLM을 압도함.

[펼치기]

 

그렇다면 실행가능성 여부도 중요하지만 ollama등으로 실행해보면 큰 모델의 경우에는 초당 토큰생성수가 낮아지는 경향이 있어서 얼마정도의 생성속도가 실사용에 필요한지 검색해 본다.

실제 사용에서 권장되는 초당 토큰 수는 용도에 따라 다르지만, 일반적으로 10-20 tokens/s가 최소 기준이며, 30 tokens/s 이상이 이상적입니다.

용도별 권장 토큰 수

채팅/대화형 애플리케이션에서는 최소 10 tokens/s가 필요합니다. 이는 대부분의 사람들이 읽을 수 있는 속도와 맞춰진 기준입니다. 더 나은 사용자 경험을 위해서는 20 tokens/s 이상이 권장됩니다.

코딩 작업의 경우 20 tokens/s가 최적의 최소 기준으로 여겨집니다. 코딩에서는 괄호, 따옴표, 쉼표 등도 각각 하나의 토큰으로 처리되어 단어만큼 생성 시간이 걸리지만, 읽는 속도는 훨씬 빠르기 때문입니다.

실시간 상호작용이 중요한 애플리케이션에서는 30 tokens/s 이상이 권장됩니다. 이는 약 33.3밀리초의 토큰 간 지연시간에 해당하며, 분당 약 1,350단어를 생성할 수 있어 가장 빠른 독자보다도 빠른 속도입니다.

사용자 경험 기준

최소 허용 기준으로는 5-7 tokens/s가 언급되지만, 이 속도에서는 사용자가 답답함을 느낄 수 있습니다.

편안한 사용을 위해서는 15 tokens/s가 일반적인 기준점입니다. 이 속도에서는 짧은 대화에서 큰 불편함 없이 사용할 수 있습니다.

이상적인 속도는 20-30 tokens/s로, 이 정도면 대부분의 사용 시나리오에서 만족스러운 경험을 제공합니다.

컨텍스트 고려사항

긴 응답을 기대하는 경우 속도가 더욱 중요해집니다. 예를 들어 8,000토큰 응답을 16 tokens/s로 생성하면 8분 이상 기다려야 하므로, 이런 경우에는 더 높은 속도가 필수적입니다.

또한 **첫 토큰까지의 시간(TTFT)**도 중요한데, 이는 200밀리초 이하가 권장됩니다. 이는 인간의 평균 시각 반응 시간보다 빠른 수준입니다.

결론적으로, 일반적인 사용에서는 최소 15 tokens/s, 권장 20-30 tokens/s가 적절한 기준이라고 할 수 있습니다.

[펼치기]

내가 원하는 수준은 최소한 20~30 토큰/s 정도를 요구하고 30b 또는 가능하면 70b정도를 실행할 수 있으면 좋을 듯 했다.

현재 사용중인 AMD AI 370 CPU의 성능에 대해서 먼저 검토해 보자. 그리고 통합 메모리 덕분에 70b모델도 실행할 수 있는 AMD AI 395 CPU모델도 함께 비교해 본다.

AMD Ryzen AI 9 HX 370 성능

HX 370은 현재 시점에서 본격적인 LLM 작업에는 제한적인 성능을 보입니다. CPU 기반 추론에서 DeepSeek R1 14B 모델을 실행할 때 7.5 tokens/s의 처리량을 달성했으며, GPU 기반 추론(Vulkan API 사용)에서는 7.8 tokens/s로 약간 더 높은 성능을 보였습니다.

DeepSeek-R1-Distill-Llama-8B (INT4) 모델에서는 다음과 같은 성능을 보여줍니다:

• 128 토큰 컨텍스트: 20.7 tokens/s
• 256 토큰 컨텍스트: 20.5 tokens/s
• 512 토큰 컨텍스트: 20.0 tokens/s
• 1024 토큰 컨텍스트: 19.2 tokens/s
• 2048 토큰 컨텍스트: 17.6 tokens/s

AMD Ryzen AI MAX+ 395 성능

395는 훨씬 강력한 LLM 성능을 제공합니다. 실제 테스트 결과는 다음과 같습니다:

• DeepSeek R1 8B: AMD ONNX 라이브러리 최적화를 통해 50 tokens/s 달성
• Gemma 27B QAT: LM Studio에서 Vulkan 사용 시 20 tokens/s
• DeepSeek R1 70B: LM Studio에서 Vulkan 사용 시 5-10 tokens/s (40GB+ RAM 사용)

성능 비교 분석

메모리 용량에서 가장 큰 차이를 보입니다. HX 370은 32GB 메모리로 제한되는 반면, AI MAX+ 395는 128GB 통합 메모리를 지원하여 훨씬 큰 모델을 실행할 수 있습니다.

처리 속도 면에서도 395가 우위를 보입니다. 8B 모델에서 HX 370이 약 20 tokens/s인 반면, 395는 50 tokens/s로 2.5배 빠른 성능을 보여줍니다.

모델 크기 지원에서 결정적 차이가 있습니다. HX 370은 14B 모델에서도 성능이 크게 저하되지만, 395는 70B 모델까지 실행 가능하며, 더 큰 모델일수록 경쟁 대비 성능 우위가 더욱 벌어집니다.

AMD 공식 벤치마크에 따르면, 395는 14B 파라미터 모델에서 Intel 경쟁 제품 대비 최대 12.2배 빠른 성능을 보여주며, 모델이 클수록 성능 격차가 더욱 벌어지는 특성을 보입니다.

[펼치기]

현재 사용중인 AMD AI 370 모델로는 7b모델 정도만 사용할 수 있기에 간단한 작업만 가능해 보인다. AMD AI 395 CPU에서 70b 모델은 실행은 가능하나 답답한 속도로 보인다. 조금 더 상세하게 AMD AI 395 환경에서의 LLM 토큰 생성능력을 살펴보자.

AMD Ryzen AI MAX+ 395에서 모델 크기별 초당 토큰 수는 다음과 같습니다:

AMD AI 395 APU

8B 모델 성능

DeepSeek R1 Distill Llama 8B의 경우 AMD 공식 벤치마크에서 Intel 경쟁 제품 대비 최대 9.1배 빠른 성능을 보여주며, 실제 사용에서는 약 20-30 tokens/s 정도의 성능을 달성합니다.

DeepSeek R1 8B에서는 AMD ONNX 라이브러리 최적화를 통해 50 tokens/s까지 달성할 수 있습니다.

14B 모델 성능

14B 파라미터 모델에서 AMD Ryzen AI MAX+ 395는 특히 뛰어난 성능을 보여줍니다. DeepSeek R1 Distill Qwen 14B 모델에서 Intel Core Ultra 258V 대비 최대 12.2배 빠른 성능을 달성했으며, 이는 약 15-25 tokens/s 정도의 실제 성능에 해당합니다.

Phi 4 14B 모델에서도 11.3배 빠른 성능을 보여주어 유사한 토큰 생성 속도를 제공합니다.

32B 모델 성능

DeepSeek R1 Distill Qwen 32B 모델을 6-bit 정밀도로 실행할 때 약 10-15 tokens/s 정도의 성능을 보여줍니다. 이는 코딩 작업에서도 충분히 실용적인 속도입니다.

70B 모델 성능

70B 모델에서는 성능이 상당히 제한적입니다. 실제 테스트에서:

• 일반적인 70B 모델: 약 3-4 tokens/s
• Llama 70B: AMD 공식 발표에 따르면 NVIDIA RTX 4090 대비 2.2배 빠른 성능을 보여주지만, 실제 사용에서는 약 3-5 tokens/s 정도입니다

최근 테스트에서는 3.16 tokens/s가 측정되었으며, 이는 실용적인 사용에는 다소 제한적인 속도입니다.

메모리 활용의 장점

AMD Ryzen AI MAX+ 395의 가장 큰 장점은 최대 128GB 통합 메모리를 지원한다는 점입니다. 이를 통해 최대 96GB를 GPU 메모리로 할당할 수 있어, 일반적인 소비자용 GPU의 24-48GB VRAM 제한을 크게 뛰어넘는 대용량 모델을 실행할 수 있습니다.

결론적으로, 8B-14B 모델에서는 매우 우수한 성능을, 32B 모델에서는 실용적인 성능을, 70B 모델에서는 제한적이지만 실행 가능한 성능을 제공합니다.

[펼치기]

아쉬운 마음에 70b를 사용할 수 있는 PC구성은 어떤 것인지 찾아본다.

70B 모델에서 초당 30토큰 이상의 성능을 기대하려면, 다음과 같은 하드웨어 구성이 필요합니다. 다양한 관점(성능, 비용, 확장성, 최신성 등)에서 분석한 결과를 아래에 정리합니다.

1. GPU 구성

구성	대표 GPU	예상 토큰/초	비고
2× RTX 4090	48GB VRAM ×2	38 t/s	실제 벤치마크 기준, MLC 등에서 38 tokens/s
2× RTX 5090	64GB VRAM ×2	27 t/s	Ollama 벤치마크 기준, 26.85 tokens/s
2× A10G	24GB VRAM ×2	41 t/s	41.2 tokens/s, 가격 대비 효율은 4090과 비슷
2× A100 80GB	80GB VRAM ×2	54~90 t/s	H100 대비 낮지만 30t/s는 여유롭게 달성
2× H100 SXM	80GB VRAM ×2	90 t/s	최신 데이터센터급, 90 tokens/s 이상
2× H100 NVL	94GB VRAM ×2	103 t/s	최상위급, 100 tokens/s 이상

• 최소 요건: 2장 이상의 하이엔드 GPU(4090, 5090, A10G, A100, H100 등)와 40GB 이상 VRAM
• 권장 구성: 2× RTX 4090 이상 또는 2× A100 80GB, 2× H100 SXM

2. CPU, 메모리, 스토리지

• CPU: 16코어 이상(AMD Threadripper, Intel Xeon 등 고성능 서버/워크스테이션 CPU)
• RAM: 최소 256GB, 대용량 컨텍스트나 멀티유저 처리 시 512GB 이상 권장
• 스토리지: NVMe SSD 4TB 이상(모델, 데이터셋, 체크포인트 저장용)

3. 네트워크 및 확장성

• NVLink 또는 PCIe Gen4/Gen5 지원 메인보드(멀티 GPU 간 대역폭 확보)
• 10Gbps 이상 네트워크(분산 환경 또는 멀티노드 확장 고려 시)

4. 클라우드 vs 온프레미스

• 클라우드: AWS, Azure, Google Cloud에서 A100, H100 인스턴스 사용 가능. 초기 투자비용 부담 없이 확장 가능
• 온프레미스: 직접 구축 시 초기비용 높으나 장기적 운영 시 저렴. 전력, 냉각, 공간 등 고려 필요

5. 실제 벤치마크/사례

• 2× RTX 4090: 38 tokens/s (MLC, Ollama 등 실제 사용 사례)
• 2× A10G: 41 tokens/s
• 2× H100 SXM: 90 tokens/s 이상
• 2× H100 NVL: 103 tokens/s

6. 가격 및 현실적 접근

• 4090/5090 기반 시스템: 1,500~3,000만원(한화) 내외, 개인/소규모 연구실에 적합
• A100/H100 기반 시스템: 1억 원 이상, 기업/기관/클라우드 활용에 적합

7. 기타 고려사항

• 전력 소비: 2×4090 기준 1,000W 이상, H100은 더 높음
• 소음/발열: 서버룸/전용 공간 필수
• 소프트웨어: CUDA 12+, 최신 드라이버, Ollama·LM Studio·vLLM 등 지원 프레임워크 필요

요약

• 최소 구성: 2× RTX 4090 또는 동급 이상 GPU, 256GB RAM, 고성능 CPU, NVMe SSD
• 이상적 구성: 2× H100 SXM, 512GB RAM, 최신 서버 CPU, 대용량 SSD 및 고속 네트워크
• 클라우드 대안: AWS H100 인스턴스(초당 90~100 tokens), 초기 투자 없이 사용량 기반 과금

이 구성을 갖추면 70B 모델에서 초당 30토큰 이상의 실시간 생성이 가능합니다.

[펼치기]

나같은 개인이 구성하기엔 현실적으로 불가한 환경으로 판단한다.
그럼 한 단계 낮춰 70b >> 30b수준으로 눈을 낮춰보았다.

30B 파라미터 LLM에서 초당 30토큰 이상의 성능을 기대하려면, 다음과 같은 시스템 구성이 필요합니다. 여러 관점(성능, 예산, 확장성, 최신성, 실사용 사례 등)에서 분석한 결과를 아래에 정리합니다.

1. GPU 중심 구성

구성	VRAM	예상 토큰/초	특징/비고
RTX 4090 단일	24GB	12~40 t/s	4bit 양자화, 최적화(FlashAttention, xformers 등) 적용 시 30t/s 근접 가능
RTX 3090 단일	24GB	15~30 t/s	4bit 양자화, 최적화 필요
2× RTX 3060	24GB(12×2)	15~30 t/s	exllama 등 멀티GPU 지원 시 30t/s 달성 가능
A100 40GB/80GB	40~80GB	30~100 t/s	8bit/4bit 양자화, 데이터센터급
H100 80GB	80GB	50~150 t/s	최신 데이터센터급, 30t/s 훨씬 상회
Apple M3 Max/Ultra	36~128GB	15~40 t/s	메모리 대역폭 높음, 최적화 필요

• 최소 권장: RTX 3090/4090(24GB VRAM) 단일 또는 2× RTX 3060(12GB×2) 멀티GPU
• 이상적: A100/H100, Apple Silicon Ultra, 또는 동급 이상

2. CPU, RAM, 스토리지

• CPU: 8코어 이상(최신 i7/i9, Ryzen 7/9, Threadripper 등)
• RAM: 32GB(최소), 64GB 이상 권장(멀티유저, 대용량 컨텍스트 활용 시)
• 스토리지: NVMe SSD(빠른 로딩 및 체크포인트 저장)

3. 소프트웨어·최적화

• 양자화: 4bit(Q4_K_M 등) 필수, 8bit는 VRAM 여유 있을 때만
• 최적화 엔진: exllama, llama.cpp(triton branch), FlashAttention, xformers 등 사용
• 운영체제: Linux 권장(메모리 관리 및 VRAM 활용 극대화)

4. 실제 벤치마크·사례

• 단일 RTX 4090: 1240 tokens/s(최적화 여부에 따라 차이, 일반적으로 1518 tokens/s, xformers 등 적용 시 30t/s 이상 가능)
• 2× RTX 3060: 30 tokens/s(멀티GPU 지원, exllama 등 활용 시)
• A100 40GB: 30~60 tokens/s(8bit), 100 tokens/s(4bit, 최적화)
• Apple M3 Ultra: 30 tokens/s 이상(4bit, 최적화 시)
• 최신 AMD 노트북(예상): AMD는 미래 노트북에서 30B 모델 100 tokens/s 목표, 현재는 7B에서 20 tokens/s 수준

5. 예산·확장성·기타

• 예산: 4090/3090 기반 시스템 200400만원, 2×3060은 150250만원, A100/H100은 클라우드 활용이 현실적
• 클라우드: AWS, Azure, Google Cloud에서 A100/H100 인스턴스 임대(비용은 시간당 수만원대)
• 확장성: 멀티GPU 지원 메인보드, PCIe Gen4/Gen5, 대용량 파워서플라이 필요

6. 결론 및 추천

• 가성비/실용성: RTX 4090 단일 또는 2× RTX 3060(12GB) 멀티GPU, 4bit 양자화, exllama 등 최적화 도구 적극 활용
• 최고 성능: A100/H100, Apple Silicon Ultra, 또는 차세대 AMD AI PC(향후 출시 예정)
• 메모리: 24GB VRAM 이상 필수, 시스템 RAM은 32~64GB 이상 권장

이 구성을 갖추면 30B 모델에서 초당 30토큰 이상의 실시간 생성이 충분히 가능합니다.
특히 최신 소프트웨어 최적화(exllama, FlashAttention 등)와 4bit 양자화가 관건입니다.
예산, 확장성, 전력·냉각 등도 함께 고려해 시스템을 설계하는 것이 좋습니다.

[펼치기]

맥os는 맥북을 쓰다가 윈도우가 나에겐 더 어울리는 환경이라 생각하고 중고장터에 판 적이 두어번이라 RTX4090 모델을 구해야 하는데 중고가격이 350만원인지라, 나에겐 현실적이지 않다.

결국 눈을 돌려 기존 처럼 CLOUD API를 활용하는 방법에 대해서 검토해 보았다.
결론적으로 적당한 pc로 집에서는 사용하고 API를 사용하는 것이 적절해 보인다.

—-

70B 수준 품질의 LLM: 개인 하드웨어 vs API 서비스 종합 비교
70B 파라미터 수준의 LLM 품질을 원한다면, 개인이 집에서 VGA 카드나 개인 장비를 구축하는 것과 Azure OpenAI API나 Claude API를 사용하는 것 중 어떤 것이 더 유리한지 다각면에서 분석한 결과를 말씀드리겠습니다.

비용 비교 분석

개인 하드웨어 구축 비용

초기 구축 비용: 약 920만원

• RTX 4090 듀얼 GPU: 600만원 (1장당 300만원)
• 고성능 CPU + 메인보드: 120만원
• 256GB DDR5 RAM: 150만원
• 전원공급장치, 스토리지, 케이스: 50만원

연간 운영 비용: 약 80만원

• 전기료: 월 5-8만원 (연간 60만원)
• 유지보수: 연간 20만원
• 냉각비용: 연간 10만원

5년간 추가 업그레이드 비용: 약 400만원

• 3년차 스토리지 업그레이드: 50만원
• 4년차 냉각 시스템 개선: 20만원
• 5년차 GPU 일부 교체: 300만원
• 기타 수리비용: 30만원

5년 총 비용: 약 1,720만원

API 서비스 비용

Claude 3.5 Sonnet: 입력 $3/백만 토큰, 출력 $15/백만 토큰
GPT-4: 입력 $30/백만 토큰, 출력 $60/백만 토큰

사용량 시나리오	Claude (연간)	GPT-4 (연간)	Claude (5년)	GPT-4 (5년)
가벼운 사용	83만원	378만원	416만원	1,889만원
중간 사용	332만원	1,511만원	1,662만원	7,556만원
집중 사용	831만원	3,778만원	4,156만원	18,889만원
기업급 사용	1,662만원	7,556만원	8,311만원	37,778만원

성능 비교

실제 성능 지표

구분	개인 하드웨어 (RTX 4090 x2)	Claude 3.5 Sonnet API	GPT-4 API
생성 속도	3-5 tokens/s	20-50 tokens/s	15-30 tokens/s
메모리 요구	48GB VRAM + 256GB RAM	없음	없음
응답 지연	즉시 응답	200-500ms	300-800ms
모델 품질	양자화된 70B	70B 수준	175B 수준
동시 사용자	1명	무제한	무제한

API 서비스가 실제 응답 속도에서 6-15배 빠른 성능을 보여줍니다.

활용성 및 유지보수

개인 하드웨어

장점:

• 완전한 제어권과 데이터 프라이버시 보장
• 오프라인 사용 가능
• 커스터마이징 가능
• 장기적 비용 효율성 (고사용량 시)

단점:

• 높은 초기 투자 (920만원+)
• 기술적 전문성 필요
• 지속적인 하드웨어 관리 부담
• 소음 및 발열 문제
• 업그레이드 비용 부담

API 서비스

장점:

• 즉시 사용 가능, 낮은 초기 비용
• 자동 업데이트 및 전문적 관리
• 다양한 모델 선택 및 확장성
• 안정적인 서비스 품질

단점:

• 지속적인 비용 발생
• 인터넷 연결 필수
• 데이터 프라이버시 우려
• 서비스 의존성 및 가격 변동 위험

손익분기점 분석

가벼운~중간 사용: API가 압도적으로 유리

• Claude 기준 5년간 416-1,662만원 vs 하드웨어 1,720만원

집중 사용: 사용량에 따라 선택

• 매일 5시간 이상 사용 시 하드웨어 고려

기업급 사용: 하드웨어가 비용면에서 유리

• Claude 5년간 8,311만원 vs 하드웨어 1,720만원

향후 업그레이드 고려사항

개인 하드웨어

• 3-5년 주기 대규모 업그레이드 필요: GPU 교체만 300-600만원
• 점진적 부품 교체 비용: 연간 평균 80만원
• 기술 발전에 따른 호환성 문제 가능성

API 서비스

• 자동 업데이트: 최신 모델 무료 이용
• 가격 하락 트렌드: API 가격은 지속적으로 하락
• 새로운 기능 즉시 적용: 멀티모달, 툴 사용 등

최종 권장사항

대부분의 개인 사용자: Claude API 추천

• 초기 투자 부담 없음 (0원 vs 920만원)
• 뛰어난 성능과 편의성 (6-15배 빠른 응답)
• 필요에 따라 사용량 조절 가능

전문 개발자/연구자: 하이브리드 접근

• 일상 업무: API 사용
• 민감한 작업: 개인 하드웨어 고려
• 점진적 하드웨어 투자

기업/기관: 사용량 기반 선택

• 낮은~중간 사용량: API
• 높은 사용량 + 보안 중요: 개인 하드웨어

결론적으로, 70B 수준의 품질을 원한다면 현재로서는 Claude 3.5 Sonnet API가 가성비, 성능, 편의성 모든 면에서 가장 합리적인 선택입니다. 개인 하드웨어는 매일 5시간 이상 집중적으로 사용하거나, 데이터 보안이 매우 중요한 특수한 경우에만 권장됩니다.

[펼치기]

참고자료

[펼치기]

출처
Best Open Source LLMs of 2025 - Klu.ai https://klu.ai/blog/open-source-llm-models
Qwen2.5-LLM: Extending the boundary of LLMs | Qwen https://qwenlm.github.io/blog/qwen2.5-llm/
7b model uses : r/LocalLLaMA - Reddit https://www.reddit.com/r/LocalLLaMA/comments/1bjblor/7b_model_uses/
LLM 비교/테스트: 39개 모델 테스트(7B~70B + ChatGPT/GPT-4) https://news.hada.io/topic?id=11517
[PDF] Dissecting Human and LLM Preferences - arXiv https://arxiv.org/pdf/2402.11296.pdf
Could multiple 7b models outperform 70b models? - Reddit https://www.reddit.com/r/LocalLLaMA/comments/183k0tx/could_multiple_7b_models_outperform_70b_models/
7B, 13B, 70B: Large Language Models Show Why Bigger Isn't ... https://ai.gopubby.com/7b-13b-70b-large-language-models-show-why-bigger-isnt-always-better-102743791287
LLM Leaderboard - Comparison of over 100 AI models from OpenAI ... https://artificialanalysis.ai/leaderboards/models
DeepSeek-R1 - GitHub https://github.com/deepseek-ai/DeepSeek-R1
[PDF] Qwen2.5-Coder Technical Report - arXiv https://arxiv.org/pdf/2409.12186.pdf
Llama 2 is here - get it on Hugging Face https://huggingface.co/blog/llama2
How do LLMs language models perform? - LinkedIn https://www.linkedin.com/posts/shekarramachandran_how-do-%F0%9D%9F%AF%F0%9D%97%95-%F0%9D%9F%B3%F0%9D%97%95-%F0%9D%9F%AD%F0%9D%9F%AF%F0%9D%97%95-%F0%9D%9F%AF%F0%9D%9F%AF%F0%9D%97%95-and-%F0%9D%9F%B3-activity-7197522958637023232-i1eK
Open LLM Leaderboard best models ❤ - Hugging Face https://huggingface.co/collections/open-llm-leaderboard/open-llm-leaderboard-best-models-652d6c7965a4619fb5c27a03
[PDF] : Evaluating Reward Models for Language Modeling - ACL Anthology https://aclanthology.org/2025.findings-naacl.96.pdf
QwenLM/Qwen2.5-Coder - GitHub https://github.com/QwenLM/Qwen2.5-Coder
Only 671B DeepSeek is Real - 7B, 14B, 32B, 70B R1 are ... - YouTube https://www.youtube.com/watch?v=7QykHGYi4tQ
Everything I've learned so far about running local LLMs https://nullprogram.com/blog/2024/11/10/
Less than 70b models worth running locally? : r/ollama - Reddit https://www.reddit.com/r/ollama/comments/1itzioa/less_than_70b_models_worth_running_locally/
deepseek-ai/DeepSeek-R1 - Hugging Face https://huggingface.co/deepseek-ai/DeepSeek-R1
library - Ollama https://ollama.com/library

---

출처
LLM Interactive Workloads: Optimizing GPU Capacity for ... https://www.snowflake.com/en/engineering-blog/snowflake-llm-inference-interactive-workloads/
How many tok/s is enough? : r/LocalLLaMA - Reddit https://www.reddit.com/r/LocalLLaMA/comments/1jze7v5/how_many_toks_is_enough/
What do y'all consider acceptable tokens per second for ... https://www.reddit.com/r/LocalLLaMA/comments/162pgx9/what_do_yall_consider_acceptable_tokens_per/
LLM Inference Sizing and Performance Guidance - VMware Blogs https://blogs.vmware.com/cloud-foundation/2024/09/25/llm-inference-sizing-and-performance-guidance/
LLM Inference Performance Engineering: Best Practices - Databricks https://www.databricks.com/blog/llm-inference-performance-engineering-best-practices
Holistic Performance Evaluation Framework for LLM ... https://arxiv.org/html/2407.07000v1
Local LLM Guide: RAG Implementation on Industrial Hardware https://www.onlogic.com/blog/local-llm-guide/
In your experience, how could these local LLMs become snappier ... https://news.ycombinator.com/item?id=38907531
Empowering 1000 tokens/second on-device LLM prefilling with mllm ... https://arxiv.org/html/2407.05858v1
Speed and Conversational Large Language Models https://www.computer.org/csdl/magazine/co/2024/08/10632720/1ZgY6ndKCTm
Token optimization: The backbone of effective prompt ... https://developer.ibm.com/articles/awb-token-optimization-backbone-of-effective-prompt-engineering/
What do tokens per second ranges in provisioned throughput mean? https://learn.microsoft.com/en-us/azure/databricks/machine-learning/foundation-model-apis/prov-throughput-tokens
Everything I've learned so far about running local LLMs https://nullprogram.com/blog/2024/11/10/
Measuring AI Model Performance: Tokens per Second, Model Sizes ... https://openmetal.io/resources/blog/ai-model-performance-tokens-per-second/
Running LLMs Like DeepSeek Locally: The Getting Started ... https://www.oliviertravers.com/running-llms-locally-the-getting-started-windows-stack/
Tokens Per Second is NOT All You Need https://blog.lancedb.com/tokens-per-second-is-not-all-you-need/
Tokens Per Second is Not All You Need - SambaNova Systems https://sambanova.ai/blog/tokens-per-second-is-not-all-you-need
LLM Latency Benchmark by Use Cases in 2025 https://research.aimultiple.com/llm-latency-benchmark/
Mastering LLM Techniques: Inference Optimization https://developer.nvidia.com/blog/mastering-llm-techniques-inference-optimization/
vLLM x AMD: Efficient LLM Inference on AMD Instinct™ ... https://www.amd.com/ko/developer/resources/technical-articles/vllm-x-amd-highly-efficient-llm-inference-on-amd-instinct-mi300x-gpus.html

---

출처
AMD HX370 LLM performance : r/LocalLLaMA - Reddit https://www.reddit.com/r/LocalLLaMA/comments/1i7cj11/amd_hx370_llm_performance/
AMD Targets Faster Local LLMs: Ryzen AI 300 Hybrid NPU+iGPU ... https://www.hardware-corner.net/amd-targets-faster-local-llms/
Testing the Ryzen M Max+ 395 : r/LocalLLM - Reddit https://www.reddit.com/r/LocalLLM/comments/1k3hlw3/testing_the_ryzen_m_max_395/
AMD Ryzen AI Max+395: A Leap Forward in Generative AI ... https://www.amd.com/en/developer/resources/technical-articles/2025/amd-ryzen-ai-max-395--a-leap-forward-in-generative-ai-performanc.html
AMD Ryzen™ AI MAX+ 395 Processor: Breakthrough AI https://community.amd.com/t5/ai/amd-ryzen-ai-max-395-processor-breakthrough-ai-performance-in/ba-p/752960
AMD Ryzen™ AI MAX+ 395 Processor https://www.amd.com/zh-cn/blogs/2025/amd-ryzen-ai-max-395-processor-breakthrough-ai-.html
AMD Ryzen AI Max 395 vs AMD Ryzen AI 9 HX 370 - TopCPU.net https://www.topcpu.net/ko/cpu-c/amd-ryzen-ai-max-395-vs-amd-ryzen-ai-9-hx-370
How Fast Will a Ryzen AI MAX+ 395 (Strix Halo) System Be ... https://www.hardware-corner.net/how-fast-ai-max-395-llm-20250317/
I'm sorry WHAT? AMD Ryzen AI Max+ 395 2.2x faster than 4090 https://www.reddit.com/r/LocalLLaMA/comments/1hv7c54/im_sorry_what_amd_ryzen_ai_max_395_22x_faster/?tl=pt-pt
Ryzen Max+ 395 vs. RTX 4060: 25-Game Battle Brings Unexpected ... https://hostbor.com/ryzen-max-395-vs-rtx-4060/
Accelerating Llama.cpp Performance in Consumer LLM... https://community.amd.com/t5/ai/accelerating-llama-cpp-performance-in-consumer-llm-applications/ba-p/720311
AMD Ryzen AI Max+ 395, NVIDIA DIGITS, 그리고 RTX 5090의 로컬 ... https://www.reddit.com/r/LocalLLaMA/comments/1icuff7/comparing_expected_performance_of_amd_ryzen_ai/?tl=ko
Accelerating Llama.cpp Performance in Consumer LLM Applications ... https://www.amd.com/ko/blogs/2024/accelerating-llama-cpp-performance-in-consumer-llm.html
AMD Strix Halo (Ryzen AI Max+ 395) GPU LLM Performance - Reddit https://www.reddit.com/r/LocalLLaMA/comments/1kmi3ra/amd_strix_halo_ryzen_ai_max_395_gpu_llm/
AMD Ryzen AI 9 HX 370 vs AMD Ryzen AI Max+ 395 - TopCPU https://www.topcpu.net/ko/cpu-c/amd-ryzen-ai-9-hx-370-vs-amd-ryzen-ai-max-395
HP G1a Ryzen Max+ Pro 395 70b model test - YouTube https://www.youtube.com/watch?v=ZrcrViqBGyg
Ryzen AI Max+ Pro 395 Unified Memory? Testing LLM ... https://www.youtube.com/watch?v=_cSsNsq6Mto
AMD Ryzen AI Max+ Pro 395 vs Ryzen AI 9 HX 370 - YouTube https://www.youtube.com/watch?v=cEtJX2Qeie8
AMD Ryzen AI+395 max 노트북 없음 : r/GamingLaptops - Reddit https://www.reddit.com/r/GamingLaptops/comments/1jiej4c/no_amd_ryzen_ai395_max_laptops/?tl=ko
Ryzen AI 9 370 HX vs Ryzen AI Max+ 395 iGPU Comparison https://www.youtube.com/watch?v=B0Q6ABnqVGo

---

출처
AMD Ryzen™ AI MAX+ 395 Processor https://www.amd.com/en/blogs/2025/amd-ryzen-ai-max-395-processor-breakthrough-ai-.html
Bye Nvidia: AMD Just Launched The Best X86 AI APU - Dataconomy https://dataconomy.com/2025/03/18/bye-nvidia-amd-just-launched-the-best-x86-ai-apu/
AMD Ryzen™ AI MAX+ 395 Processor: Breakthrough AI https://community.amd.com/t5/ai/amd-ryzen-ai-max-395-processor-breakthrough-ai-performance-in/ba-p/752960
How Fast Will a Ryzen AI MAX+ 395 (Strix Halo) System Be ... https://www.hardware-corner.net/how-fast-ai-max-395-llm-20250317/
Ryzen AI Max+ Pro 395 Unified Memory? Testing LLM Ollama + LM ... https://www.youtube.com/watch?v=_cSsNsq6Mto
Experience Unparalleled Performance with the AMD R... https://community.amd.com/t5/gaming/experience-unparalleled-performance-with-the-amd-ryzen-ai-max/ba-p/760036
AMD Ryzen AI Max+395: A Leap Forward in Generative AI ... https://www.amd.com/en/developer/resources/technical-articles/2025/amd-ryzen-ai-max-395--a-leap-forward-in-generative-ai-performanc.html
Is AMD Ryzen AI Max+ 395 really the only consumer option ... - Reddit https://www.reddit.com/r/LocalLLaMA/comments/1l9yk8v/is_amd_ryzen_ai_max_395_really_the_only_consumer/
AMD Ryzen AI Max+ 395 | Local LLM Benchmark on HP ZBook Ultra ... https://www.youtube.com/watch?v=-HJ-VipsuSk
Linux vs Windows on Ryzen AI Max+ 395 – Which Is Faster for LLMs? https://www.youtube.com/watch?v=S264zdYB-rw
AMD Strix Halo (Ryzen AI Max+ 395) GPU Performance - llm-tracker https://llm-tracker.info/AMD-Strix-Halo-(Ryzen-AI-Max+-395)-GPU-Performance
The AMD Ryzen AI Max+ 395 dominates as the “most powerful” APU ... https://www.roosho.com/the-amd-ryzen-ai-max-395-dominates-as-the-most-powerful-apu-on-the-market-but-its-competition-is-questionable/
LLM benchmarks for AI MAX+ 395 (HP laptop) : r/LocalLLaMA - Reddit https://www.reddit.com/r/LocalLLaMA/comments/1kyfcky/llm_benchmarks_for_ai_max_395_hp_laptop/
AMD Ryzen AI Max+ 395 named most powerful x86 APU for AI https://techbriefly.com/2025/03/18/amd-ryzen-ai-max-395-named-most-powerful-x86-apu-for-ai/
HP G1a Ryzen Max+ Pro 395 70b model test https://www.youtube.com/watch?v=ZrcrViqBGyg
We compared AMD's Ryzen AI Max+ 395 to Apple's M4 Pro and the ... https://tech.yahoo.com/computing/articles/compared-amds-ryzen-ai-max-171500948.html
AMD Ryzen AI Max+ 395 Processor - Benchmarks and Specs https://www.notebookcheck.net/AMD-Ryzen-AI-Max-395-Processor-Benchmarks-and-Specs.942323.0.html
The AMD Ryzen AI Max+ 395 dominates as the "most powerful" APU ... https://www.techradar.com/computing/cpu/the-amd-ryzen-ai-max-395-dominates-as-the-most-powerful-apu-on-the-market-but-its-competition-is-questionable
뭐라고요? AMD Ryzen AI Max+ 395가 4090보다 2.2배 ... https://www.reddit.com/r/LocalLLaMA/comments/1hv7c54/im_sorry_what_amd_ryzen_ai_max_395_22x_faster/?tl=ko
Lunar Lake 대비 최대 12배 AI LLM 성능 제공하는 Ryzen AI MAX+ 395 https://quasarzone.com/bbs/qn_hardware/views/1815142

---

출처
Hardware requirements for LLM's in production - Bionic GPT https://bionic-gpt.com/blog/llm-hardware/
2× RTX 5090 Ollama Benchmark: The Best Value GPU for 70B LLM ... https://www.databasemart.com/blog/ollama-gpu-benchmark-rtx5090-2
LLM Inference Sizing and Performance Guidance - VMware Blogs https://blogs.vmware.com/cloud-foundation/2024/09/25/llm-inference-sizing-and-performance-guidance/
Hardware requirements to run Llama 3 70b on a home server - Reddit https://www.reddit.com/r/LocalLLaMA/comments/1eiwnqe/hardware_requirements_to_run_llama_3_70b_on_a/
Guide to Hardware Requirements for Training and Fine-Tuning ... https://pub.towardsai.net/the-ultimate-guide-to-hardware-requirements-for-training-and-fine-tuning-large-language-models-7b5fe3884f64
Benchmarking NVIDIA GPU Throughput for LLMs and ... https://infohub.delltechnologies.com/de-de/p/benchmarking-nvidia-gpu-throughput-for-llms-and-understanding-gpu-configuration-choices-in-the-ai-space/
Best GPU for LLM Inference and Training – March 2024 [Updated] https://bizon-tech.com/blog/best-gpu-llm-training-inference
Ask HN: Cheapest hardware to run Llama 2 70B - Hacker News https://news.ycombinator.com/item?id=37067933
Hardware specs for GGUF 7B/13B/30B parameter models #3847 https://github.com/ggerganov/llama.cpp/discussions/3847
Unbelievable! Run 70B LLM Inference on a Single 4GB GPU with ... https://huggingface.co/blog/lyogavin/airllm
TPI-LLM: Serving 70B-scale LLMs Efficiently on Low-resource Edge ... https://arxiv.org/html/2410.00531v1
[Usage]: Extremely slow inference with Llama 3.1 70b Instruct · Issue ... https://github.com/vllm-project/vllm/issues/7567
Large Language Model Inference Acceleration - arXiv https://arxiv.org/html/2410.04466v3
Boost Llama 3.3 70B Inference Throughput 3x with NVIDIA ... https://developer.nvidia.com/blog/boost-llama-3-3-70b-inference-throughput-3x-with-nvidia-tensorrt-llm-speculative-decoding/
TheBloke/Llama-2-70B-Chat-GPTQ · What GPU is needed for this ... https://huggingface.co/TheBloke/Llama-2-70B-Chat-GPTQ/discussions/2
Benchmarking NVIDIA GPU Throughput for LLMs and ... https://infohub.delltechnologies.com/en-us/p/benchmarking-nvidia-gpu-throughput-for-llms-and-understanding-gpu-configuration-choices-in-the-ai-space/
Best ultra low budget GPU for 70B and best LLM for my purpose https://www.reddit.com/r/LocalLLM/comments/1kpqka0/best_ultra_low_budget_gpu_for_70b_and_best_llm/
5 Key Benchmarks That Prove Llama 3.3 70B Runs Efficiently on ... https://newsroom.arm.com/blog/arm-neoverse-llama-3-3-70b-model
Building a machine for 70b+ : r/LocalLLaMA - Reddit https://www.reddit.com/r/LocalLLaMA/comments/16qs8zl/building_a_machine_for_70b/
Minimum hardware Requirements to run the models locally? #480 https://github.com/facebookresearch/llama/issues/480

---

출처
Anyone actually running 30b/65b at reasonably high speed ... - Reddit https://www.reddit.com/r/LocalLLaMA/comments/13710u8/anyone_actually_running_30b65b_at_reasonably_high/
Qwen3 LLM Hardware Requirements – CPU, GPU and Memory https://www.hardware-corner.net/guides/qwen3-hardware-requirements/
What's the best hardware to run ~30b models? : r/LocalLLaMA - Reddit https://www.reddit.com/r/LocalLLaMA/comments/1jlfpiw/whats_the_best_hardware_to_run_30b_models/
MPT-30B: Raising the bar for open-source foundation models https://www.databricks.com/blog/mpt-30b
AMD says future PCs will run 30B parameter models at 100T/s https://www.theregister.com/2024/07/15/amd_ai_pc_goal/
Laptop good enough for 30B? : r/LocalLLaMA - Reddit https://www.reddit.com/r/LocalLLaMA/comments/1381usi/laptop_good_enough_for_30b/
Hardware specs for GGUF 7B/13B/30B parameter models #3847 https://github.com/ggerganov/llama.cpp/discussions/3847
30B model now needs only 5.8GB of RAM? How? #638 - GitHub https://github.com/ggml-org/llama.cpp/discussions/638
How much vram+ram 30B needs? I have 3060 12gb + 32gb ram. https://huggingface.co/TheBloke/WizardLM-30B-Uncensored-GPTQ/discussions/1
What are the Best GPUs for Running AI models? | AI FAQ - Jarvis Labs https://jarvislabs.ai/ai-faqs/what-are-the-best-gpus-for-running-ai-models
Qwen3-30B-A3B runs at 12-15 tokens-per-second on CPU - Reddit https://www.reddit.com/r/LocalLLaMA/comments/1kag4er/qwen330ba3b_runs_at_1215_tokenspersecond_on_cpu/
Ask HN: What is the best LLM for consumer grade hardware? https://news.ycombinator.com/item?id=44134896
Can You Run This LLM? VRAM Calculator (Nvidia GPU and Apple ... https://apxml.com/tools/vram-calculator
XiongjieDai/GPU-Benchmarks-on-LLM-Inference - GitHub https://github.com/XiongjieDai/GPU-Benchmarks-on-LLM-Inference
I can run the Wizard 30B ggml model in CPU mode using a Ryzen ... https://news.ycombinator.com/item?id=35938193
Hardware requirements for running the large language model ... https://www.rnfinity.com/news-show/Hardware-requirements-for-running-large-language-model-Deepseek-R1-on-a-local-machine
Optimizing LLMs for Speed and Memory - Hugging Face https://huggingface.co/docs/transformers/v4.37.2/llm_tutorial_optimization
Best Local LLMs for Every NVIDIA RTX 40 Series GPU https://apxml.com/posts/best-local-llm-rtx-40-gpu
Best Local LLMs for Every NVIDIA RTX 50 Series GPU https://apxml.com/posts/best-local-llms-for-every-nvidia-rtx-50-series-gpu
Fast Large Language Model Serving with a Consumer-grade GPU https://arxiv.org/html/2312.12456v2

---

출처
2025년 로컬 LLM 구축 비용 완벽 정리: 오픈소스, LM Studio 활용 팁 https://wolf-coding-777.tistory.com/452
Llama3.1 70B를 실행시키려면 1000만원 있음 되는군요 - 클리앙 https://www.clien.net/service/board/park/18779494
데스크탑 컴퓨터 RTX 4090 가격 및 성능 설명 - 테크웨이브 https://techwave.tistory.com/entry/Desktop-Computer-RTX-4090-Price-and-Performance
저예산으로 개인용 AI 컴퓨터 구축하기 - GeekNews https://news.hada.io/topic?id=19181
RTX 4090 의 전성비 (+ 약간의 사용기) - 클리앙 https://www.clien.net/service/board/park/17680758
4090 출시후 1달 사용기 > 그래픽카드 - 쿨엔조이 https://coolenjoy.net/bbs/28/4698992
AI서버를 구축하는데 GPU가격 정도는 아셔야죠. https://sanse-vieria.tistory.com/31
Antropic Claude 모델별 API 비용, 가격 총정리 (25년 4월 최신) https://pagetosuccess.com/antropic-claude-%EB%AA%A8%EB%8D%B8%EB%B3%84-api-%EB%B9%84%EC%9A%A9-%EA%B0%80%EA%B2%A9-%EC%B4%9D%EC%A0%95%EB%A6%AC-25%EB%85%84-4%EC%9B%94-%EC%B5%9C%EC%8B%A0/
2025년 Claude API 비용: 가격 정보 - Apidog https://apidog.com/kr/blog/claude-api-cost-kr/
OpenAI API 모델별 기본 정보 및 비용 총 정리 (GPT-4, GPT-3.5, 파인 ... https://deepdaive.com/openai-api/
[2025년 업데이트] GPT API 요금 완전 정복! GPT-4o부터 o1까지 비교 ... https://nomadlab.kr/128
클라우드 기반 AI와 온디바이스 AI의 비용 비교: 어떤 것이 더 적합한가? https://zetic.ai/ko/blog/%ED%81%B4%EB%9D%BC%EC%9A%B0%EB%93%9C-%EA%B8%B0%EB%B0%98-ai%EC%99%80-%EC%98%A8%EB%94%94%EB%B0%94%EC%9D%B4%EC%8A%A4-ai%EC%9D%98-%EB%B9%84%EC%9A%A9-%EB%B9%84%EA%B5%90-%EC%96%B4%EB%96%A4-%EA%B2%83%EC%9D%B4-%EB%8D%94-%EC%A0%81%ED%95%A9%ED%95%9C%EA%B0%80
전산 담당자 고정인건비 VS 전문서버관리대행 (243657) https://www.ehostidc.co.kr/management/submanagement.php
AI 연구를 위한 최상급 GPU 서버 | POSEIDON 워크 스테이션 렉 - 바로AI https://www.baroai.com/poseidon
컴퓨터 수리 비용과 서비스 종류 - BAUHAUS - 티스토리 https://juding.tistory.com/entry/%EC%BB%B4%ED%93%A8%ED%84%B0-%EC%88%98%EB%A6%AC-%EB%B9%84%EC%9A%A9%EA%B3%BC-%EC%84%9C%EB%B9%84%EC%8A%A4-%EC%A2%85%EB%A5%98
클라우드는 정말로 비싼걸까? - 잡다한 기술공방 https://creboring.net/blog/price-about-cloud-and-onpremise/
자체 서버 운영 vs 클라우드 서비스: 초기 스타트업은 어느 쪽 ... - 재능넷 https://www.jaenung.net/tree/2877
엔비디아 H100 뭐길래…대당 6000만원까지 치솟았다 - 한국경제 https://www.hankyung.com/article/202304201031i
고사양 딥러닝용 4090 듀얼 그래픽카드 PC - 견적왕 https://kjwwang.com/shop/pc_estimate.html?action=view&es_sn=2315
A100, H100, RTX 4090 완전 비교! AI용 GPU, 어떤 게 다를까? - velog https://velog.io/@hbcho/A100-H100-RTX-4090-%EC%99%84%EC%A0%84-%EB%B9%84%EA%B5%90-AI%EC%9A%A9-GPU-%EC%96%B4%EB%96%A4-%EA%B2%8C-%EB%8B%A4%EB%A5%BC%EA%B9%8C
오픈AI와 자체 구축 LLM을 비교하다 https://brunch.co.kr/@delight412/609
NVIDIA RTX 4090, RTX 4080 가격 비교 - TOMMYZIP | 토미집 https://blog.tommyzip.co.kr/issue/nvidia-rtx-4090-rtx4080-release-price/
엔비디아 그래픽처리장치 GPU의 이해 - H100 A100 L40 가격, 특성 ... https://webzero.tistory.com/3675
Joinc와 함께하는 LLM - 개인 PC에 LLM 환경 구축하기 https://www.joinc.co.kr/doc/3888
rtx 4090 : 다나와 통합검색 https://search.danawa.com/dsearch.php?query=rtx+4090
NVIDIA H100 HBM2e 80GB PCIe - 마이피씨샵 https://www.mypcshop.co.kr/shop/item.php?it_id=5706164766
쉽고 비용 효과적인 대형 언어 모델(LLM) 서버실이나 집에서 미세 조정 https://phisonblog.com/ko/easy-cost-effective-large-language-models-llm-fine-tuning-in-your-server-closet-or-at-home/
rtx4090 검색결과 - G마켓 https://m.gmarket.co.kr/n/search
NVIDIA H100 HBM2e 80GB PCIe : 다나와 가격비교 https://prod.danawa.com/info/?pcode=49261274
주요 LLM API 비용 정리 (ChatGPT, Gemini, Claude, HyperClova + ... https://dytis.tistory.com/68
5995WX / RTX 4090 2개 초특급 커스텀수냉 GPU서버 - 영재컴퓨터 https://www.youngjaecomputer.com/shop/item.php?it_id=2678357678
Nvidia Tesla A100 80G 빅데이터 인공지능 딥러닝GPU https://sugarcube.co.kr/v2/product_view.php?no=118&mode=parts
AI 도 오픈소스가 답이다. 공개 LLM 과 생태계 - MSAP https://www.msap.ai/blog/open-source-llm/
rtx 4090 : 모바일 쇼핑은 옥션 https://m.auction.co.kr/n/search?s=7&f=c%3A22310000
Azure OpenAI 서비스 - 가격 책정 https://azure.microsoft.com/ko-kr/pricing/details/cognitive-services/openai-service/
Chat GPT API vs Azure ChatGPT API - 4OurFuture 님의 블로그 https://4ourfuture.tistory.com/41
Azure AI 서비스 가격 https://azure.microsoft.com/ko-kr/pricing/details/cognitive-services/
GPT-4o vs GPT-4 vs GPT-3.5 API 가격 비교 | 프롬프트해커 대니 https://www.magicaiprompts.com/docs/gpt-chatbot/gpt-api-pricing-comparision/
OpenAI의 GPT-4o-2024-08-06 모델은 이제 Azure OpenAI ... - 쿨엔조이 https://coolenjoy.net/bbs/38/5973174
가격 책정 - Anthropic API https://docs.anthropic.com/ko/docs/about-claude/pricing
OpenAI API 가격 | 자동 비용 계산 https://apidog.com/kr/blog/openai-api-pricing-2/
Azure OpenAI에서 gpt-4o 모델 배포 및 API 사용하기(chat,vision) https://zigispace.net/1288
클로드4 가격: 실제 비용은 얼마일까? - Apidog https://apidog.com/kr/blog/claude-4-pricing-kr/
API Pricing - OpenAI https://openai.com/api/pricing/
OpenAI vs Azure OpenAI: 두 AI 플랫폼의 차이점 완벽 가이드 - whistory https://whiseung.tistory.com/entry/OpenAI-vs-Azure-OpenAI-%EB%91%90-AI-%ED%94%8C%EB%9E%AB%ED%8F%BC%EC%9D%98-%EC%B0%A8%EC%9D%B4%EC%A0%90-%EC%99%84%EB%B2%BD-%EA%B0%80%EC%9D%B4%EB%93%9C-%F0%9F%A7%A0%F0%9F%92%BB
Claude API | Anthropic 지원 센터 https://support.anthropic.com/ko/collections/5370014-claude-api
[ChatGPT] Open AI API 가격 정리 (1,000명 에게 서비스한다고 가정시 ... https://4ourfuture.tistory.com/55
Azure OpenAI 워크샵 - Korean - Microsoft LevelUp https://skillupwithlevelup.com/course-detail/1356909
LLM API 비용 총정리 2025년 3월 정보 (ChatGPT, Claude, Gemini ... https://pagetosuccess.com/llm-api-%EB%B9%84%EC%9A%A9-%EC%B4%9D%EC%A0%95%EB%A6%AC-2025%EB%85%84-3%EC%9B%94-%EC%A0%95%EB%B3%B4-chatgpt-claude-gemini-deepseek-%EB%93%B1/
LLaMA 3.3 70B VRAM 요구 사항이 홈 서버에 어려운 문제인 이유는 ... https://blogs.novita.ai/ko/why-llama-3-3-70b-vram-requirements-are-a-challenge-for-home-servers-2/
ChatGPT 유지에 드는 비용 - TalkAI https://talkai.info/ko/blog/inside_chatgpt_economy/
미니 잘 몰랐는데 LLM에서 맥이 완전 가성비군요...? - 미코 https://meeco.kr/mini/40047317
대규모 GPU 클러스터를 위한 하드웨어 구성 및 네트워크 설계 https://www.fibermall.com/ko/blog/large-scale-gpu-clusters.htm
그래픽카드 - 4090 쓰시는 분들 전기세 얼마나 나오시나요? - 퀘이사존 https://quasarzone.com/bbs/qf_vga/views/5961716
AI 모델 구축 견적은 어떤 이유로 차이가 나는 걸까? 생성형 AI 비용 ... https://aiheroes.ai/community/215
집 서버에서 Llama 3 70b를 돌리기 위한 하드웨어 요구 사항 - Reddit https://www.reddit.com/r/LocalLLaMA/comments/1eiwnqe/hardware_requirements_to_run_llama_3_70b_on_a/?tl=ko
GIGABYTE 지포스 RTX 4090 Gaming OC 24GB > 리뷰 - 퀘이사존 https://quasarzone.com/bbs/qc_qsz/views/1399252
요금 안내 - ai-lms https://www.ai-lms.co.kr/rate-information
70B짜리 로컬 LLM 돌릴 수 있는 PC는 누가 만들어? - Reddit https://www.reddit.com/r/LocalLLaMA/comments/1io811j/who_builds_pcs_that_can_handle_70b_local_llms/?tl=ko
[이슈+] 전기먹는 요즘 PC, 측정해보니 800W가 기본 https://www.weeklypost.kr/news/articleView.html?idxno=4968
유지보수견적 - (주)리안시스템 - 서버 워크스테이션 전문 쇼핑몰 https://www.ryansys.co.kr/board/list.php?bdId=maintenanceqa&sno=85
RTX 4090 은 850W 소모한다? 대체 전기세는 어쩌라고? - YouTube https://www.youtube.com/watch?v=EkNHMHPaDL0
그래픽카드4090 : 모바일 쇼핑은 옥션 https://www.auction.co.kr/n/search
nvidia a100 : 다나와 통합검색 https://search.danawa.com/dsearch.php?query=nvidia+a100
AI 서버 구축, 직접 해볼까? 비용, 성능, 최적화 가이드 - 흔한0 https://content0340.tistory.com/entry/AI-%EC%84%9C%EB%B2%84-%EA%B5%AC%EC%B6%95-%EC%A7%81%EC%A0%91-%ED%95%B4%EB%B3%BC%EA%B9%8C-%EB%B9%84%EC%9A%A9-%EC%84%B1%EB%8A%A5-%EC%B5%9C%EC%A0%81%ED%99%94-%EA%B0%80%EC%9D%B4%EB%93%9C
AMD, 고급 AI 경험 강화하는 차세대 "젠 5" 기반 라이젠 프로세서 공개 https://m.inven.co.kr/webzine/wznews.php?site=it&p=11&idx=296224
nvidia a100 80gb : 다나와 통합검색 https://search.danawa.com/dsearch.php?query=nvidia+a100+80gb
AI서버 한대당 6억…최적 조합으로 구축비용 줄인다 [스케일업리포트] https://www.sedaily.com/NewsView/2GRGEDWUUQ
이엠텍 지포스 RTX 4090 GAMEROCK OC D6X 24GB - 다나와 https://prod.danawa.com/info/?pcode=18108812
[중고상품] 엔비디아 NVIDIA DGX A100 320GB GPU 서버 - 아인몰 https://einmall.kr/product/%EC%A4%91%EA%B3%A0%EC%83%81%ED%92%88-%EC%97%94%EB%B9%84%EB%94%94%EC%95%84-nvidia-dgx-a100-320gb-gpu-%EC%84%9C%EB%B2%84/301/
그래픽카드4090 : 모바일 쇼핑은 옥션 - 옥션 https://m.auction.co.kr/n/search?s=3
NVIDIA A100 HBM2e 80GB PCIe : 다나와 가격비교 https://prod.danawa.com/info/?pcode=21458333
96GB 개조된 RTX 4090을 4.5k 달러에 팜 : r/LocalLLaMA - Reddit https://www.reddit.com/r/LocalLLaMA/comments/1iwhfl5/96gb_modded_rtx_4090_for_45k/?tl=ko
A100 40GB AI 딥러닝[A/S 3년 무상보증] [병행수입] - 엘레파츠 https://m.eleparts.co.kr/goods/view?no=16579822
AI딥러닝 워크스테이션 (1600만원 예산) - 견적왕 https://kjwwang.com/shop/pc_consult.html?action=view&co_sn=13442&page=1
rtx 4090 : 모바일 쇼핑은 옥션 https://m.auction.co.kr/n/search?s=5&k=0&p=8
rtx 4090 : 모바일 쇼핑은 옥션 https://m.auction.co.kr/n/search?k=20&p=6
A100 80GB AI 딥러닝[A/S 3년 무상보증] [병행수입] - 엘레파츠 https://m.eleparts.co.kr/goods/view?no=14206728
Token Cost - 400+개 LLM의 토큰당 비용 계산하기 - GeekNews https://news.hada.io/topic?id=15421
신도림 24평 아파트 리모델링 비용 (베란다 확장 및 전체 올수리) 현장 ... https://www.ajd.co.kr/contents/basic-tip/detail/%EC%8B%A0%EB%8F%84%EB%A6%BC_24%ED%8F%89_%EC%95%84%ED%8C%8C%ED%8A%B8_%EB%A6%AC%EB%AA%A8%EB%8D%B8%EB%A7%81_%EB%B9%84%EC%9A%A9_%EB%B2%A0%EB%9E%80%EB%8B%A4_%ED%99%95%EC%9E%A5_%EB%B0%8F_%EC%A0%84%EC%B2%B4_%EC%98%AC%EC%88%98%EB%A6%AC_%ED%98%84%EC%9E%A5_%EC%82%AC%EB%A1%80-50996
노트북 업그레이드 vs 새로 구매, 당신의 선택은? 기준별 완벽 가이드 https://germmen.tistory.com/entry/%EB%85%B8%ED%8A%B8%EB%B6%81-%EC%97%85%EA%B7%B8%EB%A0%88%EC%9D%B4%EB%93%9C-v
LLM 애플리케이션 개발을 위한 Langchain #4 - 토큰 비용 관리 및 ... https://bcho.tistory.com/1410
가장 저렴하게 개인 서버 운영하기: 홈 서버 운영기 - velog https://velog.io/@hc-kang/%EA%B0%80%EC%9E%A5-%EC%A0%80%EB%A0%B4%ED%95%98%EA%B2%8C-%EA%B0%9C%EC%9D%B8-%EC%84%9C%EB%B2%84-%EC%9A%B4%EC%98%81%ED%95%98%EA%B8%B0-%ED%99%88-%EC%84%9C%EB%B2%84-%EC%9A%B4%EC%98%81%EA%B8%B0
교체 비용 및 관련 비용 분석: 수리 시기 vs: 교체 - FasterCapital https://fastercapital.com/ko/content/%EA%B5%90%EC%B2%B4-%EB%B9%84%EC%9A%A9-%EB%B0%8F-%EA%B4%80%EB%A0%A8-%EB%B9%84%EC%9A%A9-%EB%B6%84%EC%84%9D--%EC%88%98%EB%A6%AC-%EC%8B%9C%EA%B8%B0-vs--%EA%B5%90%EC%B2%B4.html
서버리스와 서버의 비용 비교 https://brunch.co.kr/@cebi750/22
수리 또는 교체: 수명 주기 비용 분석을 사용하여 수리 비용 평가 https://fastercapital.com/ko/content/%EC%88%98%EB%A6%AC-%EB%98%90%EB%8A%94-%EA%B5%90%EC%B2%B4--%EC%88%98%EB%AA%85-%EC%A3%BC%EA%B8%B0-%EB%B9%84%EC%9A%A9-%EB%B6%84%EC%84%9D%EC%9D%84-%EC%82%AC%EC%9A%A9%ED%95%98%EC%97%AC-%EC%88%98%EB%A6%AC-%EB%B9%84%EC%9A%A9-%ED%8F%89%EA%B0%80.html
클라우드 서버 대 물리적 서버 – 포괄적인 비교 - UltaHost https://ultahost.com/blog/ko/%ED%81%B4%EB%9D%BC%EC%9A%B0%EB%93%9C-%EC%84%9C%EB%B2%84-vs-%EB%AC%BC%EB%A6%AC%EC%A0%81-%EC%84%9C%EB%B2%84/
개인용 nas 추천, 가정용 서버 구축 시 가성비 좋은 nas 비교 분석 https://119com.tistory.com/172
LLM ChatGPT API 연동을 위한 금액 계산 및 개념 공부 - 개발일기 https://seounggyun.tistory.com/357
API Gateway 비용 최적화: 효율적인 사용법과 절약 팁 10가지 https://www.smileshark.kr/post/amazon-api-gateway-10-cost-optimization-tips
정수기 렌탈 vs 구매 세부적인 비교 빠른 확인! https://happy-sunshine.tistory.com/entry/%EC%A0%95%EC%88%98%EA%B8%B0-%EB%A0%8C%ED%83%88-vs-%EA%B5%AC%EB%A7%A4-%EC%84%B8%EB%B6%80%EC%A0%81%EC%9D%B8-%EB%B9%84%EA%B5%90-%EB%B9%A0%EB%A5%B8-%ED%99%95%EC%9D%B8
LLM API Pricing Calculator - TILNOTE - 틸노트 https://tilnote.io/pages/668fa84a6dfbfecac7a27bd8