#!/bin/bash # llama.cpp 최신 버전 설치 + CUDA 가속 빌드 + 테스트 실행 (Jetson Orin 전용) set -e echo "📦 1. 필수 패키지 설치 중..." sudo apt update sudo apt install -y git build-essential cmake libopenblas-dev wget unzip echo "📁 2. llama.cpp 저장소 클론 중..." git clone https://github.com/ggerganov/llama.cpp.gitcd llama.cpp echo "🧹 3. 이전 build 폴더 정리 중..." rm -rf build echo "🏗️ 4. CMake 기반 CUDA 빌드 시작 (GGML_CUDA=ON)..." mkdi..

다음은 Gemma‑3‑R1984‑4B 양자화 모델의 GGUF 및 GPTQ 버전을 다운로드하고, Jetson Orin 같은 장치에서 사용하기 위한 안내입니다.📦 1. GGUF 버전 다운로드 (llama.cpp용)Hugging Face × mradermacherGemma-3-R1984-4B-GGUF: 다양한 양자화 옵션 포함 (Q4_K_S, Q4_K_M, Q8_0, 등) (huggingface.co)[모델 페이지]에 들어가서 .gguf 파일 중 원하는 양자화 수준(Q4, Q8 등)을 다운로드하면 됩니다.👉 예시:# 예: Q4_K_M 양자화 모델 다운로드 (약 2.6 GB)wget https://huggingface.co/mradermacher/Gemma-3-R1984-4B-GGUF/resolve/main..