gemma3 R1984 양자화 테스트 딸깍 스크립트

#!/bin/bash

# llama.cpp 최신 버전 설치 + CUDA 가속 빌드 + 테스트 실행 (Jetson Orin 전용)

set -e

echo "📦 1. 필수 패키지 설치 중..."
sudo apt update
sudo apt install -y git build-essential cmake libopenblas-dev wget unzip

echo "📁 2. llama.cpp 저장소 클론 중..."
git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp

echo "🧹 3. 이전 build 폴더 정리 중..."
rm -rf build

echo "🏗️ 4. CMake 기반 CUDA 빌드 시작 (GGML_CUDA=ON)..."
mkdir -p build && cd build
cmake .. -DGGML_CUDA=ON
cmake --build . --config Release -j$(nproc)

echo "📦 5. 테스트 모델 다운로드 중 (Gemma-2B Q4 예시)..."
cd ..
mkdir -p models && cd models
wget https://huggingface.co/mradermacher/Gemma-2B-GGUF/resolve/main/gemma-2b-q4_k_m.gguf -O gemma-2b-q4_k_m.gguf
cd ../build/bin

echo "🚀 6. 실행 테스트 중..."
./llama -m ../../models/gemma-2b-q4_k_m.gguf -p "Jetson Orin에서 GGML_CUDA 빌드로 실행 중입니다. 잘 작동합니다."

echo "✅ 설치 및 실행 성공!"