---
title: "在 ARX 平台部署自行微調的模型"
description: "確認微調模型的格式與必要檔案、上傳至 Hugging Face 私人儲存庫，再於 AI Model Center 下載並部署"
canonical_url: "https://docs.ardge.com/zh-tw/knowledge/arx-os/deploy-fine-tuned-model"
---
# 在 ARX 平台部署自行微調的模型

> 確認微調模型的格式與必要檔案、上傳至 Hugging Face 私人儲存庫，再於 AI Model Center 下載並部署

## 概觀

ARX 系統運行於具備 GPU 資源的伺服器。除了 AI Model Center 已收錄的開源模型，你也可以部署自行微調的模型。

將微調後的模型上傳至你的 Hugging Face 私人儲存庫，並於 ARX 儲存 Hugging Face Access Token，即可在 AI Model Center 搜尋並部署該模型。

本文說明 ARX 支援的模型格式與必要檔案，以及完整的上傳與部署流程。

## 你將學會什麼

- 確認微調模型的格式與檔案符合 ARX 的要求
- 將模型上傳至 Hugging Face 私人儲存庫
- 於 AI Model Center 下載並部署該模型

**預計時間：約 20 分鐘**（不含模型上傳與下載時間）

## 適用版本

- ARX OS 1.0 及以上版本

## 開始之前

- 已具備 Hugging Face 帳號，並已將 Access Token 儲存至 ARX 系統。設定方式請參考[註冊 Hugging Face 帳號並取得 Access Token](https://docs.ardge.com/zh-tw/knowledge/arx-os/huggingface-token)
- 你的帳號具備 AI Model Center 的存取權限

## 支援的模型格式與必要檔案

ARX 平台支援 **safetensors** 與 **GGUF** 兩種權重格式。上傳前請確認儲存庫中包含下列檔案：

<table>
<thead>
  <tr>
    <th>
      檔案
    </th>
    
    <th>
      用途
    </th>
    
    <th>
      何時必需
    </th>
  </tr>
</thead>

<tbody>
  <tr>
    <td>
      <code>
        config.json
      </code>
    </td>
    
    <td>
      模型架構設定
    </td>
    
    <td>
      一律必需
    </td>
  </tr>
  
  <tr>
    <td>
      <code>
        tokenizer.json
      </code>
    </td>
    
    <td>
      斷詞器本體
    </td>
    
    <td>
      一律必需
    </td>
  </tr>
  
  <tr>
    <td>
      <code>
        tokenizer_config.json
      </code>
    </td>
    
    <td>
      斷詞器設定
    </td>
    
    <td>
      一律必需
    </td>
  </tr>
  
  <tr>
    <td>
      權重檔（<code>
        *.safetensors
      </code>
      
       或 <code>
        *.gguf
      </code>
      
      ）
    </td>
    
    <td>
      模型權重
    </td>
    
    <td>
      一律必需
    </td>
  </tr>
  
  <tr>
    <td>
      <code>
        model.safetensors.index.json
      </code>
    </td>
    
    <td>
      權重分片索引
    </td>
    
    <td>
      權重分為多個檔案時必需
    </td>
  </tr>
  
  <tr>
    <td>
      <code>
        preprocessor_config.json
      </code>
    </td>
    
    <td>
      輸入前處理設定
    </td>
    
    <td>
      視覺模型必需
    </td>
  </tr>
</tbody>
</table>

<tip>

**微調自熱門開源模型時，多數檔案可沿用原版本：**

上述檔案通常可自原始模型的儲存庫取得，僅需依實際的微調方式更新 `config.json`。

</tip>

ARX 平台支援的部署引擎為 vLLM、NVIDIA vLLM、Llama.cpp 與 Faster Whisper。部署引擎由你指定，於步驟 3 下載模型時，畫面會引導你完成設定。

## 步驟 1：確認模型檔案完整

1. 檢視微調後的模型目錄，對照上方的必要檔案清單
2. 補齊缺少的檔案
3. 依實際的微調方式更新 `config.json`

## 步驟 2：將模型上傳至 Hugging Face 私人儲存庫

1. 登入 Hugging Face，前往 [huggingface.co/new](https://huggingface.co/new) 建立模型儲存庫
2. 填寫儲存庫名稱，並將可見性設為 **Private**
3. 建立後開啟該儲存庫的 **Files and versions** 分頁
4. 點擊 **Add file › Upload files**，選取模型檔案
5. 填寫 commit 訊息後，點擊 **Commit changes**

## 步驟 3：於 AI Model Center 下載並部署

1. 開啟 AI Model Center，前往 **Model Hub** 頁面
2. 切換至 **Hugging Face** 分頁
3. 搜尋你上傳的模型名稱，畫面出現該模型卡片
4. 點擊卡片上的 **Download & Deploy** 按鈕
5. 依畫面引導指定部署引擎與相關設定

模型自 Hugging Face 下載，所需時間視模型大小與網路速度而定，過程中可於 **Downloaded Models** 頁面查看即時進度。下載完成後系統接續進行部署，請切換至 **Model Instances** 頁面查看部署進度。該模型的狀態顯示為 **Running** 時，表示部署完成。

![Model Hub 的 Hugging Face 分頁，每張模型卡片都有 Download & Deploy](https://docs.ardge.com/screenshots/knowledge/zh-tw/arx-os/deploy-fine-tuned-model/step-3-1.webp)

<warning>

**私人儲存庫的模型須先於 ARX 儲存 Access Token：**

未儲存 Token 時，**Hugging Face** 分頁搜尋不到你的私人儲存庫的模型。

</warning>

![AI Model Center Settings 中的 Hugging Face Access Token 設定](https://docs.ardge.com/screenshots/knowledge/zh-tw/arx-os/deploy-fine-tuned-model/step-3-2.webp)

<tip>

**部署前請確認 GPU 資源足夠：**

目標 GPU 卡的剩餘量若不足以容納該模型的預估使用量，系統將直接阻擋部署。詳見[什麼是 GPU VRAM Allocated？](https://docs.ardge.com/zh-tw/knowledge/arx-os/gpu-vram-allocated)

</tip>

## 相關文章

- [註冊 Hugging Face 帳號並取得 Access Token](https://docs.ardge.com/zh-tw/knowledge/arx-os/huggingface-token)
- [什麼是 GPU VRAM Allocated？](https://docs.ardge.com/zh-tw/knowledge/arx-os/gpu-vram-allocated)
- [透過 API 呼叫 ARX 平台上的地端模型](https://docs.ardge.com/zh-tw/knowledge/arx-os/api-model-calls)


## Sitemap

See the full [sitemap](https://docs.ardge.com/sitemap.md) for all pages.