地端大型語言模型運作平台
標案名稱114年第一次電腦軟體共同供應契約採購-套裝軟體
組 別8
單 位套
項 次406
採購數量級距1-12
產 地臺灣
評 價
無
陳述與他牌同性質產品之獨特性或功能差異性
大型語言模型在這兩年內取得各項突破性的進展，本公司將持續支援開源且支援中文的地端大型語言模型，
並且提供網頁介面訓練 LoRA Adapter 之能力，使機關內可以逐漸累積有的資料集，並且儲存封閉式地端部署之生成式 AI 模型。減少上傳雲端造成之資安疑慮。
產品功能規格
提供地端大型語言模型以及內嵌模型之呼叫功能。
支援 gemma-2-9b, MediaTek-Research/Breeze-7B-Instruct-v1_0, taide/TAIDE-LX-7B-Chat 等支援中文之大型語言模型。
具備有訓練與載入地端大型語言模型 LoRA Adapter (專屬任務模組)之能力。
功能規格/基本需求
作業系統: Windows 2022 Server. Ubuntu 22.04, Ubuntu 24.04
終端客戶效能最佳狀態硬體環境:
1. 24 cores (每個核心必須至少 2.6 GHz 或更快)
2. Memory: 64GB
3. NVIDIA 繪圖卡, 具備24GB 或以上之記憶體
