181 views
 owned this note
AIM 2023 - 操作手冊 === # AI Marketplace ## 2023年11月版本 國家高速網路與計算中⼼ 「 112年度⺠⽣物聯網AI共享平台技術服務案」 ## 目錄 - 簡介 - 0. 登入 - 1. 模型開發者功能與介⾯ - 1.1 物件儲存管理 - 1.2 My Model - 1.2.1 連動bucket與MLflow - 1.2.2 開啟jupyter notebook - 1.2.3 訓練程式範例: 以mnist手寫辨識為例 - 1.2.4發佈模型 - 1.2.5 測試模型 - 被訂閱資訊 - 1.2.6 訂閱之模型 - 1.3 資料集管理理 - 1.3.1 管理個⼈資料集 - 1.3.2 管理資料集平台之資料集 - 1.3.3 選擇資料集⾄HFS儲存空間 - 2. 模型使⽤者功能與介⾯ - 2.1 模型列表 - 2.2 模型購買 - 2.3 模型啟用 - 3. 推薦資料集 - 4. 個⼈資料管理介⾯ - 4.1 個人資訊 - 4.2 錢包資訊 - 4.3 資源使用資訊 - 5. 系統管理理員管理介⾯ - 5.1 整體資源管理 - 5.2 整體錢包管理 - 5.3 專案成員管理 - 5.3.1 ⾦鑰管理 - 5.3.2 使⽤紀錄管理 - 5.4 使⽤者模型列表管理 ## 簡介 操作⼿冊 [http://203.145.221.69:4000/](http://203.145.221.69:4000/) #### 壹、 專案目的 民⽣物聯網資料服務平台長期以來已累積大量環境感測數據資料,此數據資料除於資料服務平台以API提供即時資料供應外,亦於國網中⼼心資料集平台提供歷史資料下載服務,並可應⽤用於AI模型訓練。為提供此⼤數據資料在AI⽅面的應用,並整合國網中⼼TWCC⾼效能AI計算能⼒,擬透過「 112年度⺠⽣物聯網AI共享平台技術服務」專案,提供產學研界⼀一個可整合AI模型、資料以及運算能力之服務,以加速AI模型之發展,並提昇民⽣生物聯聯網資料之效益。 本案採共同開發模式,由乒乓話網股份有公司(YPCloud Inc.)執行技術服務的整合、設計並開發AI共享平台的後台系統與使⽤者介面,執行期間為⺠國 112 年 6 ⽉ 20⽇至民國 112 年 10月 31⽇。 #### 貳、 專案工作內容 ⼀、 整合國網中心資料集平台API(由國網中心提供)、MLFlow模型開發管理理環境及國網中心TWCC 計算環境CLI及S3儲存環境資源服務(由國網中心提供),提供使⽤用者可以開發、建立與管理理AI模型、於TWCC部署AI模型訓練與計算環境並串接資料及與導入資料、串接S3處存環境以及訂閱並部署使⽤用AI模型的⼀站式AI 共享平台技術服務。 ⼆、 將技術服務平台與國網中⼼iService帳號系統整合,讓使⽤用者可透iService 帳號登入此平台。 三、 針對「系統管理者」、「模型開發者」及「模型使用者」三個使⽤者⾓⾊的使 ⽤情境需求提供單一平台技術服務功能。 ##### 1. 『系統管理者』服務包含: ##### • 管理理「模型使用者」:包含歷史開啟的服務、正在開啟的環境、執⾏行行不 ##### 同模型API的紀錄、S3的資源總量等。 ##### • 管理「模型開發者」:包含歷史開啟的服務、正在開啟的環境、S3的 ##### 資源總量等。 ##### • 管理理「資源使用資料」:包含即時與歷史的資源總量等。 ##### • 管理理「計畫成員」:整合TWCC服務,提供所有計畫成員管理以及成 ##### 員子錢包的金額變化管理。 ##### • 管理理計畫成員金鑰:整合TWCC服務,儲存計畫成員鑰匙庫並提供加 ##### 密機制。 ##### 2. 『模型開發者』服務包含: ##### • 資料集列表:提供管理個人之資料集以及資料集平台(含⺠⽣生物聯網資 ##### 料)之資料集。 ##### • 選擇資料集:在資料集⾴面提供勾選功能,將選定的資料集導入 TWCC容器(container)或HFS儲存空間。 - MLFlow模組:導入並整合MLFlow介面,每個使用者有特定存放模型 的目錄,其他使用者無法使用。開發者可以透過此介面管理模型。 - 模型上架:選定MLFlow模型列表後,可將模型拋到國網中心的S上,並設計上架表單,由開發者填寫相關資訊後上傳。 - 模型測試:提供上架後的模型測試功能。 - 模型 API 界⾯:提供開發模型之 API 界面供使用者考和模擬測試。 - 模型使⽤資訊:提供模型被取用的相關資料。 3. 『模型使用者』服務包含: - 訂閱模型:提供模型訂閱之服務。 - 模型部署:可啟用訂閱後的模型,開啟MLflow CPU container,並提供MLFlow model serve API以佈署模型。 - 監控介⾯:提供檢索個人即時與歷史模型使⽤狀況之資料。 ## 0. 登入 ##### 功能操作: 1. https://ai-market.nchc.org.tw ⾸頁點擊右上⾓「登入」 ![](https://m3.ypcloud.com/cms/img62_a10f3ef326.jpg) 2. 以iService 帳⼾進行登入。 ![](https://m3.ypcloud.com/cms/img64_96a8849936.jpg) 3. 登入後將跳轉返回⾸頁,使用者可開啟「我的模型」、「我的資料集」與「個⼈帳戶管理」等頁⾯。 ![](https://m3.ypcloud.com/cms/img74_3de9badfdc.jpg) ##### 附註: ##### • 使⽤者若未加入平台的TWCC計畫(GOV109134),登入後將無法成功使用平 ##### 台所提供的技術服務。 ##### 其它功能: ##### • 本案開發之平台為雙語網站,使⽤者可以在右上角的語⾔列表(頭像旁邊)點選切換 ##### 中英⽂。 ## 1. 模型開發者功能與介⾯ ##### 點選上⽅方選單模型與資料集 ![](https://m3.ypcloud.com/cms/img83_2d7da9947a.jpg) ### 1.1 物件儲存管理 1. 於⾸頁點選模型與資料集 > 物件儲存管理 ![](https://m3.ypcloud.com/cms/img89_f88c3a3b28.jpg) 2. 對應到個人在TWCC下此aimkt專案下的private buckets (TWCC COS詳細操作功能請參閱此連結),列表如下圖 ![](https://m3.ypcloud.com/cms/img91_46a1fd7d6b.jpg) 3. 為了與MLflow的功能連動,必須在此建立便便於模型管理的bucket,點選「建立」。 ![](https://m3.ypcloud.com/cms/img93_a8f2362bdc.jpg) ##### 註: 因為本環境與整體營運的TWCC物件儲存連動的緣故,名稱容易與其他⼈衝突,建議設定比較個人化的名稱叫不易與其他bucket名稱衝突 4. 點選建立後,即可建立一空的bucket,如下 ![](https://m3.ypcloud.com/cms/img105_278ec62941.jpg) 5. 右側的⾴面可點選"DELETE"將bucket內容刪除 ##### 註: 若需要將整個bucket刪除,則需要先確定清空bucket內容才可以點選左側的垃圾桶將整個bucket刪除 ### 1.2 My Model 整合國網中⼼資料集平台API、MLFlow AI模型開發管理理環境以及國網中⼼TWCC 計算環境CLI: 模型開發者可建立TWCC容器開啟Jupyter Notebook, 進行模型開 發建立與編輯,並將儲存的模型移至S3。 #### 1.2.1 連動bucket與MLflow 由於本系統直接使用開源軟體MLflow介⾯進⾏模型管理,詳細操作請參閱MLflow 官網 1. 模型與資料集 > 模型管理 > MLFLOW介⾯,進入mlflow操作介⾯ ![](https://m3.ypcloud.com/cms/img114_f8a5421fe3.jpg) 2. 點選左上⽅方"+",新增實驗 ![](https://m3.ypcloud.com/cms/img116_27004fea09.jpg) 3. 填入實驗名稱與對應存放實驗(模型)的s3路徑(必須事先建立好,請參閱1.1),建議如下 ![](https://m3.ypcloud.com/cms/img126_984ff1cca4.jpg) 完成後會跳出以下的實驗與S3對應關係 ![](https://m3.ypcloud.com/cms/img128_2f810ed9ef.jpg) 之後在python的程式中,就可以用這樣的關係來來建立對應的模型輸出並且同時與mlflow介⾯連動 #### 1.2.2 開啟jupyter notebook 1. 模型與資料集 > 模型管理 > Jupyter工具 ![](https://m3.ypcloud.com/cms/img130_8c2cfb7b37.jpg) 2. 點選畫⾯面中的"+"⽅框,跳出Container的選擇資訊,⽬前環境提供 tensorflow與pytorch兩個基礎框架搭配mlflow的使用環境,若有另外的需求,請來來信 aimkt@narlabs.org.tw ![](https://m3.ypcloud.com/cms/img142_405515d375.jpg) 3. 輸入基本資訊,即可建立 jupyter container environment ![](https://m3.ypcloud.com/cms/img144_20a33e7c20.jpg) 4. 點選下⼀步確認開啟資訊後,約需等待五秒就可以建立 ![](https://m3.ypcloud.com/cms/img154_40f14ecae9.jpg) 5. 點選執⾏>開啟jupyter ![](https://m3.ypcloud.com/cms/img156_3685e49514.jpg) 6. 可使⽤一般的jupyter notebook ![](https://m3.ypcloud.com/cms/img158_dfd328c914.jpg) 7. 或直接修改網址最後tree->lab,使用jupyter lab ![](https://m3.ypcloud.com/cms/img174_2a20cebd1a.jpg) ### 1.2.3 訓練程式範例: 以mnist手寫辨識為例 相關資料下載 - mnist train - mnist test #### 參數設定 1. 若若需要與mlflow連動,必須在程式中設定mlflow實驗環境的名稱(e.g. models1127),否則會在⾴面上找不到結果 ``` mlflow.set_experiment("models1127") ``` 2. 必須設定需要比較的評估結果 ``` mlflow.log_metric("cross_entropy_test_loss", score[0]) mlflow.log_metric("test_accuracy", score[1]) ``` 3. 必須設定signature,指定model的 input 與 output ``` signature = infer_signature(x_test, model.predict(x_test)) ``` 4. 必須設定input_example,讓 swagger UI可以直接導入測試案例 ``` input_example = np.array(train_imgs[0].reshape((1,28,28,1)), dtype=np.uint8) ``` 5. 另需指定對應的experiment下的存放路徑 artifact_path 與 模型註冊名稱 registered_model_name (可⾃行任意設定),參考程式碼參考如下 ``` mlflow.sklearn.log_model(model,artifact_path="kerasmodel",registered_model_name="MNIST1127",signature=signature, input_example=input_example) ``` 完整範例程式碼如下: ``` from tensorflow import keras from tensorflow.keras.models import Sequential from tensorflow.keras.layers import Dense, Dropout, Flatten from tensorflow.keras.layers import Conv2D, MaxPooling2D from tensorflow.keras import backend as K train_imgs = np.asfarray(train_data[:, 1:]) test_imgs = np.asfarray(test_data[:, 1:]) train_labels = np.asfarray(train_data[:, :1]) test_labels = np.asfarray(test_data[:, :1]) if K.image_data_format() == 'channels_first': x_train = train_imgs.reshape(train_imgs.shape[0], 1, img_rows, img_cols) x_test = test_imgs.reshape(test_imgs.shape[0], 1, img_rows, img_cols) input_shape = (1, img_rows, img_cols) else: x_train = train_imgs.reshape(train_imgs.shape[0], img_rows, img_cols, 1) x_test = test_imgs.reshape(test_imgs.shape[0], img_rows, img_cols, 1) input_shape = (img_rows, img_cols, 1) x_train = x_train.astype('float32') x_test = x_test.astype('float32') x_train /= 255 x_test /= 255 print('x_train shape:', x_train.shape) print('x_test shape:', x_test.shape) print(x_train.shape[0], 'train samples') print(x_test.shape[0], 'test samples') y_train = keras.utils.to_categorical(train_labels, num_classes) y_test = keras.utils.to_categorical(test_labels, num_classes) print('y_train shape:', y_train.shape) print('y_test shape:', y_test.shape) model = Sequential() model.add(Conv2D(64, kernel_size=(3, 3), activation='relu', input_shape=input_shape)) model.add(MaxPooling2D(pool_size=(2, 2))) model.add(Conv2D(64, kernel_size=(3, 3), activation='relu')) model.add(MaxPooling2D(pool_size=(2, 2))) model.add(Dropout(0.25)) model.add(Flatten()) model.add(Dense(128, activation='relu')) model.add(Dense(num_classes, activation='softmax')) model.compile(loss=keras.losses.categorical_crossentropy, optimizer=keras.optimizers.Adadelta(), metrics=['accuracy']) model.fit(x_train, y_train, batch_size=batch_size, epochs=epochs, verbose=1, validation_data=(x_test, y_test)) score = model.evaluate(x_test, y_test, verbose=0) # Set an experiment name, which must be unique and case sensitive. mlflow.start_run() mlflow.set_experiment("models1127") mlflow.log_metric("cross_entropy_test_loss", score[0]) mlflow.log_metric("test_accuracy", score[1]) print('Test loss:', score[0]) print('Test accuracy:', score[1]) signature = infer_signature(x_test, model.predict(x_test)) input_example = np.array(train_imgs[2].reshape((1,28,28,1)), dtype=np.uint8) mlflow.keras.log_model(model, artifact_path="keras- model",registered_model_name="MNIST⼿手寫辨識", signature=signature, input_example=input_example) mlflow.end_run() ``` 模型執行結果 1. 檢查MLflow的執⾏結果:MLflow 介面上會列出每次實驗的對應資訊 ![](https://m3.ypcloud.com/cms/img191_5944920b32.jpg) 2. 點選模型建立時間可以進入觀察模型結果的細節,包含模型正確度的指標與對應的檔案 (註:點選模型名稱沒有作用,不需要點選) ![](https://m3.ypcloud.com/cms/img193_a659a9d182.jpg) ![](https://m3.ypcloud.com/cms/img203_95fd96085f.jpg) 3. 進入物件儲存管理列表,選擇指定與MLflow同步的bucket,可以找到對應產出的artifacts ![](https://m3.ypcloud.com/cms/img205_fb081a04c4.jpg) 4. 到 模型與資料集 > 模型管理 > 我的模型 就可以看到這個已經建立完成的模型了 ![](https://m3.ypcloud.com/cms/img207_4fbd2d8e9c.jpg) 5. 結束模型訓練,關閉jupyter (註:因gpu機器使用昂貴,記得關閉避免多餘的⽀出) 模型與資料集 > 模型管理 > jupyter工具 , 選擇訓練模型結束的環境,並點選刪除後確認即可 ![](https://m3.ypcloud.com/cms/img220_8868bdd44b.jpg) #### 1.2.4發佈模型 1. 將滑鼠移至 「模型與資料集」,點選進入「模型管理」⾴面,第⼀畫面為「我的模型」分⾴。 此處可管理個⼈的各類模型,列表類別為: * 模型開發者訓練並建立的「訓練模型」(P.S. 此處與mlflow的Models列表相同) * 正開啟Swagger API 模型測試環境的「測試模型」、 * 模型開發者已發佈⾄至國網中⼼心S3 公開列列表的「上架模型」與 * 模型使⽤用者從公開「模型列列表」所訂閱並可開始使⽤用的「我的訂閱」 2. 「訓練模型」列表同為 MLflow 模型列列表中所顯⽰的模型,在此⾴面選定欲上傳到國網中心 S3 的模型,點擊「上架」。 ![](https://m3.ypcloud.com/cms/img222_be2115a79f.jpg) 3. 在上架表單中填寫模型相關資訊,如名稱、描述、類別、推薦容器規格等,完成後再點選「上架」完成確認與上傳。平台系統將利利⽤用MLflow model serve與Swagger api json 格式進⾏模型資料建置及上架流程。 ![](https://m3.ypcloud.com/cms/img235_62cec9aee2.jpg) ![](https://m3.ypcloud.com/cms/img237_8bd81b6d46.jpg) * 此處上架流程完成後,模型還未正式發佈⾄至公開「模型列表」中,需先由模型開發者完成模型測試(參考模型測試),並由平台管理理者進行審核與放行。 * 在「上架模型」列列表中可查看已完成以上填寫上架表單流程的模型的上架狀態。 已設置的狀狀態類別如下列所述: * No Check (未完成測試審核) * Checking (系統管理理員審核中) * Approved (已通過審核並正式發佈) ![](https://m3.ypcloud.com/cms/img253_8c5bb21b30.jpg) * 另外可以點選「預覽」模型上架的相關資訊,或是將模型下架,從列列表中「刪除」。 ![](https://m3.ypcloud.com/cms/img255_52487e6052.jpg) #### 1.2.5 測試模型 模型開發者順利利將模型正式發布到公開「模型列列表」前需進行簡易核對機制。 功能操作: 1. 將滑鼠移⾄ 「模型與資料集」,點選「模型管理」⾴面,再進入「訓練模型」列表⾴面中選定欲進行測試的模型。 ![](https://m3.ypcloud.com/cms/img271_31a4699bca.jpg) 2. 點擊 「測試」並進⾏行行確認。畫⾯面中將顯⽰示正在建立的容器資訊與Initializing狀態。狀態Ready 前無法成功開啟API,在此可先點選 「取消」將視窗關閉。 ![](https://m3.ypcloud.com/cms/img273_7d201c0d26.jpg) 3. 點選進入「測試模型」列列表⾴頁⾯面,在模型狀狀態顯⽰示為Ready 後可點選 「預覽」。 ![](https://m3.ypcloud.com/cms/img290_d036b49000.jpg) 4. 接著可再次檢視容器資訊並點選確認「開啟模型API」。 ![](https://m3.ypcloud.com/cms/img292_cfa48f3559.jpg) ##### 註: 若點選取消,可回到「測試模型」列表,選擇此測試環境 5. 新跳出的瀏覽器分⾴頁視窗為可進⾏行行模型測試的Swagger UI 介⾯面,在此可檢視API格式資料,並點擊「Try it out」開始進⾏測試。 ![](https://m3.ypcloud.com/cms/img308_da3860ada6.jpg) 6. 完成測試後可回到「測試模型」列列表,點選「刪除」停止運行 Swagger的容器。 ![](https://m3.ypcloud.com/cms/img310_6325d174cd.jpg) #### 被訂閱資訊 1. 將滑鼠移⾄ 「模型與資料集」,點選「模型管理」⾴面,進入「上架模型」列表⾴面查看已上架到公開模型列表的模型。 ![](https://m3.ypcloud.com/cms/img323_e5a22db9c4.jpg) 2. 選定欲查看詳細資訊的模型,點選「預覽」。在顯⽰的資訊中,「訂閱率」為模型被訂閱取用的次數。 ![](https://m3.ypcloud.com/cms/img325_e465101b7f.jpg) #### 1.2.6 訂閱之模型 * 模型訂閱細節可參閱 2.模型使⽤者功能與介⾯ * 訂閱/購買模型後,將在[我的模型]->[我的訂閱]⾴面可以看到已訂閱的模型 * 可選擇部署、預覽、或刪除 ![](https://m3.ypcloud.com/cms/img337_2648d05dad.jpg) #### 部署模型 * 點選[部署]按鍵後,稍待片刻將看到以下畫⾯ ![](https://m3.ypcloud.com/cms/img339_8f03851934.jpg) * 可複製swagger網址,或直接點選開啟模型API,便會看到swagger⾴面如下: ![](https://m3.ypcloud.com/cms/img345_2315d5b562.jpg) * 點選[結束],則會刪除模型預覽模型 ![](https://m3.ypcloud.com/cms/img347_c789942545.jpg) * 點選[預覽]按鍵後,可看到模型相關資訊,包含模型存取位置等...刪除模型 ![](https://m3.ypcloud.com/cms/img353_404c001682.jpg) * 點選[刪除]模型後,則會將此訂閱模型從列列表中刪除 ### 1.3 資料集管理 資料集列表:提供管理個人之資料集以及資料集平台(含⺠生物聯網資料)之資料集。 功能操作: #### 1.3.1 管理個人資料集 1. 將滑鼠移⾄ 「模型與資料集」,再點選進入「資料集管理」⾴面。 此⾴面為本案技術服務平台所提供的個⼈人S3儲存空間的管理介⾯ ,其他人無法查詢或讀取此處個人S3之檔案。使⽤用者可以進⾏行行檔案管理,包含下載及刪除的功能。 「資料集管理」顯⽰的第一個畫⾯是左側欄個人S3的儲存貯體清單(Bucket List)中的第⼀個的儲存貯體,內容為經過MLflow 整合的模型檔案。 ![](https://m3.ypcloud.com/cms/img359_f33682a85b.jpg) 2. 使⽤用者左側欄也可以建立新的儲存貯體:點選「Create」,再接著輸入新儲存貯體名稱並確認「建立」即可完成。在新的儲存貯體的⾴面可以將本機的資料集檔案上傳到平台提供的S3,進⾏個⼈資料集管理。 ![](https://m3.ypcloud.com/cms/img370_64336c9a47.jpg) 除了建立新儲存貯體,也可以點選垃圾桶符號按鈕將儲存貯體刪除。 ![](https://m3.ypcloud.com/cms/img372_ee273e0eae.jpg) #### 1.3.2 管理資料集平台之資料集 1. 進入「資料市集」⾴面,查看國網資料集平台服務 (https://scidm.nchc.org.tw/)之資料集。此處顯⽰示的資料集設置爲Ai-Market Project 分類中的資料集 (https://scidm.nchc.org.tw/group/proj-ai-market) ,由系統管理員管理。 ![](https://m3.ypcloud.com/cms/img389_c3c2bc3e9b.jpg) 2. 點擊資料集名稱可開啟新分頁轉⾄ https://scidm.nchc.org.tw 查看該資料集的詳細資訊(如版本、供應商資訊、資料集⼤小、資料集欄欄位格式與評比結果等) 或將資料集下載至本機。 ![](https://m3.ypcloud.com/cms/img391_f0bb3ec78b.jpg) 3. 在「資料市集」⾴面的公開資料集列列表中可選定資料集點擊「訂閱」,將該資料集儲存到「資料集管理」⾴面 「我的訂閱」列表中。 ![](https://m3.ypcloud.com/cms/img407_379900fd56.jpg) 4. 在「資料集管理」的「我的訂閱」⾴面可進行資料集平台之資料集的管理。除了將訂閱的資料集從個⼈人列列表中刪除,可點選「預覽」開始將資料集導入模型 ![](https://m3.ypcloud.com/cms/img409_0c271e5c3e.jpg) ``` 運算環境Jupyter Notebook 使⽤的HFS儲存空間 (請⾒項⽬3.2.2)。 ``` #### 1.3.3 選擇資料集⾄至HFS儲存空間 模型開發者可將從「資料市集」訂閱的國網中⼼心平台資料集導入HFS進行模型訓練。HFS 為TWCC Jupyter Notebook容器 (模型訓練開發環境) 串連的儲存空間。 1. 將滑鼠移⾄至 「模型與資料集」,再點選進入「資料集管理」⾴面的「我的訂閱」資料集列表⾴面。 ![](https://m3.ypcloud.com/cms/img422_777f9b2ae3.jpg) 2. 選定欲導入個人HFS的資料集並點擊「預覽」,畫⾯面將跳出該資料集的相關資訊與檔案清單。 ![](https://m3.ypcloud.com/cms/img424_40ffcbf980.jpg) 3. 接著選定資料集檔案並點擊「探索」,按「複製資料集」,進行該檔案導入HFS/容器的確認。 ![](https://m3.ypcloud.com/cms/img437_218567652b.jpg) 若後續要將資料集從HFS/容器移除,可在使⽤用Jupyter Notebook時進行刪除操作。 ![](https://m3.ypcloud.com/cms/img439_9b119efc75.jpg) ## 2. 模型使⽤者功能與介⾯ ### 2.1 模型列表 1. 點選上⽅方⾴頁簽「模型列表」,進入「模型列表」⾴面,可在此依照模型類別搜尋及查看公開模型列列表中的模型。 ![](https://m3.ypcloud.com/cms/img454_1b904b7c3e.jpg) 2. 點擊模型名稱可查看該模型詳細資料。 ![](https://m3.ypcloud.com/cms/img456_54395f7ee1.jpg) 3. 切換評價⾴頁簽「評價」可檢視該模型評價 ![](https://m3.ypcloud.com/cms/img472_1f80743a7a.jpg) ### 2.2 模型購買 1. 選定模型後,可在模型詳細資料⾴面點擊「訂閱」 進⾏模型訂閱,在跳出的視窗中選擇儲存該模型的 S3 儲存貯體位置,並再次點選「訂閱」確認。 ![](https://m3.ypcloud.com/cms/img483_3dbeb716da.jpg) 2. 訂閱完成後,使⽤者可在個人「資料集管理」的儲存貯體列表⾴面管理訂閱的模型的artifact檔案。 若要查看訂閱的模型列表並進行部署使⽤,可到「模型管理」⾴面的「我的訂閱」 列表 (請⾒目3.3.2)。 ![](https://m3.ypcloud.com/cms/img485_5698f5824f.jpg) ![](https://m3.ypcloud.com/cms/img502_cde236d6ca.jpg) 其它功能: 模型使用者可在「資料市集」給予模型評價。 ![](https://m3.ypcloud.com/cms/img504_a30b54a66f.jpg) ### 2.3 模型啟⽤ 可啟⽤訂閱後的模型,並可開啟MLflow之cpu container,並提供MLflow model serve api以佈署模型。 1. 將滑鼠移⾄「模型與資料集」,點選「模型管理」⾴面並進入「訂閱模型」列表,可在此針對訂閱之模型開始進⾏使用。 ![](https://m3.ypcloud.com/cms/img502_cde236d6ca.jpg) 2. 選定欲使⽤的模型 ,點擊「測試」並確認開始建立執⾏Swagger UI的容器, 視窗畫⾯面將顯示容器資訊。稍等容器完成建立(約 30 秒) 即可點選「開啟模型API」。 ![](https://m3.ypcloud.com/cms/img520_cca2aa94f6.jpg) 3. 新跳出的瀏覽器分⾴為Swagger UI 介⾯,使⽤者可在此點擊「Try it out」使⽤用模型。 ![](https://m3.ypcloud.com/cms/img520_cca2aa94f6.jpg) 4. 使⽤用完成後回到之前「開啟模型API」的視窗⾴面,點選「結束」將刪除執行 ![](https://m3.ypcloud.com/cms/img520_cca2aa94f6.jpg) 模型Swagger UI的容器。 ## 3. 推薦資料集 ## 4. 個⼈資料管理介⾯ 點選右上⾓下拉式選單,進入個⼈管理⾴面 ![](https://m3.ypcloud.com/cms/img536_ab6ed08194.jpg) ### 4.1 個人資訊 ![](https://m3.ypcloud.com/cms/img544_1a7fe796c0.jpg) ### 4.2 錢包資訊 ![](https://m3.ypcloud.com/cms/img552_0302fdd1a9.jpg) ### 4.3 資源使⽤資訊 ![](https://m3.ypcloud.com/cms/img560_c9f754bbf1.jpg) ## 5. 系統管理員管理介⾯ 在本案技術服務平台的TWCC 計畫 (GOV109134) 中設有管理理者權限的使用者在登入平台後可進入「平台管理理」⾴面。 ![](https://m3.ypcloud.com/cms/img569_0e07e58d54.jpg) ### 5.1 整體資源管理 1. 點擊進入「平台管理」,第⼀一個畫⾯面為「系統資源⽤量紀錄」,可在此以計畫總管理的角度進行監控管理。 首先可以檢視即時資源使⽤資料,包含正開啟的TWCC容器環境 (模型API、 MLflow、Jupyter )及S3資源總量量。 ![](https://m3.ypcloud.com/cms/img577_93f5824908.jpg) 2. 即時資原使⽤用資料下⽅方可檢視歷史資源使⽤用總量,並可依照日期(年/⽉/日)及時間(時/分)查詢詳細使用紀錄。預設日期時間將提供近期一週最新的紀錄。 ![](https://m3.ypcloud.com/cms/img579_e36cc263a1.jpg) ## 5.2 整體錢包管理 1. 進入「平台管理」⾴面後,在左側邊欄點選進入「錢包管理」 ⾴面。在此可在總覽列表中查看計畫成員的錢包金額。 ![](https://m3.ypcloud.com/cms/img595_dc7f682656.jpg) 2. 總覽列表下⽅方可從下拉式列表中選擇使⽤用者ID及使⽤用區間(年/⽉/日),再點擊「搜尋」查看成員子錢包的⽇⾦額變化。 ![](https://m3.ypcloud.com/cms/img597_a2215d2606.jpg) ## 5.3 專案成員管理 ### 5.3.1 ⾦鑰管理 1. 下載 MongoDB Compass (https://www.mongodb.com/products/compass)。 2. 開啟連結(New Connection)。 ![](https://m3.ypcloud.com/cms/img612_bd46ef73c0.jpg) 3. 配置DB 連線及Server 連線。 ![](https://m3.ypcloud.com/cms/img614_771c66fa2f.jpg) ![](https://m3.ypcloud.com/cms/img616_9ab434e1b6.jpg) 4. 到user_api_key 可查看計畫成員鑰匙庫。 ### 5.3.2 使⽤紀錄管理 1. 進入「平台管理」⾴面後,在左側邊欄點選進入「計畫成員」⾴面。 ![](https://m3.ypcloud.com/cms/img637_1151696683.jpg) 2. 從下拉式列表中選擇模型使⽤者/模型開發者的帳⼾ID、資源類別、使⽤區間(年/⽉/日),查看使⽤者的資源用量情形。 ![](https://m3.ypcloud.com/cms/img639_ed1fb9879a.jpg) ![](https://m3.ypcloud.com/cms/img655_29f5539b52.jpg) 資源類別包含歷史開啟的服務、正在開啟的環境、執⾏不同模型API的紀錄、S3的資源總量等。 - 選擇「history」資源類別可檢視歷史開啟的服務容器,欄位資訊為容器ID、名稱、應用類別、路由IP、狀態及建立與刪除時間。 ![](https://m3.ypcloud.com/cms/img657_32b2d08ec1.jpg) - 選擇「runtime」資源類別可檢視正在開啟的環境,欄位資訊為容器ID、名稱、應⽤類別、路由IP、狀態及建立與刪除時間。 ![](https://m3.ypcloud.com/cms/img673_8b6b6525f4.jpg) - 選擇「usage」資源類別可檢視正在S3 資源使⽤的總量,欄位資訊為使用者、記憶體⽤量量及⽇期。 ![](https://m3.ypcloud.com/cms/img675_23e9925b0e.jpg) - 選擇「log」資源類別可檢視模型 API使用狀態日誌記錄,欄欄位資訊為API連結、使⽤次數、呼叫方式、反應狀況及使用時間。 ![](https://m3.ypcloud.com/cms/img691_4ec8d77c70.jpg) ## 5.4 使⽤者模型列表管理 ##### 管理「上架模型」:審核放行流程和測試程序。 1. 進入「平台管理」頁後,在左側邊欄點選進入「上架模型列表」 ⾴面,第⼀畫⾯顯⽰的為 「待審核」的模型列列表,在此可開始進行模型測試與審核放行流程。 ![](https://m3.ypcloud.com/cms/img703_f2e0e346c5.jpg) 2. 選擇欲進⾏審核的模型,點選「Checking」 欄位下的切換按鈕,更改此模型顯示的上架狀狀態。模型上架狀態在系統管理理者的「上架模型列列表」⾴面及模型開發者的個⼈「模型管理」⾴面之「上架模型」列列表可查看。 ![](https://m3.ypcloud.com/cms/img705_4f2d356e72.jpg) 3. 點選「測試」,可建立並開啟執⾏行行Swagger UI 的容器。 視窗畫⾯中將顯示正在建立的容器資訊與Initializing狀狀態。狀態Ready 前無法成功開啟API,在此可先點選 「取消」將視窗關閉。 ![](https://m3.ypcloud.com/cms/img721_35ee7d7b90.jpg) 4. 點選進入「測試AI模型」列表⾴頁⾯,模型狀態顯⽰為Ready 後可點選 「預覽」。 ![]https://m3.ypcloud.com/cms/img723_fa435a52b0.jpg() 5. 跳出的視窗畫面中可再次檢視建立的容器資訊(如步驟3),接著可點選確認「開啟模型API」。 6. 新跳出的瀏覽器分⾴頁視窗為可進⾏行行模型測試的Swagger UI 介⾯,在此可檢視API格式資料並點擊「Try it out」開始進⾏測試。 ![](https://m3.ypcloud.com/cms/img736_c43b141627.jpg) 7. 測試完成後可關閉Swagger UI 視窗並回到「測試AI模型」列表⾴⾯,點擊「刪除」結束運⾏行行容器。 ![](https://m3.ypcloud.com/cms/img738_f28d2e036a.jpg) 8. 若若測試完成後已確模型完整度符合標準,最後可回到「待審核」列表⾴面,點擊該模型在「Checking」 及「Approved」欄欄位的切換按鈕。此模型將完成審核流程、移⾄至「審核通過」列列表⾴面並正式發佈到公開的「模型列表」。 ![](https://m3.ypcloud.com/cms/img751_06825da85b.jpg) 若後續要變更在公開「模型列表」的模型上架狀態,進行重新測試審核或將模型下架,可在「審核通過」列列表⾴面中管理與操作。點選「Approved」欄位的切換按鈕可將模型移回「待審核」列表。 ![](https://m3.ypcloud.com/cms/img753_e772ebe46f.jpg) ##### 其它功能: ##### • 系統管理理員可在後台針對模型API設定流量量限制,進⾏服務閘道器流量管理理。目前預設一個模型API在Swagger UI介⾯面取用的限制為 100 次。 > [AIM 2023 系統文件](https://md.ypcloud.com/s/OsgdnoJLE ) > ###### tags: `AIM`,`2023` ---