Nvidia開源高效能推理平臺TensorRT函式庫元件

Nvidia宣布開源用於其GPU與深度學習加速器上的高效能推理函式庫TensorRT,這個函式庫以C++撰寫,建構於平行可程式化模型CUDA之上,提供精度INT8和FP16的最佳化之外,也支援多種平臺,包括嵌入式、自動駕駛以及GPU計算平臺,同時也讓用戶可以將神經網路部署到資料中心,以容器化微服務技術同時執行多個模型。

臉書留言

胡 自文

(這個頁面共進入 1 次, 今天進入 1 次)