1
DeepSeek
标题
2025-03-21 16:38:12
195

使用的k100-AI显卡,有四张
运行BGE-M3模型,可以在cpu上跑,加载到cpu上
怎么加载到gpu上,在gpu上跑

代码为:

from fastapi import FastAPI
from fastapi.middleware.cors import CORSMiddleware
from sentence_transformers import SentenceTransformer
from asgiref.sync import sync_to_async
from pydantic import BaseModel
from pymilvus import connections, Collection
from typing import Dict, List
from langchain_core.documents import Document

model = SentenceTransformer("/root/demo/model/bge/bge-m3")

##
在model = SentenceTransformer("/root/demo/model/bge/bge-m3")这一步是不是要写什么参数,类似nvidia上为cuda:0这种

全部评论(2)
只看楼主
R
renzhc
2楼
如果nvidia上是加个cuda:0参数就行,那么DCU上同样操作即可。
2025/3/23
T
tianlh
1楼
可以试下model.to('cuda'),不行的话私信一下您环境的登录方式,我们调试看下
2025/3/22
没有更多内容了
--
楼主
Level.1
0 帖子
楼主热帖
暂无数据