5060 laptop 使用tiny 运行在 float16,batch16 / int8,batch8 都会报cuda init failed or VRAM is low 然后运行在cpu上
5060 laptop
使用tiny 运行在 float16,batch16 / int8,batch8 都会报cuda init failed or VRAM is low 然后运行在cpu上