OCR+yolov5 triton-inference-server服务
1.使用docker启动triton服务
sudo docker run --gpus="device=0" --rm -p 8000:8000 -p 8001:8001 -p 8002:8002 -v /home/situ/qfs/triton_inference_server/demo/model_repository:/models nvcr.io/nvidia/tritonserver:21.10-py3 tritonserver --model-repository=/models
2.分别启动OCR和yolov5的web服务
cd OCR_Engine/api
python ocr_engine_server.py
cd yolov5_onnx_demo/api
python yolov5_onnx_server.py
3.pipeline测试
python triton_pipeline.py