OCR+yolov5 triton-inference-server服务

1.使用docker启动triton服务

sudo docker run --gpus="device=0" --rm -p 8000:8000 -p 8001:8001 -p 8002:8002 -v /home/situ/qfs/triton_inference_server/demo/model_repository:/models nvcr.io/nvidia/tritonserver:21.10-py3 tritonserver --model-repository=/models

2.分别启动OCR和yolov5的web服务

cd OCR_Engine/api
python ocr_engine_server.py

cd yolov5_onnx_demo/api
python yolov5_onnx_server.py

3.pipeline测试

python triton_pipeline.py