hunyuanocr量化问题

[Cliveliew]

用默认配置试了下hunyuanocr的fp8量化，效果断档下降，请问是否是默认配置的数据集问题？
另使用了hunyuanocr-eagle3，速度似乎没有明显提升，可能有1.16倍左右的提升，请问是否在正常范围内？以下是我的模型启动参数：
python3 -m vllm.entrypoints.openai.api_server
--host 0.0.0.0
--port 8090
--model ./huggingface_models/HunyuanOCR
--speculative-config '{"method": "eagle3", "model": "./huggingface_models/HunyuanOCR_eagle3", "num_speculative_tokens": 4, "max_model_len": 2048}'
--served-model-name HunyuanOCR
--pipeline_parallel_size 1
--tensor-parallel-size 2
--trust-remote-code
--gpu-memory-utilization 0.7
--max-model-len 8192

[irisliu10]

1. 量化效果问题：hunyuan_ocr_fp8_static.yaml中提供的dataset 仅为参考示例，可以参考dataset/multimodal_fake_data/fake_data_openai_formate.json 格式准备OCR相关的校准数据进行fp8量化。

2. eagle3 加速问题：实际加速效果和具体的benchmark、batch_size大小、卡型都相关，我们给出测评结果是在OmniDocBench(tp=1, ep=1, num_speculative_tokens=4, batch_size=1, output_len=1024) 参考配置下，加速比 1.54x。
   可以基于脚本tools/vllm_offline_eagle3_vlm_batch.py测试：

python3 tools/vllm_offline_eagle3_vlm_batch.py \
    --target_model tencent/HunyuanOCR \
    --draft_model AngelSlim/HunyuanOCR_eagle3 \
    --use_eagle \
    --num_spec_tokens 4 \
    --dataset opendatalab/OmniDocBench \
    --num_prompts 80 \
    --temp 0 \
    --max_num_seqs 1 \
    --output_len 1024 \
    --output_file "$OUTPUT_FILE"