paranoiagu

楼主，今天我看到这个，你试过吗？

1CatAI/1Cat-vLLM: V100 / SM70-focused vLLM engineering fork for modern LLM inference. https://share.google/ltDrm9bzMUKScR6xR

我也觉得很奇怪，为撒差距这么大。
顺便做个广告，我有 Global sign 官方的渠道，价格肯定比外面便宜。需要可以联系我。

https://huggingface.co/froggeric/Qwen-Fixed-Chat-Templates

用了这个才能在 Claude code 中调用

我也分享一下我的。
以下是 7900XTX 24G 的

nohup ./build/bin/llama-server \
-hf unsloth/Qwen3.8-27B-GGUF:UD-IQ4_XS \
--ctx-size 262144 \
--parallel 1 \
--n-gpu-layers 999 \
--flash-attn on \
--cache-type-k q4_0 \
--cache-type-v q4_0 \
--split-mode none \
--spec-type draft-mtp \
--temp 1.0 \
--top-p 0.95 \
--top-k 20 \
--min-p 0.0 \
--presence-penalty 0.0 \
--repeat-penalty 1.0 \
--jinja \
--chat-template-file qwen3.8.jinja \
--reasoning on \
--reasoning-preserve \
--chat-template-kwargs '{"enable_thinking":true,"reasoning_effort":"xhigh"}' \
--host 0.0.0.0 \
--port 4086 \
-fit off \
--cache-ram 1024 \
--batch-size 2048 \
--ubatch-size 512 \
--log-file run_Qwen3.8-27B-GGUF-Thinking.log \
> /dev/null 2>&1 &


以下是 2 张 16G V100 的

#!/bin/bash

nohup ./build/bin/llama-server \
-hf unsloth/Qwen3.8-27B-GGUF:Q4_K_M \
--parallel 1 \
--ctx-size 262144 \
--split-mode none \
--cache-type-k q4_0 \
--cache-type-v q4_0 \
--flash-attn on \
--split-mode tensor \
--spec-type draft-mtp \
--temp 1.0 \
--top-p 0.95 \
--top-k 20 \
--min-p 0.0 \
--presence_penalty 0.0 \
--repeat_penalty 1.0 \
--jinja \
--chat-template-file /mnt/data/llama.cpp/qwen3.8.jinja \
--reasoning on \
--reasoning-preserve \
-fit off \
--cache-ram 1024 \
--host 0.0.0.0 \
--port 4086 \
--n-gpu-layers 999 \
--chat-template-kwargs '{"enable_thinking":true,"reasoning_effort":"xhigh"}' \
--log-file run_Qwen3.8-27B-GGUF-Thinking.log \
> /dev/null 2>&1 &

现在不需要抢购了吧。反正现在各个厂商，各个套餐都感觉不经用

@BeforeTooLate 这很刑。

7 月申请国金 qmt ，就被告知 miniqmt 不能用，只能用 qmt 的 python 。

@zls3201 opencode go 即使保持 60$ 额度 Flash 涨价后，总的量应该还是会变少。pro 原来只能用$15 的量的话，那太少了。
如果没有高峰时段的说法的话，那也行还行。
静观其变了。