能否支持在 Experience 缓冲区中存储 Policy 末端隐含层输出

[SYSUzhouting]

作者您好，

我正在基于 Trinity‑RFT 框架开展  Experience 分析工作。希望在 Policy 交互／生成阶段，除了保存生成的 Token，还能获取该 Policy 模型在生成过程末端的隐含层向量，以便后续分析。

但是当前使用 vLLM 的标准 generate 路径（通过 RequestOutput）只返回 logits／Tokens，不包含隐含层张量，并且无法使用 task=“embed” 模式，因为该模式不支持文本生成，且需要独立的引擎实例，与当前 Trinity‑RFT 架构中的 rollout 阶段不兼容。

请问能否可以提供 Trinity‑RFT 框架中用于扩展该功能的接口示例呢？

[pan-x-c]

感谢对 Trinity-RFT 项目的关注

经过调研，Trinity-RFT 当前使用的推理框架 vLLM 自身暂时不支持将隐含层张量返回，如果想要实现所述的功能，需要对 vLLM 自身的 generate 接口进行大范围修改，这超出了 Trinity-RFT 项目的自身范畴，可能更推荐向 vLLM 仓库提出 issue，或是自行修改并编译 vLLM 的代码来完成类似功能

[SYSUzhouting]

感谢回复！

我将尝试在本地修改 vLLM、trinity 来实现同时获得 hidden 和 outputs，但是 trinity 的框架很重，我不知道vllm是怎么耦合嵌入到trinity里面的，能否麻烦提供一下修改思路呢？

我注意到有人基于 verl 在 vllm==0.5.4 上改出来了这个功能：
vllm-project/vllm#6165
https://github.com/hf618/VERL

如果需要在本地开发，能否借鉴上述哪些修改思路呢？

感谢 Trinity-RFT 团队的时间与解答！

[pan-x-c]

Trinity-RFT 对 vLLM 的接口位于 trinity/common/models/vllm_model.py，如果只是修改 vLLM 可以直接复用该实现，并在 chat / generate 方法上增加 hidden state 输出接口即可。

但需要注意 vllm 的 0.5.4 版本仍使用 V0 引擎，而在 0.11.0 中 V0 引擎已经被废弃。因此可能需要重新基于 V1 引擎实现上述功能