prompt-token-analyzer — 提示令牌分析器

Name: prompt-token-analyzer — 提示令牌分析器
Author: putixiaosheng

putixiaosheng

prompt-token-analyzer — 提示令牌分析器

v1.0.1

一个 Node.js 命令行工具，使用兼容 GPT 的令牌化器分析提示令牌使用情况。帮助代理估算提示大小、调试上下文溢出并优化令牌成本。

0· 215·1 当前·1 累计

by @putixiaosheng·MIT-0

开发工具 AI模型访问数据分析工作流智能体

下载技能包

License

MIT-0

最后更新

2026/3/13

安全扫描

VirusTotal

无害

查看报告

OpenClaw

安全

medium confidence

该技能的指令和要求与小型 CLI 令牌计数工具一致，但要求安装任意全局 npm 包并使用 sudo 将脚本放入 /usr/local/bin。虽然这对于 CLI 来说是标准的，但值得谨慎。

评估建议

该技能对于简单的提示令牌 CLI 来说是连贯的，但在运行安装步骤之前要谨慎。安装未经审查的 npm 包可能会在安装过程中运行代码。建议：(1) 安装前检查 npm 包或其源代码，(2) 使用 npx 或本地安装而非全局安装，(3) 避免使用 sudo 或安装到用户可写的二进制目录，(4) 在可丢弃的容器/VM 中运行工具。如果全局安装，请先审查包的 postinstall 脚本和仓库。...

详细分析 ▾

✓ 用途与能力

名称、描述和所需二进制文件（node、npm）与展示的行为匹配：安装 npm 令牌化器并创建小型 Node CLI 计数令牌。没有请求无关的凭据或资源。

ℹ 指令范围

SKILL.md 只指示安装 gpt-tokenizer，创建一个本地 CLI 脚本，读取用户提供的文件或文本，并打印令牌计数/成本估计。它不指示读取其他系统文件、向外部端点发送数据或收获凭据。它指示将脚本移动到 /usr/local/bin（需要 sudo）。

⚠ 安装机制

没有平台控制的安装规格；文档告诉用户运行 npm install -g gpt-tokenizer。安装任意全局 npm 包可以执行包生命周期脚本（postinstall）并在您的机器上运行代码。指令还建议使用 sudo 将脚本放入 /usr/local/bin，赋予工具一个持久的系统范围位置。

✓ 凭证需求

没有请求环境变量、凭据或配置路径。请求的访问权限（node/npm 和写入 /usr/local/bin 的能力）与 CLI 工具成比例。

ℹ 持久化与权限

技能不是始终启用，并不请求提升的平台特权，但手动安装将一个持久的可执行文件放入系统 PATH，并需要 sudo 将其移动到那里。这对于 CLI 来说是预期的，但如果安装的包是恶意的，会增加影响。

安全有层次，运行前请审查代码。

License

MIT-0

可自由使用、修改和再分发，无需署名。

查看条款 ↗

运行时依赖

无特殊依赖

版本

latestv1.0.12026/3/13

修订和澄清文档以提高可读性和结构。改进了安装、快速入门和故障排除部分。简化了用例和优点的解释。移除了冗余指令并简化了 CLI 设置步骤。添加了报告和解决问题的指南。

● 无害

安装命令点击复制

官方npx clawhub@latest install prompt-token-analyzer

镜像加速npx clawhub@latest install prompt-token-analyzer --registry https://cn.clawhub-mirror.com

技能文档

提示令牌分析器是一款轻量级 CLI 工具，计算提示包含的令牌数量。它使用 gpt-tokenizer 包来近似 GPT 风格的令牌化。帮助 AI 代理和开发人员：

估算提示大小
减少不必要的令牌使用
调试大型提示
优化 RAG 管道

# 安装安装令牌化器：

npm install -g gpt-tokenizer

创建 CLI 工具：

...

# 快速入门分析提示文件：

prompt-token analyze prompt.txt

# 分析原始文本

prompt-token text "解释强化学习的简单术语"

# 用例

提示工程

测量提示更改如何影响令牌大小。

prompt-token text "您是一个 AI 助手..."

# 故障排除如果令牌化器缺失：

npm install -g gpt-tokenizer

检查 Node 安装：

node --version

# 备注

令牌计数是近似的，但接近 OpenAI 风格的令牌化。
实际 API 使用可能包括额外的系统令牌。
长 RAG 上下文是令牌浪费的最常见原因。

# 报告问题如果需要重新安装令牌化器：

npm install -g gpt-tokenizer

# Prompt Token Analyzer Prompt Token Analyzer is a lightweight CLI tool that calculates how many tokens a prompt contains. It uses the gpt-tokenizer package to approximate GPT-style tokenization. This helps AI agents and developers:

estimate prompt size
reduce unnecessary token usage
debug large prompts
optimize RAG pipelines

# Installation Install the tokenizer: ``

bash
npm install -g gpt-tokenizer

`



Create the CLI tool:

`

bash
cat <<'EOF' > prompt-token
#!/usr/bin/env node

import { encode } from "gpt-tokenizer"
import fs from "fs"

const args = process.argv.slice(2)

if (args.length === 0) {
  console.log("Usage:")
  console.log("  prompt-token analyze ")
  console.log("  prompt-token text \"your prompt here\"")
  process.exit(1)
}

let text = ""

if (args[0] === "analyze") {
  const file = args[1]

  if (!file) {
    console.error("Missing file path")
    process.exit(1)
  }

  text = fs.readFileSync(file, "utf8")
}

else if (args[0] === "text") {
  text = args.slice(1).join(" ")
}

else {
  console.error("Unknown command")
  process.exit(1)
}

const tokens = encode(text)

console.log("Prompt Token Analysis")
console.log("---------------------")
console.log("Characters:", text.length)
console.log("Tokens:", tokens.length)
console.log("Average chars/token:", (text.length / tokens.length).toFixed(2))

const estimatedCost = tokens.length / 1000000 * 5

console.log("")
console.log("Estimated cost (example $5 / 1M tokens):")
console.log("$" + estimatedCost.toFixed(6))

EOF

`



Make the tool executable:

`

bash
chmod +x prompt-token

`



Move it into PATH:

`

bash
sudo mv prompt-token /usr/local/bin/

`





# Quick Start

Analyze a prompt file:

`

bash
prompt-token analyze prompt.txt

`



Example output:

`


Prompt Token Analysis
---------------------
Characters: 7341
Tokens: 1832
Average chars/token: 4.01

Estimated cost (example $5 / 1M tokens):
$0.009160

`





# Analyze raw text

`

bash
prompt-token text "Explain reinforcement learning in simple terms"

`



Example output:

`


Prompt Token Analysis
---------------------
Characters: 47
Tokens: 9
Average chars/token: 5.22

`





# Use Cases

Prompt Engineering

Measure how prompt changes affect token size.

`

bash
prompt-token text "You are an AI assistant..."

`





RAG Context Analysis

Check how large retrieved documents are before sending them to an LLM.

`

bash
prompt-token analyze rag_context.txt

`





Debugging Context Overflow

Large prompts may exceed model limits.

Analyze them before sending to the model.



# Troubleshooting

If the tokenizer is missing:

`

bash
npm install -g gpt-tokenizer

`



Check Node installation:

`

bash
node --version

`





# Notes

Token counts are approximate but close to OpenAI-style tokenization.
Actual API usage may include additional system tokens.
Long RAG contexts are the most common cause of token waste.



# Reporting Issues

Reinstall tokenizer if needed:

`

bash
npm install -g gpt-tokenizer

``

数据来源：ClawHub ↗ · 中文优化：龙虾技能库

OpenClaw 技能定制 / 插件定制 / 私有工作流定制

免费技能或插件可能存在安全风险，如需更匹配、更安全的方案，建议联系付费定制

了解定制服务

License

运行时依赖

版本

安装命令 点击复制

技能文档

提示工程

Prompt Engineering

RAG Context Analysis

Debugging Context Overflow

安装命令点击复制