真实操作案例数据分析与处理

数据清洗与格式转换:Tokeny 实操案例

按 id 去重,保留第一次记录,清理姓名和邮箱空格,统一日期为 ISO 格式;无效邮箱、缺失金额保留为空并记入问题表,输出 CSV、JSON、Excel。

作者:Tokeny 团队 · Windows · Tokeny 1.7.8 · gpt-6-sol

准备这次任务的输入

在 Tokeny 中新建工作空间,将下载的样例解压到工作空间,选择支持工具调用的模型。本例使用合成演示数据或文中列出的公开资料。

  • dirty.csv
下载输入样例

把任务交给 Tokeny

按 id 去重,保留第一次记录,清理姓名和邮箱空格,统一日期为 ISO 格式;无效邮箱、缺失金额保留为空并记入问题表,输出 CSV、JSON、Excel。

交付文件:clean.csv、clean.json、clean.xlsx、issues.csv。
验收要点:
- 输出 3 个唯一 id
- 缺失金额未臆填
- 有去重与异常记录
这是使用合成演示输入或指定公开资料的真实操作案例。请先读取工作空间输入,再实际生成文件并自检。所有写入、脚本与临时服务限于当前工作空间;临时服务只监听 127.0.0.1,执行后关闭;不触达外部收件人、不发布、不付款、不更改系统设置,不调用子智能体。需要公开资料时可读取给定 URL。只启用完成任务必需的工具。另写 report.md(中文)和 report.en.md(英文),简洁、完整,包含输入、处理步骤、真实结果、检查方式和局限;失败或未验证部分如实记录,不能宣称成功。最终回复用中文列出产物、关键结果与待核实项。
复核后追加的任务(1 次)
独立渲染发现 clean.xlsx 使用默认窄列,完整邮箱和问题说明被截断。请调整 clean 和 issues 的列宽、长文字换行及行高,增加清晰表头,保留空邮箱与空金额,不改变实际清洗结果。更新双语报告,不要求固定字数。

本次使用独立演示工作空间。复现时,请根据自己的文件与权限设置检查操作,确认后继续。

实际执行过程

任务从 Tokeny 输入框提交,由在线模型读取资料并调用工具实际执行。本例核对本地演示任务与实际生成的文件,结果和检查方法见下文。

Tokeny 1.7.8 中「数据清洗与格式转换」的真实执行会话与生成文件。点击可查看原图。
Tokeny 1.7.8 中「数据清洗与格式转换」的真实执行会话与生成文件。点击可查看原图。
本次生成文件的实际预览;内容来自可下载的产物。
本次生成文件的实际预览;内容来自可下载的产物。

产物、结果与复核

输入

  • 文件:dirty.csv
  • 实际读取:4 条非空数据记录,字段为 id、name、email、date、amount。
  • 输入中 id=1 出现两次,末尾空行被忽略。

处理步骤

  1. 按 id 去重,保留首次出现的记录;重复记录写入 issues.csv。
  2. 清理姓名和邮箱首尾空格。
  3. 将 2026/10/01、2026-10-02 等日期统一为 YYYY-MM-DD ISO 日期格式。
  4. 校验邮箱格式;无效邮箱清空,并写入问题表。
  5. 缺失金额保持为空,不进行推断或填充,并写入问题表。
  6. 输出 CSV、JSON 和 Excel;Excel 含 clean 与 issues 两个工作表。

真实结果

  • 清洗主表:3 条记录,唯一 id 为 1、2、3。
  • 清洗主表中的空值:id=2 的 email 和 amount 为空。
  • 问题表:3 条,分别为 1 条重复 id、1 条无效邮箱、1 条缺失金额。
  • 日期结果:2026-10-01、2026-10-02、2026-10-03。

检查方式

  • 重新读取 clean.csv 和 clean.json,核对记录数、唯一 id、空金额及 ISO 日期。
  • 使用 openpyxl 重新读取 clean.xlsx,核对工作表、行数及内容与 CSV/JSON 一致。
  • 检查 clean.xlsx 的列宽、表头样式、自动换行、行高、冻结首行和筛选设置。
  • 重新读取 issues.csv,核对异常类型和数量。

Excel 展示优化

  • clean 工作表已加宽邮箱列,issues 工作表已加宽问题说明列,避免完整内容被默认窄列截断。
  • 两个工作表均使用清晰的深色表头、边框、顶部对齐和长文字自动换行。
  • 已设置适合内容的行高,并冻结首行、启用筛选;清洗数据本身未改变。

局限

  • 邮箱校验采用基本格式规则,不执行域名存在性、可投递性或邮箱所有权验证。
  • 金额非空值按文本保留,未进行币种、精度或业务范围校验。
  • 本次输入只有 4 条非空记录,结论仅适用于该输入文件。

下载产物,自己核对

压缩包保存本次执行生成的文件。替换成自己的资料后,可以按下面的检查点验收。

  • 输出 3 个唯一 id
  • 缺失金额未臆填
  • 有去重与异常记录
clean.csv · 1 KBclean.json · 1 KBclean.xlsx · 7 KBissues.csv · 1 KBreport.md · 2 KBreport.en.md · 2 KB
下载本次实际产物

继续探索同类场景