真实操作案例数据分析与处理
数据清洗与格式转换:Tokeny 实操案例
按 id 去重,保留第一次记录,清理姓名和邮箱空格,统一日期为 ISO 格式;无效邮箱、缺失金额保留为空并记入问题表,输出 CSV、JSON、Excel。
作者:Tokeny 团队 · Windows · Tokeny 1.7.8 · gpt-6-sol
准备这次任务的输入
在 Tokeny 中新建工作空间,将下载的样例解压到工作空间,选择支持工具调用的模型。本例使用合成演示数据或文中列出的公开资料。
- dirty.csv
把任务交给 Tokeny
按 id 去重,保留第一次记录,清理姓名和邮箱空格,统一日期为 ISO 格式;无效邮箱、缺失金额保留为空并记入问题表,输出 CSV、JSON、Excel。 交付文件:clean.csv、clean.json、clean.xlsx、issues.csv。 验收要点: - 输出 3 个唯一 id - 缺失金额未臆填 - 有去重与异常记录 这是使用合成演示输入或指定公开资料的真实操作案例。请先读取工作空间输入,再实际生成文件并自检。所有写入、脚本与临时服务限于当前工作空间;临时服务只监听 127.0.0.1,执行后关闭;不触达外部收件人、不发布、不付款、不更改系统设置,不调用子智能体。需要公开资料时可读取给定 URL。只启用完成任务必需的工具。另写 report.md(中文)和 report.en.md(英文),简洁、完整,包含输入、处理步骤、真实结果、检查方式和局限;失败或未验证部分如实记录,不能宣称成功。最终回复用中文列出产物、关键结果与待核实项。
复核后追加的任务(1 次)
独立渲染发现 clean.xlsx 使用默认窄列,完整邮箱和问题说明被截断。请调整 clean 和 issues 的列宽、长文字换行及行高,增加清晰表头,保留空邮箱与空金额,不改变实际清洗结果。更新双语报告,不要求固定字数。
本次使用独立演示工作空间。复现时,请根据自己的文件与权限设置检查操作,确认后继续。
实际执行过程
任务从 Tokeny 输入框提交,由在线模型读取资料并调用工具实际执行。本例核对本地演示任务与实际生成的文件,结果和检查方法见下文。
产物、结果与复核
输入
- 文件:
dirty.csv - 实际读取:4 条非空数据记录,字段为
id、name、email、date、amount。 - 输入中
id=1出现两次,末尾空行被忽略。
处理步骤
- 按
id去重,保留首次出现的记录;重复记录写入issues.csv。 - 清理姓名和邮箱首尾空格。
- 将
2026/10/01、2026-10-02等日期统一为YYYY-MM-DDISO 日期格式。 - 校验邮箱格式;无效邮箱清空,并写入问题表。
- 缺失金额保持为空,不进行推断或填充,并写入问题表。
- 输出 CSV、JSON 和 Excel;Excel 含
clean与issues两个工作表。
真实结果
- 清洗主表:3 条记录,唯一 id 为
1、2、3。 - 清洗主表中的空值:
id=2的email和amount为空。 - 问题表:3 条,分别为 1 条重复 id、1 条无效邮箱、1 条缺失金额。
- 日期结果:
2026-10-01、2026-10-02、2026-10-03。
检查方式
- 重新读取
clean.csv和clean.json,核对记录数、唯一 id、空金额及 ISO 日期。 - 使用
openpyxl重新读取clean.xlsx,核对工作表、行数及内容与 CSV/JSON 一致。 - 检查
clean.xlsx的列宽、表头样式、自动换行、行高、冻结首行和筛选设置。 - 重新读取
issues.csv,核对异常类型和数量。
Excel 展示优化
clean工作表已加宽邮箱列,issues工作表已加宽问题说明列,避免完整内容被默认窄列截断。- 两个工作表均使用清晰的深色表头、边框、顶部对齐和长文字自动换行。
- 已设置适合内容的行高,并冻结首行、启用筛选;清洗数据本身未改变。
局限
- 邮箱校验采用基本格式规则,不执行域名存在性、可投递性或邮箱所有权验证。
- 金额非空值按文本保留,未进行币种、精度或业务范围校验。
- 本次输入只有 4 条非空记录,结论仅适用于该输入文件。
下载产物,自己核对
压缩包保存本次执行生成的文件。替换成自己的资料后,可以按下面的检查点验收。
- 输出 3 个唯一 id
- 缺失金额未臆填
- 有去重与异常记录
clean.csv · 1 KBclean.json · 1 KBclean.xlsx · 7 KBissues.csv · 1 KBreport.md · 2 KBreport.en.md · 2 KB
下载本次实际产物
