你拿到过这种数据吗?
从系统导出的JSON文件,里面嵌套了三四层结构。你想把它变成Excel能打开的表格,手动复制粘贴?文件一大就卡死。
或者从网页上爬了一堆联系方式,粘到表格里发现重复的占了一半,手动删到眼睛都花了。
别急。今天教你用navbox上的在线工具,搭一条数据清洗流水线。五步走完,脏数据变干净数据,全程不用装软件、不用写代码。
第一步:把JSON拍平成表格
很多数据源吐出来的是JSON格式。比如一个电商接口返回的订单数据:
[
{"order_id": "A001", "user": {"name": "张三", "city": "北京"}, "amount": 299},
{"order_id": "A002", "user": {"name": "李四", "city": "上海"}, "amount": 158}
]
直接丢进Excel?打不开的。
打开navbox的 JSON转CSV工具(navbox.com.cn/tools/json-to-csv),把JSON粘贴进去。工具会自动把嵌套结构展平——user.name 变成一列,user.city 变成另一列。
点一下"转换",下载CSV文件。现在你可以用Excel或WPS打开了。
注意:如果JSON里有些对象字段不一致,工具会取所有字段的并集。缺失的字段会留空,这是正常行为。
第二步:去掉重复行
CSV打开后发现,同一笔订单出现了两次。或者用户列表里有重复的邮箱地址。
这时候用 文本去重工具(navbox.com.cn/tools/text-deduplicator)。把CSV内容复制进去,选择"严格匹配"模式,点"去重"。
两个选项要分清:
- 严格匹配:整行完全一样才删
- 模糊匹配:按指定列判断重复(适合只关心邮箱或ID的场景)
普通场景用严格匹配就够了。如果你的CSV有表头,记得勾选"保留表头",不然第一行数据会被当成重复项删掉。
第三步:清理格式问题
数据清洗中最烦人的就是格式不统一。比如手机号列,有的带区号、有的不带;有的中间有空格、有的用了横杠。
用 文本替换工具(navbox.com.cn/tools/text-replacer)批量处理。
举个例子,想把所有 138 0000 0000 格式的手机号改成 13800000000:
- 搜索框填:
\d{3}\s\d{4}\s\d{4}(正则表达式) - 替换框填:
$0(去掉空格) - 勾选"正则模式",点"替换"
一行操作搞定几百条数据的格式统一。比在Excel里一个个改快十倍。
小技巧:不确定正则怎么写?先用 正则测试器(navbox.com.cn/tools/regex-tester)试一下,确认匹配对了再放到替换工具里。
第四步:提取关键字段
有时候你不需要整份数据,只需要其中几个字段。比如从订单JSON里只想要"商品名称"和"金额"两列。
用 JSON Path查询工具(navbox.com.cn/tools/json-path-finder)。
假设你的JSON结构是这样的:
{
"orders": [
{"id": "A001", "items": [{"name": "键盘", "price": 299}]},
{"id": "A002", "items": [{"name": "鼠标", "price": 89}]}
]
}
输入JSON Path表达式:$.orders[*].items[0].name,就能提取出所有商品名称。
这个工具支持条件过滤。比如想只看金额大于200的商品:
$.orders[*].items[?(@.price > 200)].name
写对表达式后,把结果复制到CSV工具里,就能生成一份精简后的表格。
第五步:对比验证
清洗完的数据,怎么确认没出错?
用 Diff比较工具(navbox.com.cn/tools/diff-checker)。把原始数据和清洗后的数据分别粘贴进去,工具会高亮显示差异部分。
这一步经常被忽略,但很重要。特别是当你做了批量替换之后,Diff能让你一眼看出哪些数据被改了、哪些没动。
实际用法:
- 先保存一份原始数据的副本
- 清洗完成后,把两份数据贴进Diff工具
- 检查改动是否符合预期
如果发现不该动的数据被改了,说明前面的替换规则有问题,回去调整正则表达式就行。
完整流程一览
| 步骤 | 工具 | 解决的问题 |
|---|---|---|
| 1 | JSON转CSV | 格式转换,让表格软件可读 |
| 2 | 文本去重 | 删除重复数据 |
| 3 | 文本替换 | 统一数据格式 |
| 4 | JSON Path查询 | 提取需要的字段 |
| 5 | Diff比较 | 验证清洗结果 |
五个工具串起来,就是一个完整的数据清洗流水线。
什么时候该用这套方法?
- 从API导出的数据需要整理成报表
- 爬虫抓回来的数据要清洗入库
- 运营同学给你一堆杂乱的名单要做分析
- 接手了前任留下的混乱Excel文件
遇到这些场景,花十分钟搭好流水线,比手动处理几小时的数据值多了。
最后说两句
数据清洗听起来是个技术活,其实用对工具,谁都能做。navbox上的这些在线工具都是浏览器里直接用的,不用安装、不用注册,打开网页就能跑。
下次再拿到一团乱麻的数据,别急着打开Excel硬扛。试试这条流水线,五步走完,干干净净。
你的数据清洗流程是怎么做的?有没有更好的工具推荐?评论区聊聊。