🏠 首页 攻略 5步搞定数据清洗,告别Excel崩溃

5步搞定数据清洗,告别Excel崩溃

从JSON到CSV,从去重到格式转换,用navbox在线工具搭建完整数据清洗流水线。不装软件不写代码,浏览器里就能完成,附真实案例演示。

你拿到过这种数据吗?

从系统导出的JSON文件,里面嵌套了三四层结构。你想把它变成Excel能打开的表格,手动复制粘贴?文件一大就卡死。

或者从网页上爬了一堆联系方式,粘到表格里发现重复的占了一半,手动删到眼睛都花了。

别急。今天教你用navbox上的在线工具,搭一条数据清洗流水线。五步走完,脏数据变干净数据,全程不用装软件、不用写代码。

第一步:把JSON拍平成表格

很多数据源吐出来的是JSON格式。比如一个电商接口返回的订单数据:

[
  {"order_id": "A001", "user": {"name": "张三", "city": "北京"}, "amount": 299},
  {"order_id": "A002", "user": {"name": "李四", "city": "上海"}, "amount": 158}
]

直接丢进Excel?打不开的。

打开navbox的 JSON转CSV工具(navbox.com.cn/tools/json-to-csv),把JSON粘贴进去。工具会自动把嵌套结构展平——user.name 变成一列,user.city 变成另一列。

点一下"转换",下载CSV文件。现在你可以用Excel或WPS打开了。

注意:如果JSON里有些对象字段不一致,工具会取所有字段的并集。缺失的字段会留空,这是正常行为。

第二步:去掉重复行

CSV打开后发现,同一笔订单出现了两次。或者用户列表里有重复的邮箱地址。

这时候用 文本去重工具(navbox.com.cn/tools/text-deduplicator)。把CSV内容复制进去,选择"严格匹配"模式,点"去重"。

两个选项要分清:

  • 严格匹配:整行完全一样才删
  • 模糊匹配:按指定列判断重复(适合只关心邮箱或ID的场景)

普通场景用严格匹配就够了。如果你的CSV有表头,记得勾选"保留表头",不然第一行数据会被当成重复项删掉。

第三步:清理格式问题

数据清洗中最烦人的就是格式不统一。比如手机号列,有的带区号、有的不带;有的中间有空格、有的用了横杠。

文本替换工具(navbox.com.cn/tools/text-replacer)批量处理。

举个例子,想把所有 138 0000 0000 格式的手机号改成 13800000000

  1. 搜索框填:\d{3}\s\d{4}\s\d{4}(正则表达式)
  2. 替换框填:$0(去掉空格)
  3. 勾选"正则模式",点"替换"

一行操作搞定几百条数据的格式统一。比在Excel里一个个改快十倍。

小技巧:不确定正则怎么写?先用 正则测试器(navbox.com.cn/tools/regex-tester)试一下,确认匹配对了再放到替换工具里。

第四步:提取关键字段

有时候你不需要整份数据,只需要其中几个字段。比如从订单JSON里只想要"商品名称"和"金额"两列。

JSON Path查询工具(navbox.com.cn/tools/json-path-finder)。

假设你的JSON结构是这样的:

{
  "orders": [
    {"id": "A001", "items": [{"name": "键盘", "price": 299}]},
    {"id": "A002", "items": [{"name": "鼠标", "price": 89}]}
  ]
}

输入JSON Path表达式:$.orders[*].items[0].name,就能提取出所有商品名称。

这个工具支持条件过滤。比如想只看金额大于200的商品:

$.orders[*].items[?(@.price > 200)].name

写对表达式后,把结果复制到CSV工具里,就能生成一份精简后的表格。

第五步:对比验证

清洗完的数据,怎么确认没出错?

Diff比较工具(navbox.com.cn/tools/diff-checker)。把原始数据和清洗后的数据分别粘贴进去,工具会高亮显示差异部分。

这一步经常被忽略,但很重要。特别是当你做了批量替换之后,Diff能让你一眼看出哪些数据被改了、哪些没动。

实际用法

  1. 先保存一份原始数据的副本
  2. 清洗完成后,把两份数据贴进Diff工具
  3. 检查改动是否符合预期

如果发现不该动的数据被改了,说明前面的替换规则有问题,回去调整正则表达式就行。

完整流程一览

步骤工具解决的问题
1JSON转CSV格式转换,让表格软件可读
2文本去重删除重复数据
3文本替换统一数据格式
4JSON Path查询提取需要的字段
5Diff比较验证清洗结果

五个工具串起来,就是一个完整的数据清洗流水线。

什么时候该用这套方法?

  • 从API导出的数据需要整理成报表
  • 爬虫抓回来的数据要清洗入库
  • 运营同学给你一堆杂乱的名单要做分析
  • 接手了前任留下的混乱Excel文件

遇到这些场景,花十分钟搭好流水线,比手动处理几小时的数据值多了。

最后说两句

数据清洗听起来是个技术活,其实用对工具,谁都能做。navbox上的这些在线工具都是浏览器里直接用的,不用安装、不用注册,打开网页就能跑。

下次再拿到一团乱麻的数据,别急着打开Excel硬扛。试试这条流水线,五步走完,干干净净。

你的数据清洗流程是怎么做的?有没有更好的工具推荐?评论区聊聊。