Skill

实验数据预处理

Name: 实验数据预处理
Author: user_51a923b7

tencent_skillhub · 1.1.10 · Downloads 365 · Heat 44.4

Introduction

# 实验数据预处理 ## 你遇到的痛点 - 实验做完了，数据一堆脏值：手抖记错的温度、仪器飘了的浓度，混在里头不剔掉，后面均值全被带偏，图也画歪。 - 算个均值中位数标准差还要开 Excel 点半天，十几列数据逐列点谁顶得住，点完还怕点错。 - 想画个分布图，结果 `import matplotlib` 直接红字报错——环境没装第三方库，卡在出图这一步。 ## 这个技能能做什么实验数据预处理是一个**带真实代码的命令行程序**（非空壳）。你只要丢给它一个实验 CSV，它就一次性帮你做四件事并产出标准化结果： 1. **异常值剔除**：支持 IQR 法（默认，`Q1-1.5·IQR ~ Q3+1.5·IQR`）或 3σ 法（`均值±3·标准差`），自动识别数值列、剔除含异常值的整行。 2. **简单统计**：逐列给出样本量/均值/中位数/标准差/最小值/最大值/Q1/Q3/IQR/异常值数。 3. **绘图脚本生成**：输出一段 matplotlib 代码（plot_script.py 文本），你本地 `pip install matplotlib pandas` 后运行即可出直方图与箱线图。**本程序不直接依赖 matplotlib**，避免环境缺库而崩溃。 4. **标准化输出**：清洗后 `cleaned.csv` + 统计报告 `stats.md` + 绘图脚本 `plot_script.py`。统计与 IQR/3σ 全部用**纯标准库**实现，开箱即跑；绘图是独立脚本，按需安装。 ## 四步出片（照做即得结果） **第一步：准备实验 CSV** ```bash # 第一行是表头，数值列程序自动识别；含文本的列（如编号）自动跳过 ``` **第二步：跑预处理（核心指令）** ```bash python exp_prep.py demo # 内置 mock 实验数据，立即看效果 python exp_prep.py process 数据.csv # 处理本地 CSV（默认 IQR 法） python exp_prep.py process 数据.csv --method=3sigma # 改用 3σ 法 ``` 程序输出： ``` # 实验数据预处理统计报告 > 异常值判定方法：iqr；数值列共 4 列。 ## 温度 | 均值 31.29 | 中位数 25.10 | 异常值数 1 | ## 浓度 | 均值 1.41 | 中位数 1.01 | 异常值数 1 | ## pH | 异常值数 0 | ## 产率 | 异常值数 0 | [已写入] .../cleaned.csv, stats.md, plot_script.py ``` **第三步：拿到三件套** 输出目录含：`cleaned.csv`（剔掉 2 个异常行后的干净数据）、`stats.md`（统计表）、`plot_script.py`（绘图脚本）。 **第四步：出图（可选）** ```bash pip install matplotlib pandas python plot_script.py # 生成各列直方图与箱线图 PNG ``` ## 能力体系 | 能力 | 说明 | 典型产出 | |---|---|---| | 异常值剔除 | IQR / 3σ，逐列判定、整行剔除 | cleaned.csv | | 简单统计 | 均值/中位数/标准差/最值/Q1/Q3/IQR | stats.md | | 绘图脚本 | 生成 matplotlib 代码（文本） | plot_script.py | | 零依赖统计 | 纯标准库，无需 pip | 可离线跑 | ## 输出报告字段 - **概览**：判定方法 / 数值列数 - **逐列统计**：n / 均值 / 中位数 / 标准差 / 最小 / 最大 / Q1 / Q3 / IQR / 剔除阈值 / 异常值数 / 异常值示例 - **配套文件**：cleaned.csv、plot_script.py ## 适合谁用 - 生化/材料/环境/生物等实验学科研究生：原始数据快速清洗 - 科研民工：每次实验完一键出统计与图，省下点 Excel 的时间 - 课程实验/毕设：把脏数据收拾干净再分析 - 任何做数据分析的人 ## ⚠️ 注意事项（必读） - **高度聚集列会过度剔除**：若某列大量取值相同（如 pH 几乎都 7.0），IQR 可能趋近 0 而把正常值判为异常。请结合领域知识核对，必要时换列或改方法。 - **整行删除**：默认剔除「任一数值列含异常值」的整行。若想"按列替换而非删行"，请二次修改脚本。 - **3σ 假设正态**：强偏态数据优先用 IQR 法；3σ 法对非正态分布可能漏判或误判。 - **绘图需自备环境**：plot_script.py 依赖 matplotlib + pandas，本程序本体不依赖，未安装也能完成统计与清洗。 ## 触发词实验数据、数据处理、数据预处理、异常值、离群点、IQR、3σ、三倍标准差、统计、均值、中位数、标准差、最小值、最大值、四分位、箱线图、直方图、绘图、数据清洗、数据分析、科研数据、生化、材料、环境、生物、CSV处理、免费、开源 ## 文件清单 - `SKILL.md` — 本文件 - `examples/exp_prep.md` — 主程序完整源码（复制为 `exp_prep.py` 即可运行，纯标准库无依赖） - `examples/usage.md` — 详细使用说明、方法对比、排错与自定义 - `examples/example_output.md` — 真实示例输出（mock 实验数据跑出的统计报告+清洗数据+绘图脚本）

Resource Information

Author：user_51a923b7

Category：Data Analysis

Version：1.1.10

Auth： No auth

Pricing： Not specified

License information is collected from official sources and may be outdated or missing. Refer to the LICENSE file in the original repository before commercial use.

Similar skills

钢联AI - 智能问数

Marked paidAPI key required

大宗商品价格数据查询技能。用于查询大宗商品期现货价格、宏观经济指标、产业链供需数据、进出口库存数据、金融市场数据等。当用户询问：(1) 期货/现货价格查询，如"螺纹钢价格"、"铜期货收盘价"； (2) 历史行情或趋势分析；(3) 区域或企业价格对比；(4) 宏观经济指标，如GDP、CPI；(5) 产业链上下游数据；(6) 多市场金融数据（期权、股票、债券、外汇）；(7) 结算确认单生成时触发此技能。

全能金融爬虫（新增MCP接入）

Marked paidAPI key required

中国金融机构数据爬取与分析综合 Skill v10.0.0。2334家/43大类机构名单、60+财经媒体源舆情、 A股报告/公告/研报、60+种查询9适配器金融数据（akshare/东财/yfinance/RSS/Tushare/CoinGecko/ExchangeRate 自动降级 + 缓存）、爬取调度中心（智能选源 + 增量 + 断点续爬）、网页操作增强（Shadow DOM / iframe / Cookie / OCR / 行为 / WS）、 79 MCP 工具 + 8 Resource + 10 Prompt、类人浏览器、风险分析、定期报告解读。 🆕 v10.0.0 三轨升级（爬取调度 / 网页操作 / MCP 数据获取）：调度：CrawlerDispatcher 4 策略智能选源 + BaseScraper 协议统一 + 增量 + 断点续爬 + 反爬包裹。网页：Shadow DOM / iframe 穿透 + Cookie Banner 自动 + 验证码 OCR（stdlib→ddddocr→tesseract）+ 人类行为轨迹 + WebSocket 监听。 MCP：Tushare / CoinGecko / Alpha Vantage / ExchangeRate 4 适配器 + LRU+TTL 缓存 + 8 Resource + 10 Prompt。 v9.0.0（承接）5 适配器 36 查询 + 反爬深度（代理/Header/指纹/节奏）+ UA 池 24。 v8.0.0（承接）反爬管道 + 数据分析增强（关键词/跨源/趋势/对标/洞察）。触发词：爬取机构、舆情爬取、全网舆情、网页爬取、智能爬取、汇总分析、语音交互、公告下载、券商研报、批量爬取、定时爬取、文档分析、东方财富、龙虎榜、监管动态、类人爬取、数据回测、 Shadow DOM、iframe穿透、Cookie弹窗、验证码识别、人类行为、WebSocket监听、数字货币行情、外汇汇率、Tushare、CoinGecko、断点续爬、增量爬取、爬取调度、数据源健康。结构化数据、期货、宏观经济、港股美股、风险指标、组合复刻、夏普比率、多源数据、统一查询、数据源切换、免费代理、代理发现、Header随机化、指纹会话等（完整触发词见下方 auto_trigger）。

罗斯蒙德定向舆情监测

Not specified

【罗斯蒙德定向舆情监测】南京罗斯蒙德基于已交付项目沉淀的定向舆情监测场景：用户指定监测目标与数据源，经网站定向抓取与搜索引擎双通道采集，脚本化完成去重、情感/风险/热点分析与 HTML 舆情看板展示，一套骨架参数化适配多行业。Trigger on: 舆情监测/舆情监控/定向舆情/指定网站舆情/行业舆情/舆情看板/指定来源采集/搜索引擎舆情采集/public opinion monitoring/opinion tracking/sentiment dashboard

smart-charts

Not specified

32种图表，3 个主题，2步生成： 1.上传数据 — 将 CSV / Excel / JSON 等格式的数据文件拖入对话框; 2.查看结果 — 交互式图表（HTML），可保存图表为图片.

AdMapix

Marked freeAPI key required

AdMapix 原始数据层，提供广告创意、应用、排名、下载/收入及市场元数据。返回 AdMapix API 的结构化 JSON；调用方...

论文配图一键生成

Not specified

论文配图一键生成：一条命令从 JSON/CSV/Excel 生成顶刊级学术图表，科研绘图与期刊配图全场景覆盖。33 种图表（森林图/KM 生存曲线（自动风险表）/ROC/校准曲线/决策曲线 DCA/列线图/火山图/雨云图/山脊图/哑铃图/游泳图（逐例时长+里程碑）/ 肿瘤缓解瀑布图/UpSet 交集/PRISMA 流程图/漏斗/BA 一致性/PCA/热图/箱线/小提琴/ 组合图/Cox 多因素回归森林图等），9 套配色（含色盲安全 Okabe-Ito 与期刊色板），9 种期刊投稿预设， YAML 流水线一条命令出全套论文图，一次渲染多格式导出（TIFF/PNG/PDF）， PDF 重叠门禁，600dpi。纯本地运行，数据不出机，中文零配置。适用：写论文/ 投稿要配图、把数据变成可投稿图表、批量重出全套图。不适用：文本润色/翻译/ 改写（请用写作类工具）；商业报表/仪表盘/海报装饰；无数据支撑的纯示意图。

What is a Skill

A Skill is a packaged single capability, such as text recognition, document summarization, or keyword extraction. Developers wrap the calling logic and prompts into a plugin-like unit, so users can load it without understanding the underlying model. StackPilot indexes a large number of skills that can be tried instantly or assembled into a plan.