文章批量清洗与 SEO 一键生成脚本：采集 → 清洗 → AI 改写 → SEO → 合并 articles_final.json 一站式，适配 scscw.com Nice 主题自动发布流水线。
文章批量清洗与 SEO 一键生成脚本是一套针对 scscw.com Nice 主题自动发布流水线的数据准备工具。它能把采集到的原始 HTML/JSON 文章一键清洗成符合 publish.js 数据契约的格式（id / title / html / summary / price / SEO），内置 AI 改写模块（去 AI 味 + 润色），自动生成 SEO 三件套（meta_title / keywords / description），并根据内容长度和栏目权重自动估算价格。
核心特性
采集 → 清洗 → AI 改写 → SEO → 合并 articles_final.json，一站式数据准备
内置 AI 改写规则引擎（去 AI 味、同义词替换、段落顺序打散）
自动生成 SEO 三件套：meta_title / meta_keywords / meta_description
按正文长度与栏目权重自动估算价格（0.9~9.9 元）
HTML 净化：剔除脚本/样式/iframe/广告外链，规范化空白
合并 articles_final.json 时自动分配 ID，避免冲突
目录结构
article_cleaner.py：核心清洗 + AI 改写 + SEO 生成（单文件版）pipeline.py：批量流水线：从目录读取素材到 JSONLmerge_to_articles_final.py：合并到 articles_final.json，自动分配 IDsample_input.jsonl：示例输入（3 条）requirements.txt：Python 依赖
三分钟跑起来
安装依赖：
pip install -r requirements.txt跑一遍示例：
python article_cleaner.py sample_input.jsonl sample_output.jsonl python merge_to_articles_final.py sample_output.jsonl 600
检查 articles_final.json 末尾，应能多出 3 条 ID 600/601/602
典型用法
场景 A：单文件批量清洗
python article_cleaner.py raw.jsonl cleaned.jsonl
场景 B：从一个目录读取所有 .html/.txt/.md
python pipeline.py source_dir/ cleaned.jsonl
场景 C：把清洗结果合并到 publish.js 数据源
python merge_to_articles_final.py cleaned.jsonl 516
清洗规则详情
HTML 清洗
移除
<script>、<style>、<iframe>、<noscript>、<link>过滤包含 ad / track / utm_ / affiliate 的外链
移除 URL 里的 utm_* / fbclid / gclid 追踪参数
统一
<img>标签：合并 data-src / data-original，强制加loading="lazy"规范化空白（连续空格 / 多余空行）
AI 改写（规则版）
同义词替换：教程 → 完整教程，指南 → 实战指南，入门 → 零基础入门
段落顺序打散（保留首段和末段，确保可读性）
集成 LLM 时只需替换
article_cleaner.py里的ai_rewrite函数
SEO 生成
meta_title：原标题 + " - 素材市场" 后缀
meta_keywords：栏目词 + 词频前 9 的实词
meta_description：栏目前缀 + 正文前 140 字
价格估算
正文长度 < 1000 字：基础价 2.9
1000–3000 字：+1.0
3000–6000 字：再 +1.0
6000 字以上：再 +1.5
AI 工具 / 小程序源码 / 整站源码 / APP 源码 / 教程类：+1.0
上限 9.9，下限 0.9（符合 scscw.com 价格区间硬性规则）
注意事项
article_cleaner.py不依赖第三方库（纯标准库），方便部署pipeline.py调用 article_cleaner，无需重复实现merge_to_articles_final.py默认 catId=1（AI工具），如要其他栏目请修改脚本里的 catId 字段，或手动编辑 articles_final.jsonAI 改写仅为规则版，效果有限；生产环境建议接入真实 LLM，把
article_cleaner.ai_rewrite替换为调用本地 Ollama / 在线 API；注意输出要去除<thinking>等模型内部标记
常见问题
清洗后中文字符变成乱码？ 输入输出都要 UTF-8。Windows 默认 GBK，用 VS Code / Notepad++ 另存为 UTF-8 即可
段落打散后阅读不通顺？ 调整
article_cleaner.ai_rewrite里的random.shuffle逻辑，或者关闭打散（注释掉对应行）关键词提取不准？ 当前用词频，可替换为 jieba 分词 + TF-IDF：
pip install jieba，然后在extract_keywords里替换 freq 计算逻辑
版权声明
1. 本站文字内容为原创编撰或者网络搜集整理，受著作权保护，禁止未经授权批量采集转载。
2. 本站分享的各类源码、AI大模型、程序工具仅作技术科普部署教程使用，不直接存储原版版权文件。
3. 所有第三方资源的知识产权、开源协议、商用授权规则均归原开发团队所有。
4. 使用者下载、部署、二次开发必须严格遵守国家著作权相关法律法规，以及资源官方许可协议，如需商业运营，务必向版权方申请合法授权。
5. 因用户私自商用、违规分发资源造成的法律纠纷与经济损失，全部由使用者自行承担，本站不承担连带责任。
