HTML清洗+AI改写+SEO生成+价格估算 一站式 合入 publish.js 数据契约
采集了一堆 HTML 文章，但混杂广告、追踪参数、低质量段落，直接推 publish.js 又会重复或违规？本资源是配套 scscw.com Nice 主题自动发布流水线的数据准备工具。包含 HTML 清洗器、AI 改写引擎、SEO 三件套生成、价格估算、合入 articles_final.json 的完整脚本，零依赖标准库实现，即插即用。
[判断标准] 你的素材是否需要走清洗流程
符合任意两项就该用：
原始内容含 ad / utm_ / 追踪链接
多个平台采集来的标题格式不统一
正文段落顺序混乱、关键词堆砌
需要批量估算售价、生成 SEO
想直接合并到 publish.js 的 articles_final.json
[关键参数] 五维清洗规则
①HTML 净化：移除 script/style/iframe，规范化空白
②链接清洗：过滤 ad/track/utm_/affiliate 外链，去掉追踪参数
③图片统一：合并 data-src/data-original，强制 lazy loading
④AI 改写：同义词替换 + 段落顺序打散（保留首尾段）
⑤SEO 三件套：标题加 "-素材市场" 后缀，关键词提取 + 描述自动生成
[避坑点] 不要把原始 HTML 里的 <script> 留到发布后
有些素材网站会把广告代码塞在正文里，发布到 scscw 后不仅难看，还会触发安全告警。article_cleaner.HTMLCleaner 默认过滤 5 类标签；如果你有自定义需求（比如想保留 <pre>），可以修改 SKIP_TAGS 集合。
[易踩坑] 价格估算只是参考，必须人工复核
脚本根据正文长度 + 栏目权重自动出价（0.9~9.9），但 0.9 的文章可能内容很精品，9.9 的可能是水货。merge_to_articles_final.py 会把价格写入 articles_final.json，发布前请打开 JSON 检查一遍，过低/过高手动调一下。
[场景建议] 三类典型工作流
①单文件批量：python article_cleaner.py raw.jsonl cleaned.jsonl
②目录批量：python pipeline.py source_dir/ cleaned.jsonl（自动识别 .html/.txt/.md/.json）
③合入数据源：python merge_to_articles_final.py cleaned.jsonl 516 → 写入 articles_final.json 自动分配 ID
总结：资源包包含 article_cleaner.py（核心清洗器，零依赖）、pipeline.py（批量流水线）、merge_to_articles_final.py（合入 JSON）、sample_input.jsonl（3 条示例）、requirements.txt。命令行三步即可把 100 篇采集素材变成可发布的 articles_final.json。
