GBK解码：非法字符的解决方案

GBK大魔王的日常刁难#

Python爬虫下载了一个中文网页，用UTF-8解码爆红字堆满屏幕，切换GBK解码——“UnicodeDecodeError multibyte sequence”冲出控制台。GBK兼容的字符范围虽然覆盖大多数常用中文，但当原始文本混入了一两个UTF-8特有的emoji、全角符号或者其他编码格式泄露进来的字节时，GBK解码器碰到非法字节序列直接报错罢工。

错误成因#

核心原因是编码字节和实际内容编码之间发生了不完全一致的扭曲。网页声明了编码为GBK，但页面某个角落有一小段内容是后端模板在拼接时无意间塞入了一个UTF-8字符或者用户提交的字段含emoji。GBK解释器遇到那个不认识的字节组合当场拒绝处理。

解决方案#

1
text = raw_bytes.decode("gbk", errors="ignore")   # 忽略非法字符直接跳过损失干净度但完成度最高
2
text = raw_bytes.decode("gbk", errors="replace")  # 用标准替代符号填补缺失位保留结构完整

后续预防#

统一采集管线全部以UTF-8为唯一编码标准，从源头掐断各种混乱编码的统一处理成本。所有下载后的数据先在采集入口统一转码成UTF-8格式存储，后续所有处理环节都只面对一种一致的编码。