我有两个相同的CSV文件,但是由于UnicodeDecodeError而无法将一个

发布时间：2020-12-17 17:40:52 所属栏目：Python 来源：网络整理

导读：标题解释了主要问题,但让我详细说明.假设我有两个CSV文件-csv1和csv2.它们每个看起来都像这样： csv1：和csv2：问题是,当我运行pd.read_csv(./ csv1.csv)时,它工作正常,但是当我运行pd.read_csv(./ csv2.csv)时,我得到一个 UnicodeDecodeError: 'utf-8' co

标题解释了主要问题,但让我详细说明.假设我有两个CSV文件-csv1和csv2.它们每个看起来都像这样：

csv1：

enter image description here

和csv2：

enter image description here

问题是,当我运行pd.read_csv(‘./ csv1.csv’)时,它工作正常,但是当我运行pd.read_csv(‘./ csv2.csv’)时,我得到一个

UnicodeDecodeError: 'utf-8' codec can't decode byte 0x80 in position 73: invalid start byte

这两个CSV文件之间的区别在于,csv2基本上是csv1,但日期按升序排序.我要做的操作是：

csv2 = csv1.sort_values(by=['date'])

csv2.to_csv('./Data/csv_final.csv',index=False)

有人知道问题出在哪里吗？我尝试过寻找其他解决方案,许多人建议在运行pd.read_csv()时尝试指定不同的编码方案,但我只是对问题可能由什么引起的好奇.

谢谢.

最佳答案

many people suggest to try specifying a different encoding scheme when running pd.read_csv()

是的,这是您应该做的-首先确定CSV文件使用哪种编码方案.由于utf-8的默认设置无效,因此建议使用Windows-1252.

but I’m just curious as to what the problem may be caused by.

这是由于CSV文件未以熊猫默认假定的utf-8编码进行编码,因此尝试使用该编码进行读取是无效的.

您应该确保您了解Unicode and text encoding in Python.最初在进行.to_csv调用时,明确地指定编码也是一个好主意.

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!