欢迎光临
Python处理大数据——csv文件类型的小技巧
   

Python处理大数据——csv文件类型的小技巧

当我们遇到一个超大的csv数据文件的时候,双击打开是不现实的。即使打开csv,只能看到104万行的数据,后面都是隐藏的,所以打开也是没有意义的。如果不打开,又无法查看到表的数据结构,就无法进行下一步的工作,比如数据筛选。

Python处理大数据——csv文件类型的小技巧,第1张

一、大数据处理工具

对于超百万行,甚至更大的数据,我推荐以下几种工具:

1、Python:pandas在升级为2.0版本之后,对csv处理速度更快了。以前被人诟病的慢有所改进,可以作为首选。

2、SQL或者Access,SQL可视化好,可以清楚地看到数据结构与内容,速度也非常快,但需要简单学习一下SQL语言。

3、power query,excel自带工具,简单快捷,不需要额外生产力。但用起来处理数据的感觉有些吃力,不如前两个。

二、Python处理大数据技巧

1、读取时不要轻易使用encoding参数

此参数对应两个常用值,gbk、utf-8,对应下面截图中两种格式,如果格式不对会报错误。意思为:'gbk’编解码器无法解码位置2中的字节0xbf:非法的多字节序列。

Python处理大数据——csv文件类型的小技巧,第2张

如果是普通数据量较小的表格,可以直接调用参数,如果表格很大,打不开的情况下,更别说改完格式另存为了,所以尽量先不填此参数(但一般默认都是gbk)

Python处理大数据——csv文件类型的小技巧,第3张

2、异形表头

在没有打开表的情况下,我们无法得知表格是否为真正的二维表格,例如下面这种情况,读取会报错,意思是识别到第七行有21列。

Python处理大数据——csv文件类型的小技巧,第4张因为当读取到第四行和第五行的时候,会默认只有一列表格,而到第7行的时候,却又变成了21列,故pandas判断这不是一个正常二维数据结构。

Python处理大数据——csv文件类型的小技巧,第5张

为了避免此种情况。要利用读取数据的参数delimiter=“\t”,这样数据就被强制转换成一列了,你就能看到你想要读取的数据在第几列了,再将此参数删掉,再用参数header=2就可以搞定了。

data = pd.read_csv(r"C:\Users\ZWD\Desktop\测试\示例.csv",dtype_backend="pyarrow",``delimiter="\t")

Python处理大数据——csv文件类型的小技巧,第6张

综上所述:完整代码如下

   ``data = pd.read_csv(file,dtype_backend="pyarrow",header=2)``print(data.head(10))

Python处理大数据——csv文件类型的小技巧,第7张

三、内存溢出

当读取特别大的表时,会提示内存溢出的问题,csv格式较少遇到,xlsx格式可能较多,可以使用下面的方法进行尝试。

1. 分块读取文件

我们可以将文件分成多个块,逐块读取,避免加载整个文件。例如:

chunksize = 100000``for df in pd.read_excel(filez,sheet_name=sheet,chunksize=chunksize)``# 对分块进行处理

2. 指定行数范围读取

可以只读取文件的某些行,避免读取不需要的行。例如:

df = pd.read_excel(file,sheet_name=sheet,skiprows=100000,nrows=100000)`  `# 跳过前10万行,读取50万行

3. 选择需要的列读取

通过usecols参数只选择需要的列,避免读取无用的数据列。

df = pd.read_excel(file,sheet_name=sheet,usecols=["col1","col2","col3"])``# 读取想要阿列
---------------------------END---------------------------

题外话

Python处理大数据——csv文件类型的小技巧,在这里插入图片描述,第8张

感兴趣的小伙伴,赠送全套Python学习资料,包含面试题、简历资料等具体看下方。

👉CSDN大礼包🎁:全网最全《Python学习资料》免费赠送🆓!(安全链接,放心点击)

一、Python所有方向的学习路线

Python所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。

Python处理大数据——csv文件类型的小技巧,img,第9张

Python处理大数据——csv文件类型的小技巧,img,第10张

二、Python必备开发工具

工具都帮大家整理好了,安装就可直接上手!Python处理大数据——csv文件类型的小技巧,img,第11张

三、最新Python学习笔记

当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。

Python处理大数据——csv文件类型的小技巧,img,第12张

四、Python视频合集

观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

Python处理大数据——csv文件类型的小技巧,img,第13张

五、实战案例

纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。

Python处理大数据——csv文件类型的小技巧,img,第14张

六、面试宝典

Python处理大数据——csv文件类型的小技巧,在这里插入图片描述,第15张

Python处理大数据——csv文件类型的小技巧,在这里插入图片描述,第16张

简历模板Python处理大数据——csv文件类型的小技巧,在这里插入图片描述,第17张

👉CSDN大礼包🎁:全网最全《Python学习资料》免费赠送🆓!(安全链接,放心点击)

若有侵权,请联系删除

 
 小牧童  杜鹃花的特点和生活环境  真人性游戏  菠萝长在哪  极乐世界下载  何洁你是我的风景 
打赏
版权声明:本文采用知识共享 署名4.0国际许可协议 [BY-NC-SA] 进行授权
文章名称:《Python处理大数据——csv文件类型的小技巧》
文章链接:https://goodmancom.com/wl/175835.html