-
python判断文件夹和文件是否存在
所属栏目:[Python] 日期:2020-12-20 热度:81
1.os.path.exists() 既可以判断文件是否存在,又可以判断文件夹是否存在 2.os.path.isfile() 判断文件是否存在 3.os.path.isdir() 判断文件夹是否存在 ?[详细]
-
python创建多维字典方法
所属栏目:[Python] 日期:2020-12-20 热度:185
python不直接创建多维字典,需要逐层判断不存在创建,存在追加: 例如: 不能直接 dictName['key1']['key2']['key3']['key4']['key5'] =?['123','456'] ? 下面函数实现: def createDict(tupleVals,val): tupNum = len(tupleVals) tempName = dictName = {}[详细]
-
Python计数器 | collections.Counter
所属栏目:[Python] 日期:2020-12-20 热度:145
Counter类的目的是用来跟踪值出现的次数。它是一个无序的容器类型,以字典的键值对形式存储,其中元素作为key,其计数作为value。计数值可以是任意的Interger(包括0和负数)。 1、Counter类创建的四种方法: c = Counter() # 创建一个空的Counter类 print(c[详细]
-
python中os.path.abspath与os.path.realpath 区别
所属栏目:[Python] 日期:2020-12-20 热度:87
python中os.path.abspath与os.path.realpath 区别 cd /home mkdir a mkdir b touch a/1.txt ln -s /home/a/1.txt /home/b/1.txt python 进入实时模式 import os os.path.abspath("a/1.txt") '/root/a/1.txt' os.path.abspath("b/1.txt") '/root/b/1.txt' os.[详细]
-
python3+Scrapy爬虫使用pipeline数据保存到文本和数据库,数据少
所属栏目:[Python] 日期:2020-12-20 热度:127
爬取的数据结果是没有错的,但是在保存数据的时候出错了,出现重复数据或者数据少问题。那为什么会造成这种结果呢? 其原因是由于Spider的速率比较快,而scapy操作数据库操作比较慢,导致pipeline中的方法调用较慢,这样当一个变量正在处理的时候,一个新的[详细]
-
python生产者和消费者模式实现(三)进程池方式
所属栏目:[Python] 日期:2020-12-20 热度:109
注意:如果要使用Pool(进程池方式)创建进程,就需要使用multiprocessing.Manager()中的 Queue(),而不是multiprocessing.Queue() import time import random from multiprocessing import Pool,Manager # 生产者 def producer(q,i): food = 'Spam-%d' % i[详细]
-
python:Json模块dumps、loads、dump、load介绍
所属栏目:[Python] 日期:2020-12-20 热度:51
? 1.json.dumps()用于将dict类型的数据转成str import json dict = {'a': 'wo','b': 'zai','c': 'zhe','d': 'li'} string = json.dumps(dict) print(dict) print(string) print(type(dict)) print(type(string)) with open(r'C:UserszyDocumentsGitHubp[详细]
-
python生产者和消费者模式实现(二)多进程方式
所属栏目:[Python] 日期:2020-12-20 热度:150
import time import random from multiprocessing import Process,Queue # 生产者 def producer(q,i): food = 'Spam-%d' % i time.sleep(random.uniform(2,5)) timeVal = time.strftime("%Y-%m-%d %H:%M:%S",time.localtime()) print('时间:%st生产者:%d[详细]
-
python创建文件夹
所属栏目:[Python] 日期:2020-12-20 热度:65
import os filePath = 'D:12345' # 判断文件夹是否存在,不存在则创建文件夹 if not os.path.exists(filePath): os.makedirs(filePath)[详细]
-
python 逐行读取txt文件
所属栏目:[Python] 日期:2020-12-20 热度:79
逐行读取txt文件 path = r'D:1234561.txt' with open(path,'r',encoding='utf-8') as f: ? ? for line in f: ? ??? ??value = line[:-1] #去掉换行符 ? ??? ??print(value) ?[详细]
-
python字典中列表追加数据
所属栏目:[Python] 日期:2020-12-20 热度:116
dict = {} for i in range(1,6): if i not in dict: dict[i] = [] for j in range(101,106): dict[i].append(j) print(dict)[详细]
-
python生产者和消费者模式实现(一)普通方式
所属栏目:[Python] 日期:2020-12-20 热度:69
import time import random from multiprocessing import Queue # 生产者 def producer(q,num): for i in range(1,num + 1): food = 'Spam-%d' % i # time.sleep(random.uniform(1,2)) timeVal = time.strftime("%Y-%m-%d %H:%M:%S",time.localtime()) print[详细]
-
crawlscrapy简单使用方法
所属栏目:[Python] 日期:2020-12-20 热度:193
crawlscrapy简单使用方法 1.创建项目: scrapy startproject 项目名 例如: scrapy startproject wxapp windows下,cmd进入项目路径例如 d:pythonCodespiderProjectscrapy startproject wxapp 将创建项目名为 wxapp 2.使用命令创建一个爬虫: scrapy gensp[详细]
-
python列表转换为字符串
所属栏目:[Python] 日期:2020-12-20 热度:115
对于非纯字符串组成的列表,需要使用map(str,列表)转换,纯字符串组成的列表则不需要转换 list1 = [1,2,3,4,5] c = ','.join(map(str,list1)) print(c) print(type(c)) list2 = ['1','2','3','4','5'] d = ','.join(list2) print(d) print(type(d)) ?[详细]
-
Python enumerate() 函数
所属栏目:[Python] 日期:2020-12-20 热度:103
描述 enumerate() 函数用于将一个可遍历的数据对象(如列表、元组或字符串)组合为一个索引序列,同时列出数据和数据下标,一般用在 for 循环当中。 Python 2.3. 以上版本可用,2.6 添加 start 参数。 语法 以下是 enumerate() 方法的语法: enumerate ( sequen[详细]
-
python判断字符串中是否包含子字符串
所属栏目:[Python] 日期:2020-12-20 热度:112
python判断字符串中是否包含子字符串 s = '1234问沃尔沃434' if s.find('沃尔沃') != -1: ????print('存在') else: ????print('不存在') ?[详细]
-
scrapy简单使用方法
所属栏目:[Python] 日期:2020-12-20 热度:149
scrapy简单使用方法 1.创建项目: scrapy startproject 项目名 例如: scrapy startproject baike windows下,cmd进入项目路径例如 d:pythonCodespiderProjectscrapy startproject baidubaike 将创建项目名为 baidubaike 2.使用命令创建一个爬虫: scrapy[详细]
-
python将字符串插入表中避免单双引号问题
所属栏目:[Python] 日期:2020-12-20 热度:69
调用pymysql.escape_string('向数据库插入的数据') ? 例如: import pymysql str = 'as"sdf' print(pymysql.escape_string(str)) ?[详细]
-
Python 定义常量
所属栏目:[Python] 日期:2020-12-20 热度:180
常量在编写程序的时候,一旦设定就不能再进行变动,常量一种约定俗成的方式,所有字母大写并用下划线分隔单词的方式(如MAX_VALUE,OUT_TIME等),但是python没有提供设置常量用法,需要自己自定义类实现常量功能。 自定义类实现常量功能 这种办法就是解决简[详细]
-
python获取指定文件夹下的文件和文件夹
所属栏目:[Python] 日期:2020-12-20 热度:50
import os filepaths = []; dirpaths = []; pathName = r'C:anfeijson20191128' for root,dirs,files in os.walk(pathName): for file in files: file_path = os.path.join(root,file) filepaths.append(file_path) for dir in dirs: dir_path = os.path.[详细]
-
pymysql增删改查操作
所属栏目:[Python] 日期:2020-12-20 热度:50
表结构 CREATE TABLE `students` ( `id` int(10) unsigned NOT NULL AUTO_INCREMENT, `name` varchar(20) DEFAULT '', `age` tinyint(3) unsigned DEFAULT '0', `height` decimal(5,2) DEFAULT NULL, `gender` enum('男','女','中性','保密') DEFAULT '保密'[详细]
-
python进程池和进程锁
所属栏目:[Python] 日期:2020-12-20 热度:80
1.进程锁: from multiprocessing import Process,Lock def f(l,i): l.acquire() print('hello world',i) l.release() if __name__ == '__main__': lock = Lock() for num in range(10): Process(target=f,args=(lock,num)).start() 2.进程池: from multipr[详细]
-
Python小爬虫实例
所属栏目:[Python] 日期:2020-12-20 热度:56
有几个注意点: # -*- coding: utf-8 -*- # func passport jw.qdu.edu.cn import re urllib # python3后urllib.request代替urllib2 urllib.request json from bs4 BeautifulSoup class taofen: def getHtml(self,pageurl): 获取网站html代码 req = urllib.re[详细]
-
Python第一天 - set
所属栏目:[Python] 日期:2020-12-20 热度:133
(一)初识set dict的作用是建立一组 key 和一组 value 的映射关系,dict的key是不能重复的。 有的时候,我们只想要 dict 的 key,不关心 key 对应的 value,目的就是保证这个集合的元素不会重复,这时,set就派上用场了。(即set值不会重复) set 持有一系[详细]
-
Python第一天 - list\字符串截取
所属栏目:[Python] 日期:2020-12-20 热度:144
(一)list截取 L =['Adam','Lisa','Bart'] print(L[0:3]) ======['Adam'(idnex:0),'Lisa'(index:1),'Bart'(index:2)] 解释:从索引0截取到索引(3-1 = 2) L[:3]表示从0开始取到2 L[1:3]结果为:['Adam','Lisa'] L[:]表示从头取到尾 切片操作还可以指[详细]
