-
Python 用Redis简单实现分布式爬虫的方法
所属栏目：[Python] 日期：2020-12-17 热度：81
Redis通常被认为是一种持久化的存储器关键字-值型存储，可以用于几台机子之间的数据共享平台。 连接数据库 注意：假设现有几台在同一局域网内的机器分别为Master和几个Slaver Master连接时host为localhost即本机的ip _db = redis.Reds(host='localhost',port[详细]
-
Scrapy抓取京东商品、豆瓣电影及代码分享
所属栏目：[Python] 日期：2020-12-17 热度：143
1.scrapy基本了解 Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。可以应用在包括数据挖掘， 信息处理或存储历史数据等一系列的程序中。其最初是为了页面抓取(更确切来说,网络抓取)所设计的,也可以应用在获取API所返回的数据(比如Web Servi[详细]
-
python数字图像处理之高级滤波代码详解
所属栏目：[Python] 日期：2020-12-17 热度：102
本文提供许多的滤波方法，这些方法放在filters.rank子模块内。 这些方法需要用户自己设定滤波器的形状和大小，因此需要导入morphology模块来设定。 1、autolevel 这个词在photoshop里面翻译成自动色阶，用局部直方图来对图片进行滤波分级。 该滤波器局部地拉[详细]
-
Python实现希尔排序算法的原理与用法实例分析
所属栏目：[Python] 日期：2020-12-17 热度：84
本篇章节讲解Python实现希尔排序算法的原理与用法。供大家参考研究具体如下： 希尔排序(Shell Sort)是插入排序的一种。也称缩小增量排序，是直接插入排序算法的一种更高效的改进版本。 希尔排序的基本思想是：先将整个待排元素序列分割成若干个子[详细]
-
python简单图片操作：打开\显示\保存图像方法介绍
所属栏目：[Python] 日期：2020-12-17 热度：107
一提到数字图像处理，可能大多数人就会想到matlab，但matlab也有自身的缺点： 1、不开源，价格贵 2、软件容量大。一般3G以上，高版本甚至达5G以上。 3、只能做研究，不易转化成软件。 因此，我们这里使用python这个脚本语言来进行数字图像处理。 要使用pytho[详细]
-
python网络爬虫之如何伪装逃过反爬虫程序的方法
所属栏目：[Python] 日期：2020-12-17 热度：53
有的时候，我们本来写得好好的爬虫代码，之前还运行得Ok,一下子突然报错了。 报错信息如下： Http 800 Internal internet error 这是因为你的对象网站设置了反爬虫程序，如果用现有的爬虫代码，会被拒绝。 之前正常的爬虫代码如下： from urllib.request imp[详细]
-
Python2.7基于笛卡尔积算法实现N个数组的排列组合运算示例
所属栏目：[Python] 日期：2020-12-17 热度：172
本篇章节讲解Python2.7基于笛卡尔积算法实现N个数组的排列组合运算。供大家参考研究具体如下： 说明：本人前段时间遇到的求n个数组的所有排列组合的问题，发现笛卡尔积算法可以解决，但是网上搜索的只有Java版本的实现，于是自己试着用python实现[详细]
-
深入理解Python分布式爬虫原理
所属栏目：[Python] 日期：2020-12-17 热度：154
首先，我们先来看看，如果是人正常的行为，是如何获取网页内容的。 (1)打开浏览器，输入URL，打开源网页 (2)选取我们想要的内容，包括标题，作者，摘要，正文等信息 (3)存储到硬盘中 上面的三个过程，映射到技术层面上，其实就是：网络请求，抓取结构化数据[详细]
-
pip安装Python库时遇到的问题及解决方法
所属栏目：[Python] 日期：2020-12-17 热度：179
笔者电脑系统是win7，同时安装了Python2.7和Python3.6，但是在通过命令行直接使用“pip install XXX”安装Python库时出现了以下的错误信息： Fatal error in launcher: Unable to create process using '"' 解决方法： 1，找到你的Python版本对应的解释器的[详细]
-
Python实现矩阵转置的方法分析
所属栏目：[Python] 日期：2020-12-17 热度：181
本篇章节讲解Python实现矩阵转置的方法。供大家参考研究具体如下： 前几天群里有同学提出了一个问题：手头现在有个列表，列表里面两个元素，比如[1,2]，之后不断的添加新的列表，往原来相应位置添加。例如添加[3,4]使原列表扩充为[[1,3],[2,4]]，[详细]
-
Python内置函数 next的具体使用方法
所属栏目：[Python] 日期：2020-12-17 热度：87
Python 3中的File对象不支持next()方法。 Python 3有一个内置函数next()，它通过调用其next ()方法从迭代器中检索下一个项目。 如果给定了默认值，则在迭代器耗尽返回此默认值，否则会引发StopIteration。 该方法可用于从文件对象读取下一个输入行。 语法 以[详细]
-
Django中login_required装饰器的深入介绍
所属栏目：[Python] 日期：2020-12-17 热度：81
前言 Django提供了多种装饰器， 其中login_required可能是经常会使用到的。 这里介绍下四种使用此装饰器的办法。 当然， 在使用前， 记得在工程目录的settings.py中设置好LOGIN_URL 使用方法 1. URLconf中装饰 from django.contrib.auth.decorators import l[详细]
-
python中print()函数的“，”与java中System.out.print()函数中
所属栏目：[Python] 日期：2020-12-17 热度：68
python中的print()函数和java中的System.out.print()函数都有着打印字符串的功能。 python中: print("hello,world!") 输出结果为：hello,world! java中: System.out.print("hello,world!"); 输出结果为:hello,world! 我们可以看到，这两个函数的用法是一样的[详细]
-
利用python3随机生成中文字符的实现方法
所属栏目：[Python] 日期：2020-12-17 热度：180
前言 运行环境在Python3.6下,Python2的解决方案网上有很多.，想学习python2实现的朋友们可以参考这篇文章：https://www.oudahe.com/p/10606/，下面来一起看看详细的介绍吧。 第一种方法:Unicode码 在unicode码中,汉字的范围是(0x4E00,9FBF) import randomdef[详细]
-
python中WSGI是什么，Python应用WSGI详解
所属栏目：[Python] 日期：2020-12-17 热度：200
为了让大家更好的对python中WSGI有更好的理解，我们先从最简单的认识WSGI着手，然后介绍一下WSGI几个经常使用到的接口，了解基本的用法和功能，最后，我们通过实例了解一下WSGI在实际项目中如何使用。 WSGI是什么？ wsgi是一个web组件的接口防范，wsgi将web[详细]
-
Python内置函数――__import__ 的使用方法
所属栏目：[Python] 日期：2020-12-17 热度：189
__import__() 函数用于动态加载类和函数 。 如果一个模块经常变化就可以使用 __import__() 来动态载入。 语法 __import__ 语法： __import__(name[,globals[,locals[,fromlist[,level]]]]) 参数说明： name -- 模块名 英文文档： __import__(name,globals=No[详细]
-
利用Django内置的认证视图实现用户密码重置功能详解
所属栏目：[Python] 日期：2020-12-17 热度：167
前言 密码重置功能相信对大家来说都不陌生，本文主要给大家介绍了关于使用Django内置的认证视图实现简单的通过邮箱重置密码的功能，分享出来供大家参考学习，下面话不多说了，来一起来看看详细的介绍吧。 版本: django 1.11 实现方法 在django.contrib.auth.[详细]
-
python多进程实现进程间通信实例
所属栏目：[Python] 日期：2020-12-17 热度：154
python中的多线程其实并不是真正的多线程，如果想要充分地使用多核CPU的资源，在python中大部分情况需要使用多进程。Python提供了非常好用的多进程包multiprocessing，只需要定义一个函数，Python会完成其他所有事情。借助这个包，可以轻松完成从单进程到并[详细]
-
Python二叉树的定义及常用遍历算法分析
所属栏目：[Python] 日期：2020-12-17 热度：78
本篇章节讲解Python二叉树的定义及常用遍历算法。供大家参考研究具体如下： 说起二叉树的遍历，大学里讲的是递归算法，大多数人首先想到也是递归算法。但作为一个有理想有追求的程序员。也应该学学非递归算法实现二叉树遍历。二叉树的非递归算法需[详细]
-
Python多进程库multiprocessing中进程池Pool类的使用详解
所属栏目：[Python] 日期：2020-12-17 热度：69
问题起因 最近要将一个文本分割成好几个topic，每个topic设计一个regressor，各regressor是相互独立的，最后汇总所有topic的regressor得到总得预测结果。没错！类似bagging ensemble！只是我没有抽样。文本不大，大概3000行，topic个数为8，于是我写了一个串[详细]
-
详解python上传文件和字符到PHP服务器
所属栏目：[Python] 日期：2020-12-17 热度：114
很多朋友在留言区询问关于python上传文件和字符到服务器的问题，现编针对这个给大家整理了一个解决办法。 上传简单的字符串 def send_str_server(self):payload = {'key1': 'value1','key2': 'value2'}r = requests.post("http://httpbin.org/post",data=pay[详细]
-
Python实现列表删除重复元素的三种常用方法分析
所属栏目：[Python] 日期：2020-12-17 热度：175
本篇章节讲解Python实现列表删除重复元素的三种常用方法。供大家参考研究具体如下： 给定一个列表，要求删除列表中重复元素。 listA = ['python','语','言','是','一','门','动','态','言'] 方法1 ，对列表调用排序，从末尾依次比较相邻两个元素，[详细]
-
分享一个简单的python读写文件脚本
所属栏目：[Python] 日期：2020-12-17 热度：69
先来看一段创建文件并写入文本的代码，然后作介绍。 #!/usr/bin/env python 'makeFile.py -- create a file' import os ls = os.linesep # get filename while True: fname = raw_input('Input an unused file name ') if os.path.exists(fname): print "ERR[详细]
-
python之virtualenv的简单使用方法(必看篇)
所属栏目：[Python] 日期：2020-12-17 热度：143
什么是virtualenv？ virtualenv可以创建独立Python开发环境，比如当前的全局开发环境是python3.6，现在我们有一个项目需要使用django1.3，另一个项目需要使用django1.9，这个时候就可以使用virtualenv创建各自的python开发环境了。 virtualenv的优点 使不同[详细]
-
python shell根据ip获取主机名代码示例
所属栏目：[Python] 日期：2020-12-17 热度：183
这篇文章里我们主要分享了python中shell 根据 ip 获取 hostname 或根据 hostname 获取 ip的代码，具体介绍如下。 笔者有时候需要根据hostname获取ip 比如根据machine.company.com 获得ip 10.173.14.117 方法1：利用 socket 模块 里的 gethostbyname 函数 代[详细]
