-
python实现爬虫统计学校BBS男女比例之数据处理（三）
所属栏目：[Python] 日期：2020-12-16 热度：131
本文主要介绍了数据处理方面的内容，希望大家仔细阅读。 一、数据分析 得到了以下列字符串开头的文本数据，我们需要进行处理 二、回滚 我们需要对httperror的数据进行再处理 因为代码的原因，具体可见本系列文章（二），会导致文本里面同一个id连续出现几次h[详细]
-
零基础写python爬虫之抓取百度贴吧代码分享
所属栏目：[Python] 日期：2020-12-16 热度：192
这里就不给大家废话了，直接上代码，代码的解释都在注释里面，看不懂的也别来问我，好好学学基础知识去！ 复制代码 代码如下: # -*- coding: utf-8 -*- #--------------------------------------- # 程序：百度贴吧爬虫 # 版本：0.1 # 作者：why # 日期：201[详细]
-
零基础写python爬虫之抓取糗事百科代码分享
所属栏目：[Python] 日期：2020-12-16 热度：197
项目内容： 用Python写的糗事百科的网络爬虫。 使用方法： 新建一个Bug.py文件，然后将代码复制到里面后，双击运行。 程序功能： 在命令提示行中浏览糗事百科。 原理解释： 首先，先浏览一下糗事百科的主页：http://www.qiushibaike.com/hot/page/1 可以看出[详细]
-
零基础写python爬虫之抓取百度贴吧并存储到本地txt文件改进版
所属栏目：[Python] 日期：2020-12-16 热度：157
百度贴吧的爬虫制作和糗百的爬虫制作原理基本相同，都是通过查看源码扣出关键数据，然后将其存储到本地txt文件。 项目内容： 用Python写的百度贴吧的网络爬虫。 使用方法： 新建一个BugBaidu.py文件，然后将代码复制到里面后，双击运行。 程序功能： 将贴吧[详细]
-
零基础写python爬虫之打包生成exe文件
所属栏目：[Python] 日期：2020-12-16 热度：65
1.下载pyinstaller并解压（可以去官网下载最新版）： https://github.com/pyinstaller/pyinstaller/ 2.下载pywin32并安装（注意版本，我的是python2.7）： https://pypi.python.org/pypi/pywin32 3.将项目文件放到pyinstaller文件夹下面（我的是baidu.py）：[详细]
-
零基础写python爬虫之爬虫编写全记录
所属栏目：[Python] 日期：2020-12-16 热度：183
先来说一下我们学校的网站： http://jwxt.sdu.edu.cn:7777/zhxt_bks/zhxt_bks.html 查询成绩需要登录，然后显示各学科成绩，但是只显示成绩而没有绩点，也就是加权平均分。 显然这样手动计算绩点是一件非常麻烦的事情。所以我们可以用python做一个爬虫来解决[详细]
-
零基础写python爬虫之爬虫框架Scrapy安装配置
所属栏目：[Python] 日期：2020-12-16 热度：153
前面十章爬虫笔记陆陆续续记录了一些简单的Python爬虫知识， 用来解决简单的贴吧下载，绩点运算自然不在话下。 不过要想批量下载大量的内容，比如知乎的所有的问答，那便显得游刃不有余了点。 于是乎，爬虫框架Scrapy就这样出场了！ Scrapy = Scrach+Python[详细]
-
零基础写python爬虫之使用Scrapy框架编写爬虫
所属栏目：[Python] 日期：2020-12-16 热度：177
网络爬虫，是在网上进行数据抓取的程序，使用它能够抓取特定网页的HTML数据。虽然我们利用一些库开发一个爬虫程序，但是使用框架可以大大提高效率，缩短开发时间。Scrapy是一个使用Python编写的，轻量级的，简单轻巧，并且使用起来非常的方便。使用Scrapy可[详细]
-
一则python3的简单爬虫代码
所属栏目：[Python] 日期：2020-12-16 热度：79
不得不说python的上手非常简单。在网上找了一下，大都是python2的帖子，于是随手写了个python3的。代码非常简单就不解释了，直接贴代码。 复制代码 代码如下: #test rdp import urllib.request import rebr #登录用的帐户信息 data={} data['fromUrl']='' da[详细]
-
使用Python编写简单网络爬虫抓取视频下载资源
所属栏目：[Python] 日期：2020-12-16 热度：186
我第一次接触爬虫这东西是在今年的5月份，当时写了一个博客搜索引擎，所用到的爬虫也挺智能的，起码比电影来了这个站用到的爬虫水平高多了！ 回到用Python写爬虫的话题。 Python一直是我主要使用的脚本语言，没有之一。Python的语言简洁灵活，标准库功能强大[详细]
-
Python实现爬取知乎神回复简单爬虫代码分享
所属栏目：[Python] 日期：2020-12-16 热度：128
看知乎的时候发现了一个 “如何正确地吐槽” 收藏夹，里面的一些神回复实在很搞笑，但是一页一页地看又有点麻烦，而且每次都要打开网页，于是想如果全部爬下来到一个文件里面，是不是看起来很爽，并且随时可以看到全部的，于是就开始动手了。 工具 1.Python[详细]
-
Python实现抓取页面上链接的简单爬虫分享
所属栏目：[Python] 日期：2020-12-16 热度：110
除了C/C++以外，我也接触过不少流行的语言，PHP、java、javascript、python，其中python可以说是操作起来最方便，缺点最少的语言了。 前几天想写爬虫，后来跟朋友商量了一下，决定过几天再一起写。爬虫里重要的一部分是抓取页面中的链接，我在这里简单的实现[详细]
-
Python编写百度贴吧的简单爬虫
所属栏目：[Python] 日期：2020-12-16 热度：62
操作：输入带分页的地址，去掉最后面的数字，设置一下起始页数和终点页数 功能：下载对应页码的所有页面并储存为HTML文件，以当前时间命名 代码： # -*- coding: utf-8 -*- #----------------------------# 程序：百度贴吧的小爬虫# 日期：2015/03/28# 语言[详细]
-
python3简单实现微信爬虫
所属栏目：[Python] 日期：2020-12-16 热度：53
使用ghost.py 通过搜搜 的微信搜索来爬取微信公共账号的信息 # -*- coding: utf-8 -*-import sysreload(sys)import datetimeimport timesys.setdefaultencoding("utf-8") from ghost import Ghostghost = Ghost(wait_timeout=20) url="http://weixin.sogou.c[详细]
-
使用Python的Scrapy框架编写web爬虫的简单示例
所属栏目：[Python] 日期：2020-12-16 热度：79
在这个教材中,我们假定你已经安装了Scrapy。假如你没有安装,你可以参考这个安装指南。 我们将会用开放目录项目(dmoz)作为我们例子去抓[详细]
-
Python制作简单的网页爬虫
所属栏目：[Python] 日期：2020-12-16 热度：80
1.准备工作： 工欲善其事必先利其器，因此我们有必要在进行Coding前先配置一个适合我们自己的开发环境，我搭建的开发环境是： 操作系统：Ubuntu 14.04 LTS Python版本：2.7.6 代码编辑器：Sublime Text 3.0 这次的网络爬虫需求背景我打算延续DotNet开源大本[详细]
-
简单实现python爬虫功能
所属栏目：[Python] 日期：2020-12-16 热度：121
在我们日常上网浏览网页的时候，经常会看到一些好看的图片，我们就希望把这些图片保存下载，或者用户用来做桌面壁纸，或者用来做设计的素材。 我们最常规的做法就是通过鼠标右键，选择另存为。但有些图片鼠标右键的时候并没有另存为选项，还有办法就通过就是[详细]
-
python字典get()方法用法分析
所属栏目：[Python] 日期：2020-12-16 热度：56
本篇章节讲解python字典get()方法用法。供大家参考研究。具体分析如下： 如果我们需要获取字典值的话，我们有两种方法，一个是通过dict['key'],另外一个就是dict.get()方法。 这里给大家分享的就是字典的get()方法。 这里我们可以用字典做一个小游戏[详细]
-
在Python中用get()方法获取字典键值的教程
所属栏目：[Python] 日期：2020-12-16 热度：84
get()方法返回给定键的值。如果键不可用，则返回默认值None。 语法 以下是get()方法的语法： dict.get(key,default=None) 参数 key -- 这是要搜索在字典中的键。 default -- 这是要返回键不存在的的情况下默认值。 返回值 该方法返回一个给定键的值。如果键[详细]
-
Python中使用items()方法返回字典元素对的教程
所属栏目：[Python] 日期：2020-12-16 热度：107
items()方法返回字典的(键，值)元组对的列表 语法 以下是items()方法的语法： dict.items() 参数 NA 返回值 此方法返回元组对的列表。 例子 下面的例子显示了items()方法的使用。 #!/usr/bin/pythondict = {'Name': 'Zara','Age': 7}print "Value : %s" % di[详细]
-
Python中返回字典键的值的values()方法使用
所属栏目：[Python] 日期：2020-12-16 热度：173
values()方法返回给定的字典中所有可用值的列表。 语法 以下是values()方法的语法： dict.values() 参数 NA 返回值 此方法返回在给定字典中的所有可用的值的列表。 例子 下面的例子显示values()方法的使用。 #!/usr/bin/pythondict = {'Name': 'Zara','Age':[详细]
-
python 将字符串转换成字典dict
所属栏目：[Python] 日期：2020-12-16 热度：55
复制代码 代码如下: JSON到字典转化： dictinfo = simplejson.loads(json_str) 输出dict类型 字典到JSON转化： jsoninfo = simplejson.dumps(dict)输出str类型 比如： info = {'name' : 'jay','sex' : 'male','age': 22} jsoninfo = simplejson.dumps(info)[详细]
-
Python中实现字符串类型与字典类型相互转换的方法
所属栏目：[Python] 日期：2020-12-16 热度：181
本文以实例形式简述了Python中字符串类型与字典类型相互转换的方法，是比较实用的功能。具体方法如下： 一、字典(dict)转为字符串(string) 我们可以比较容易的将字典(dict)类型转为字符串(string)类型。 通过遍历dict中的所有元素就可以实现字典到字符串的转[详细]
-
在Python中用keys()方法返回字典键的教程
所属栏目：[Python] 日期：2020-12-16 热度：113
keys()方法返回在字典中的所有可用的键的列表。 语法 以下是keys()方法的语法： dict.keys() 参数 NA 返回值 此方法返回在字典中的所有可用的键的列表。 例子 下面的例子显示keys()方法的用法。 #!/usr/bin/pythondict = {'Name': 'Zara','Age': 7}print "Va[详细]
-
python创建和使用字典实例详解
所属栏目：[Python] 日期：2020-12-16 热度：188
字典是python中唯一内建的映射类型。字典中的值并没有特殊的顺序，但是都存储在一个特定的键（key）里。 键可以是数字，字符串甚至是元组。 1. 创建和使用字典 字典可以通过下面的方式创建： 复制代码 代码如下: phonebook = {'Alice':'2341','Beth':'9102','[详细]
