house_containers = html_soup.find_all('div',class_="searchResultProperty")

现在我们有了一个在每个搜索页面中抓取结果时可以反复的对象。让我们试着得到上图看到的价格。我将首先定义first变量，它将是我们的第一个房子(从house_containers变量中获得)的结构。

first = house_containers[0]
first.find_all('span')

价格在第3个标签中，即为索引中的位置2

所以价格是很容易得到的，但在文本中有一些特殊的字符。解决这个问题的一个简单方法是用空字符替换特殊字符。当我将字符串转换为整数时，我会对其进行分割。

在最后一步中，itertools帮助我从提取第二步中的数字。我们刚刚抓取到了我们的第一个价格！我们想要得到的其他字段是：标题、大小、发布日期、位置、状态、简短描述、房产链接和缩略图链接。

在构建能从每个页面获得所有结果的完美for循环之前，我将在下面给出一些示例。

这些例子应该足够你自己做研究了。我仅从摆弄html结构和操作返回值以得到我想要的东西中就学到了很多。

尝试反向复制上面的代码(删除[xx:xx]和[0]部分)，并检查结果以及我如何得到最终的代码。我肯定还有十几种方法可以得到同样的结果，但我也不想把它过度复杂化。

最后这两个字段不是必须的，但是我希望保留房产和图像的链接，因为我正在考虑为特定房产构建预警系统或跟踪器。也许这是一个新的项目，所以我把它留在这里只是为了示例的多样性。

玩够标签了，让我们来开始抓取页面!

一旦您熟悉了要提取的字段，并且找到了从每个结果容器中提取所有字段的方法，就可以设置爬虫的基础了。以下列表将被创建来处理我们的数据，稍后将用于组合数据框架。

# setting up the lists that will form our dataframe with all the results

titles = []
created = []
prices = []
areas = []
zone = []
condition = []
descriptions = []
urls = []
thumbnails = []

快速检查一遍最初的网页，我看到一共有871页的结果。我们可以给它们多点空间，设成900次循环。如果它找到一个没有房产容器的页面，我们将加段代码来中止循环。页面命令是地址末尾的&pn=x，其中 x 是结果页码。

代码由两个for循环组成，它们遍历每个页面中的每个房产。

如果你跟随本文，你会注意到在遍历结果时，我们只是在收集前面已经讨论过的数据。由于有以“/”分开的卖价和租金同时存在的情况，价格字段比想象中更加复杂。在一些结果中，索引2返回了“Contacte Anunciante”，因此我更新代码，添加if语句以在下一个索引位置查找价格。

%%time
n_pages = 0
for page in range(0,900):
 n_pages += 1
 sapo_url = 'https://casa.sapo.pt/Venda/Apartamentos/?sa=11&lp=10000&or=10'+'&pn='+str(page)
 r = get(sapo_url,headers=headers)
 page_html = BeautifulSoup(r.text,'html.parser')
 house_containers = page_html.find_all('div',class_="searchResultProperty")
 if house_containers != []:
 for container in house_containers:
Price
price = container.find_all('span')[2].text

if price == 'Contacte Anunciante':

price = container.find_all('span')[3].text

if price.find('/') != -1:

price = price[0:price.find('/')-1]

if price.find('/') != -1:

price = price[0:price.find('/')-1]
price = [int(price[s]) for s in range(0,len(price)) if price[s].isdigit()]

price = ''

for x in price:

price = price+str(x)

prices.append(int(price))
Zone
location = container.findall('p',class="searchPropertyLocation")[0].text

location = location[7:location.find(',')]

zone.append(location)
Title
name = container.find_all('span')[0].text

titles.append(name)
Status
status = container.find_all('p')[5].text

condition.append(status)
Area
m2 = container.find_all('p')[9].text

if m2 != '-':

m2 = m2.replace('xa0','')

m2 = float("".join(itertools.takewhile(str.isdigit,m2)))

areas.append(m2)
else:

m2 = container.find_all('p')[7].text

if m2 != '-':

m2 = m2.replace('xa0',m2)))

areas.append(m2)

else:

areas.append(m2)
Creation date
date = pd.to_datetime(container.findall('div',class="searchPropertyDate")[0].text[21:31])

created.append(date)
Description
desc = container.findall('p',class="searchPropertyDescription")[0].text[7:-6]

descriptions.append(desc)
url
link = 'https://casa.sapo.pt/' + container.find_all('a')[0].get('href')[1:-6]

urls.append(link)
image
img = str(container.find_all('img')[0])

img = img[img.find('id=')-2]

thumbnails.append(img)

else:

break
sleep(randint(1,2))
print('You scraped {} pages containing {} properties.'.format(n_pages,len(titles)))

最后我添加了sleep命令，以便在每个页面之间等待1到2秒。

记住，你不需要抓取整整871页。您可以在循环中更改变量sapo_url以包含特定的过滤器。只需在浏览器中执行你想要的过滤器并进行搜索。地址栏将刷新并显示带有过滤器的新url。在我上图贴出的循环中，我实际上将结果限制在价格高于10,000欧元(&lp= 10,000)的范围内。

最后一个转换

现在，我们应该将所有这些变量保存在一个数据结构（dataframe)中，这样我们就可以将其保存为csv或excel文件，并在以后访问它，而不必重复上述过程。

我会为这些列定义名称，并将所有内容合并到一个数据结构（dataframe）中。我在最后加上[cols]这样列就按这个顺序出来了。

cols = ['Title','Zone','Price','Size (m2)','Status','Description','Date','URL','Image']
lisboa = pd.DataFrame({'Title': titles,'Price': prices,'Size (m2)': areas,'Zone': zone,'Date': created,'Status': condition,'Description': descriptions,'URL': urls,'Image': thumbnails})[cols]
lisboa.to_excel('lisboa_raw.xls')
# lisboa = pd.read_excel('lisboa_raw.xls')

稍后，我们可以用最后一行代码来读取数据。现在，由于我不想把这篇文章写得太大，我将把探索性分析留到以后的文章中讨论。我们抓取了超过2万的房产，现在有了一个原始数据集！还有一些数据清洗和预处理工作要做，但我们已经完成了复杂的部分。

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!