python – 简单的Web爬虫我需要消除数组中出现的重复的URL

发布时间：2020-12-20 11:39:47 所属栏目：Python 来源：网络整理

导读：我正在使用数组来存储URL,我需要消除在数组中出现多次的URL,因为我不需要再次抓取相同的URL： self.level = [] # array where the URL are present for link in self.soup.find_all('a'): self.level.append(link.get('href')) print(self.level) 我需要在抓

我正在使用数组来存储URL,我需要消除在数组中出现多次的URL,因为我不需要再次抓取相同的URL：

self.level = []  # array where the URL are present 
for link in self.soup.find_all('a'):
    self.level.append(link.get('href'))
    print(self.level)

我需要在抓取此网址之前消除重复的网址.

解决方法

保持 set个网址：

self.level = set()
for link in self.soup.find_all('a'):
    self.level.add(link.get('href'))

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!