秒后自动跳转至回答所在的问题页什么叫做Web爬虫?_百度知道
什么叫做Web爬虫?
就是不懂，没什么好说的！
我有更好的答案
[离散数学是当代数学的一个重要分支，也是计算机科学的数学基础。它包括数理逻辑、集合论、图论和近世代数四个分支。数理逻辑基于布尔运算，我们已经介绍过了。这里我们介绍图论和互联网自动下载工具网络爬虫 (Web Crawlers) 之间的关系。顺便提一句，我们用 Google Trends 来搜索一下“离散数学”这个词，可以发现不少有趣的现象。比如，武汉、哈尔滨、合肥和长沙市对这一数学题目最有兴趣的城市。]我们上回谈到了如何建立搜索引擎的索引，那么如何自动下载互联网所有的网页呢，它要用到图论中的遍历（Traverse) 算法。图论的起源可追溯到大数学家欧拉（Leonhard Euler）。1736 年欧拉来到德国的哥尼斯堡（Konigsberg，大哲学家康德的故乡，现在是俄罗斯的加里宁格勒），发现当地市民们有一项消遣活动，就是试图将下图中的每座桥恰好走过一遍并回到原出发点，从来没有人成功过。欧拉证明了这件事是不可能的，并写了一篇论文，一般认为这是图论的开始。图论中所讨论的的图由一些节点和连接这些节点的弧组成。如果我们把中国的城市当成节点，连接城市的国道当成弧，那么全国的公路干线网就是图论中所说的图。关于图的算法有很多，但最重要的是图的遍历算法，也就是如何通过弧访问图的各个节点。以中国公路网为例，我们从北京出发，看一看北京和哪些城市直接相连，比如说和天津、济南、石家庄、南京、沈阳、大同直接相连。我们可以依次访问这些城市，然后我们看看都有哪些城市和这些已经访问过的城市相连，比如说北戴河、秦皇岛与天津相连，青岛、烟台和济南相连，太原、郑州和石家庄相连等等，我们再一次访问北戴河这些城市，直到中国所有的城市都访问过一遍为止。这种图的遍历算法称为“广度优先算法”（BFS)，因为它先要尽可能广地访问每个节点所直接连接的其他节点。另外还有一种策略是从北京出发，随便找到下一个要访问的城市，比如是济南，然后从济南出发到下一个城市，比如说南京，再访问从南京出发的城市，一直走到头。然后再往回找，看看中间是否有尚未访问的城市。这种方法叫“深度优先算法”（DFS)，因为它是一条路走到黑。这两种方法都可以保证访问到全部的城市。当然，不论采用哪种方法，我们都应该用一个小本本，记录已经访问过的城市，以防同一个城市访问多次或者漏掉哪个城市。现在我们看看图论的遍历算法和搜索引擎的关系。互联网其实就是一张大图，我们可以把每一个网页当作一个节点，把那些超链接（Hyperlinks)当作连接网页的弧。很多读者可能已经注意到，网页中那些蓝色的、带有下划线的文字背后其实藏着对应的网址，当你点下去的的时候，浏览器是通过这些隐含的网址转到相应的网页中的。这些隐含在文字背后的网址称为“超链接”。有了超链接，我们可以从任何一个网页出发，用图的遍历算法，自动地访问到每一个网页并把它们存起来。完成这个功能的程序叫做网络爬虫，或者在一些文献中称为&机器人& （Robot)。世界上第一个网络爬虫是由麻省理工学院 (MIT)的学生马休.格雷（Matthew Gray)在 1993 年写成的。他给他的程序起了个名字叫“互联网漫游者”(&www wanderer&)。以后的网络爬虫越写越复杂，但原理是一样的。我们来看看网络爬虫如何下载整个互联网。假定我们从一家门户网站的首页出发，先下载这个网页，然后通过分析这个网页，可以找到藏在它里面的所有超链接，也就等于知道了这家门户网站首页所直接连接的全部网页，诸如雅虎邮件、雅虎财经、雅虎新闻等等。我们接下来访问、下载并分析这家门户网站的邮件等网页，又能找到其他相连的网页。我们让计算机不停地做下去，就能下载整个的互联网。当然，我们也要记载哪个网页下载过了，以免重复。在网络爬虫中，我们使用一个称为“哈希表”(Hash Table)的列表而不是一个记事本纪录网页是否下载过的信息。现在的互联网非常巨大，不可能通过一台或几台计算机服务器就能完成下载任务。比如雅虎公司（Google 没有公开公布我们的数目，所以我这里举了雅虎的索引大小为例）宣称他们索引了 200 亿个网页，假如下载一个网页需要一秒钟，下载这 200 亿个网页则需要 634 年。因此，一个商业的网络爬虫需要有成千上万个服务器，并且由快速网络连接起来。如何建立这样复杂的网络系统，如何协调这些服务器的任务，就是网络设计和程序设计的艺术了。
为您推荐：
其他类似问题
您可能关注的内容
换一换
回答问题，赢新手礼包
个人、企业类
违法有害信息,请在下方选择后提交
色情、暴力
我们会通过消息、邮箱等方式尽快将举报结果通知您。最近几日家中跑出很多爬虫，求高手鉴定是什么啊？【昆虫吧】_百度贴吧
&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&签到排名：今日本吧第个签到，本吧因你更精彩，明天继续来努力！
本吧签到人数：0可签7级以上的吧50个
本月漏签0次！成为超级会员，赠送8张补签卡连续签到：天&&累计签到：天超级会员单次开通12个月以上，赠送连续签到卡3张
关注：87,695贴子：
最近几日家中跑出很多爬虫，求高手鉴定是什么啊？
麻烦给我看看这家伙是什么品种
啥天牛吧，具体就不知道了
贴吧热议榜
使用签名档&&
保存至快速回贴python 爬虫一键爬取 淘宝天猫宝贝页面主图颜色图和详情图的教程
转载 &更新时间：日 15:30:40 & 作者：mzbqhbc12
今天小编就为大家分享一篇python 爬虫一键爬取 淘宝天猫宝贝页面主图颜色图和详情图的教程，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
实例如下所示：
import requests
import re,sys,os
import json
import threading
import pprint
class spider:
def __init__(self,sid,name):
self.id = sid
self.headers = { "Accept":"text/html,application/xhtml+xml,application/",
"Accept-Encoding":"gzip",
"Accept-Language":"zh-CN,q=0.8",
"Referer":"http://www.example.com/",
"User-Agent":"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/42.0.2311.90 Safari/537.36"
self.name=name
def openurl(self,url):
self.request = requests.get(url,headers = self.headers)
if self.request.ok:
return self.request.text
def matchs(self):
tmall_exp = r"Setup\(([\s\S]+?)\);"### 匹配商品数据的正则
detail= r"src=\"(https://img\S+?[jpgifn]+?)\"" ###匹配 商品详情图的正则
html = self.openurl("https://detail.tmall.com/item.htm?id=%s"%self.id)
data = re.findall(tmall_exp,html)
data = json.loads(data[0])
main_img = data['propertyPics'] ## 这里包括了主图和颜色图的地址
color_data =data['valItemInfo'] ['skuList'] ### 这里获得商品的颜色信息列表 包括颜色编码 颜色名称,商品skuID
detail_html = self.openurl("http:"+data['api']["httpsDescUrl"])
detail_image = re.findall(detail,detail_html)
self.newdata={"MAIN":main_img['default'],"DETAIL":detail_image,"id":self.id,}
self.newdata['COLOR']=[]
for v in range(len(color_data)):
if ";"in color_data[v]["pvs"]:
psv = color_data[v]['pvs'][color_data[v]['pvs'].find(";")+1:]
psv = color_data[v]['pvs']
if psv in psvs:
psvs.append(psv)
self.newdata['COLOR'].append({color_data[v]["names"]:main_img[";"+psv+";"]})
pprint.pprint(self.newdata)
return self.newdata
def download(self):
if len(self.newdata)&0:
for x in range(len(self.newdata['MAIN'])):
threading.Thread(target=self.download_main,args=(self.newdata['MAIN'][x],x)).start()
for x in self.newdata['COLOR']:
threading.Thread(target=self.download_color,args=(x,)).start()
for x in range(len(self.newdata['DETAIL'])):
threading.Thread(target=self.download_detail,args=(self.newdata['DETAIL'][x],x)).start()
def download_main(self,url,index):
img = requests.get("http:"+url,stream=True,headers = self.headers,timeout=10)
print(sys.exc_info())
if img.ok:
if not os.path.exists(self.name+"/main"):
os.makedirs(self.name+"/main")
imgs = open(self.name+"/main/%s.jpg"%index,"wb")
imgs.write(img.content)
imgs.close()
def download_color(self,url):
img = requests.get("http:"+url[list(url.keys())[0]][0],stream=True,headers = self.headers,timeout=10)
print(sys.exc_info())
if img.ok:
if not os.path.exists(self.name+"/color"):
os.makedirs(self.name+"/color")
if "/"in list(url.keys())[0]:
color = list(url.keys())[0].replace("/","_")
elif "\\" in list(url.keys())[0]:
color = list(url.keys())[0].replace("\\","_")
color = list(url.keys())[0]
imgs = open(self.name+"/color/%s.jpg"%color,"wb")
imgs.write(img.content)
imgs.close()
def download_detail(self,url,index):
img = requests.get(url,stream=True,headers = self.headers,timeout=10)
print(sys.exc_info())
if img.ok:
if not os.path.exists(self.name+"/detail"):
os.makedirs(self.name+"/detail")
imgs = open(self.name+"/detail/%s.jpg"%index,"wb")
imgs.write(img.content)
imgs.close()
if __name__ =="__main__":
## 这里输入天猫宝贝ID
taobao = spider(sid,"下载图片/T")
taobao.matchs()
taobao.download()
以上这篇python 爬虫一键爬取 淘宝天猫宝贝页面主图颜色图和详情图的教程就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。
您可能感兴趣的文章:
大家感兴趣的内容
12345678910
最近更新的内容
常用在线小工具我在家发现一种虫子，不知道是是什么，飞的，三四毫米左右把，吓人的是把飞虫打死，有好多小爬虫跑出来！_百度知道
我在家发现一种虫子，不知道是是什么，飞的，三四毫米左右把，吓人的是把飞虫打死，有好多小爬虫跑出来！
怎么办呀 是什么虫子 飞虫是背部黑色的 肚子是肉色的 像苍蝇 但不是 打死飞的虫子 会从里面爬虫 八 九只小的爬虫 一毫米以内 颜色是 棕色的 应该是有壳的 用手使劲捏 是捏不死的 要用手使劲搓 才能死 我之前发现过 我买过药是喷的 没杀死 今天还有 我是昨天喷...
我有更好的答案
你拿照片拍出来看下呢，你查找过每个角落了么？最近天气潮湿，您看看是什么里面出的虫子，还有最好用电蚊拍什么别直接用手，因为现在是秋天，很多虫子都是繁殖的季节，你家的飞虫应该就是小爬虫长大的吧，你用最好查找下每个角落，完了多买点樟脑丸之类把衣柜，鞋柜，橱柜放点，把虫子都赶出来，完了紧闭门窗用雷达对屋子全喷下。我家出的虫子是面粉和瓜子里面出的，我刚查到根源。你拍个图片看下么。
采纳率：20%
像苍蝇的那种虫头是红色的吗?要是你家有储存的果蔬那也许是果蝇吧。一毫米的也许是一种跳虫吧，最好有图片
为您推荐：
其他类似问题
您可能关注的内容
换一换
回答问题，赢新手礼包
个人、企业类
违法有害信息,请在下方选择后提交
色情、暴力
我们会通过消息、邮箱等方式尽快将举报结果通知您。