网络爬虫从一个或若干初始网页的URL開始。获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列,直到满足系统的一定停止条件。
简单的能够将网络爬虫理解为一个带有终止条件的while循环，在条件不触发的情况下，爬虫就不断的从每一个以及获取的url发送请求获取页面数据。然后解析当前页面的url，不断迭代下去。在crawlproject其中，完毕这一过程的是crawler类，他并未採用广度优先或是深度优先的爬虫，在当前请求失败的时候就通过python挂起当前任务，然后在之后再进行调度。这能够勉强理解为基于网络连通性的A*搜索，其执行方式例如以下所看到的：
对一个初始化后的crawler对象。其中存在一个url。一个todo集合，存储尚未继续呢爬虫操作的url；一个busy集合。保存等待其它爬虫数据的url集合；一个done集合。保存完毕页面爬取的url集合。
爬虫的核心就是这个死循环。首先爬虫从todo集合其中获取一个url。然后初始化fetch对象用于获取页面上的url。最后进行任务调度运行一个url请求任务。这段流程的代码例如以下所看到的。
一个爬虫非常明显不会只由一个死循环构成，在crawl外层须要其它模块支持其操作，包含网络连接。url获取。任务调度等任务。整个crawlproject的调度框架例如以下所看到的：
在crawl创建初始化时候首先创建一个ConnectionPool：
self.pool=ConnectionPool(max_pool,max_tasks)
当中保留属性connections和queue，分别保存连接的集合和队列。用于兴许调度；而connection中存储host和port号并支持ssl。通过asyncio.open_connection()获取连接。
self.connections={}#{(host,port,ssl):[Connection,...],...}self.queue=[]#[Connection,...]
任务运行时crawl方法首先通过loop.run_until_complete(crawler.crawl())载入到eventloop其中，然后用上述语句构建的链接池ConnectionPool中保存connection对象。获取连接对象然后通过fetcher对象的fetch方法进行数据爬取。对于一个url请求任务，使用fetcher进行处理，调度则是用asyncio.Task方法进行的调度。其中fetch方法获取被挂起的generator。交给asyncio.Task运行。
通过yieldfrom和asynico.coroutine语句。将这种方法变为运行过程中的generator。在运行fetcher.fetch()方法时候假设被挂起，则通过调度程序进行处理。
fetcher.fetch()方法是网络爬虫的核心方法，负责从网络上获取页面数据并将其中的url载入到todo集合其中，该方法尝试获取页面数据当尝试次数达到上限时停止操作，获取成功的html数据和外部链接以及重定向链接都将被存储。
在url链接次数到达上限的情况下，将停止这个url的链接操作，输出出错日志。
之后针对页面的不同状态，採取不同的处理方式。
以下的代码是crawling.py文件从333行開始（crawling.py）到相应方法结束的区域，通过对页面status的推断选择不同的处理方式。
在之前分析的基础上对主文件crawl.py进行进一步分析，能够得到总体爬虫的架构:
在主文件其中首先通过argparse.ArgumentParser进行解析，设置控制台的数据读取和控制，其中选择了IOCP作为windows环境下的eventloop对象。主方法，首先通过parse_args返回存储命令行数据的字典，假设没有root属性，则给出提示。然后配置日志级别，指示日志的输出级别。低于最低级别的不输出。
通过入口函数main方法进入程序的时候，首先依据来自命令行參数对Crawler进行初始化。同一时候获取使用asyncio的loopevent对象，运行run_until_complete方法。会一直运行到这个程序结束运行。
除此之外reporting.py用于打印当前任务运行情况。
当中fetcher_report(fetcher,stats,file=None)打印这个url的工作状态。url就是fetcher的url属性；report(crawler,file=None)打印整个project全部完毕的url工作状态。
至此，crawl的基本框架就展如今眼前了。
至于在这个程序中出现的一些不easy理解的python语言特性，某些应用到的核心模块，将在下一篇博客《标准爬虫分析。精简不简单！》中进行阐述。