一：获取所有项目的相关信息

目录

• • 一.获取所有待采集信息的项目清单
    • 1.1审视页面布局
    • 1.2解析页面结构
    • 二:逐一访问项目列表中的条目，获取每个项目的主页数据，从而进一步提取该项目的star数、fork数及issue数
    • 2.1初步认识Gson库
    • 2.2利用Github提供的API接口获取各个项目的页面内容
    • 2.3通过Gson解析项目API返回的数据，提取star等重要指标

步骤:

1. 获取所有待采集信息的项目清单
2. 遍历项目列表，依次获取每个项目的主页信息，从而进一步获得该项目的star数、fork数及issue数
3. 将这些数据保存至mysql数据库中
4. 搭建一个简易服务器，用于展示数据库中的数据（通过图表形式呈现，使数据可视化效果更加直观）

一.获取到所有待收集信息的项目列表

自行开发一款网络爬虫工具，用于访问Awesome-java网页，并从中提取该页面所包含的所有项目链接信息。

1.1观察页面结构

首先，我通过分析页面结构，即使用chrom的开发者工具，发现Awesome-Java中的项目均采用多个ul标签嵌套li标签的方式进行有序排版。其中，每一个li元素对应着一个独立的项目，而每个li内部包含一个a标签，用于标识超链接信息。此