使用C# 获取京东数据

1.0C# 爬取京东数据

文章介绍：
各位好，我是行不更名、坐不改姓的宋晓刚，接下来将引导各位从零基础逐步进阶，学习如何利用C#进行数据抓取，跟随我的步骤一同迈入C#的领域。
微信：15319589104
QQ：2981345658
本项目主要讲解如何通过C#实现对京东网站数据的爬取，并将其存储至数据库中。

思路：

• 获取京东平台的数据时，其商品被划分为多个类别，平台中绝大多数商品均归属于特定的类目体系。
  • 若逐一抓取每个商品的信息，将导致数据量过于庞大，难以有效获取。
  • 采用类目作为抓取单位，使每个商品均归属于某一特定类目之下。
  • 首先明确各类目的划分，再依据类目体系将对应的所有商品信息完整获取。

数据注释规范与实践

• 类目名称用于描述多级目录的层级关系，同时包含目录的URL地址，第一步是获取京东平台的所有分类信息
  • 首先我们抓取的网址为：https://www.jd.com/allSort.aspx

实操：

配置网络请求环境：

在本项目中建立名为HttpRequestUtil的文件夹，并设计一个名为WebRequestHelper的类，相关代码包含注释说明：

    /// <summary>
    /// http://tool.sufein