An introduction to web scraping and its basic syntax

一、爬虫用来做什么的？

一组用于从互联网中获取数据的程序

1、什么是爬虫？

网络爬虫（Web crawler）是一种依据特定规则，自动获取万维网信息的程序或脚本，其被广泛应用于互联网搜索引擎及相关网站中，能够自动收集所有可访问的页面内容，从而实现对网站内容及检索方式的获取与更新。从功能结构来看，爬虫通常涵盖数据采集、处理以及存储三个主要环节。

在大数据时代背景下，我们所依赖的数据究竟源自何处呢

2、数据获取途径

途径1：企业产生的用户数据：

百度指数：index.baidu.com

阿里巴巴指数：alizs.taobao.com

腾讯指数：tbi.tencent.com

新浪微博指数：data.weibo.com

途径2：数据平台购买数据

数据堂：datatang.com

国运数据交易平台：moojnn.com/data-market/

贵阳大数据交易市场：trade.gbdex.com

途径3：政府/机构公开数据

国家统计局、世界银行、联合国以及纳斯达克等机构

途径4：数据管理咨询公司

麦肯锡（mcjinsey.com）

埃森哲

艾瑞咨询

途径5：爬取网络数据：

当所需数据在市场上无法获取或不愿进行采购时，可选择成为爬虫工程师，自行开发程序以获取相关数据。