爬虫面试常见问题

开课吧开课吧锤锤2021-03-23 15:58

    Python语法清晰明快简单易学,这是Python普及的重要原因。编程语言不能独立于业务而单独存在,编程是为了解决问题,各个编程语言都有自己擅长的方面。选择合适的Python学习方式,需要结合自身的特性找到适合自己的学习方法。

py

    爬虫面试常见问题

    一、项目问题:

    1.你写爬虫的时候都遇到过什么反爬虫措施,你是怎样解决的

    2.用的什么框架。为什么选择这个框架

    二、框架问题:

    1.scrapy的基本结构(五个部分都是什么,请求发出去的整个流程)

    2.scrapy的去重原理(指纹去重到底是什么原理)

    3.scrapy中间件有几种类,你用过哪些中间件

    4.scrapy中间件在哪里起的作业(面向切片编程)

    三、代理问题:

    1.为什么会用到代理

    2.代理怎么使用(具体代码,请求在什么时候添加的代理)

    3.代理失效了怎么处理

    四、验证码处理:

    1.登陆验证码处理

    2.爬取速度过快出现的验证码处理

    3.如何用机器识别验证码

    五、模拟登陆问题:

    1.模拟登陆流程

    2.cookie如何处理

    3.如何处理网站传参加密的情况

    六、分布式:

    1.分布式原理

    2.分布式如何判断爬虫已经停止了

    3.分布式的去重原理

    七、数据存储和数据库问题:

    1.关系型数据库和非关系型数据库的区别

    2.爬下来数据你会选择什么存储方式,为什么

    3.各种数据库支持的数据类型,和特点

    八、Python基础问题:

    ps:基础问题是非常多的,因为是爬虫性质,所以抽了一些问的比较多的,总结如下:

    1.Python2与Python3的区别,如何实现python2代码迁移到Python3环境

    2.Python2和Python3的编码方式有什么差别

    3.迭代器,生成器,装饰器

    4.Python的数据类型

    九、协议问题:

    1.http协议,请求由什么组成,每个字段分别有什么用,https和http有什么差距

    2.证书问题

    3.TCP,UDP各种相关问题

    十、数据提取问题:

    1.主要使用什么样的结构化数据提取方式,可能会写一两个例子

    2.正则的使用

    3.动态加载的数据如何提取

    4.json数据如何提取

    十一、算法问题:

    算法:你们要善用Python的数据类型,对Python的数据结构深入了解

    以上就是爬虫面试常见问题的全部内容,更多Python教程尽在开课吧广场Python教程频道。

有用
分享