A. java爬虫实时获取页面数据并存入数据库
response push的html标签你能拿到，就能按规律全部遍历出来，代码网上很多
B. python爬虫可以爬取网页见不到的东西吗如web后台数据库
只有在网站上显示的东西才能爬到，或者网页看不到，是网页请求的接口返回的数据
这些数据都可以拿到，其他的数据库结构是拿不到的
C. 网络爬虫可以爬取数据库里的数据嘛
只会抓取页面，，当然页面里你会读取到数据库数据。。
所以它不算是抓取你数据库，只是你用在了页面上，生成了结果 ，
它抓取你这个结果。。。
其实想想也是知道的，，数据库除了开发者对程序授权，别人怎么可以操作得到数据库，要不然那不是天下大乱了嘛。。。
D. 爬虫怎么爬取完整的商品分类列表,并将其完整的关联的关系也存取数据库
把爬到的数据用三引号接收再想办法处理呢
a="""aaa"aa"aa'aa'"""#a为你实际爬到的数据
b="""%s"""%(a)
printb
#打印'"aaa"aa"aa'aa''
E. 求python代码 用Python爬虫爬取艺恩网数据 存入一个数据库 再用flask做个搜索引擎
难点在搜索这块，存入数据库不方便做搜索的，可以考虑一些其他方案，比如es和 whoosh,前者比较知名，后者是python的搜索框架，比较简单
F. 有哪些网站用爬虫爬取能得到很有价值的数据
一般有一下几种
一些常用的方法
IP代理
对于IP代理,各个语言的Native
Request
API都提供的IP代理响应的API,
需要解决的主要就是IP源的问题了.
网络上有廉价的代理IP(1元4000个左右),
我做过简单的测试,
100个IP中,
平均可用的在40-60左右,
访问延迟均在200以上.
网络有高质量的代理IP出售,
前提是你有渠道.
因为使用IP代理后,
延迟加大,
失败率提高,
所以可以将爬虫框架中将请求设计为异步,
将请求任务加入请求队列(RabbitMQ,Kafka,Redis),
调用成功后再进行回调处理,
失败则重新加入队列.
每次请求都从IP池中取IP,
如果请求失败则从IP池中删除该失效的IP.
Cookies
有一些网站是基于cookies做反爬虫,
这个基本上就是如
@朱添一
所说的,
维护一套Cookies池
注意研究下目标网站的cookies过期事件,
可以模拟浏览器,
定时生成cookies
限速访问
像开多线程,循环无休眠的的暴力爬取数据,
那真是分分钟被封IP的事,
限速访问实现起来也挺简单(用任务队列实现),
效率问题也不用担心,
一般结合IP代理已经可以很快地实现爬去目标内容.
一些坑
大批量爬取目标网站的内容后,
难免碰到红线触发对方的反爬虫机制.
所以适当的告警提示爬虫失效是很有必有的.
一般被反爬虫后,
请求返回的HttpCode为403的失败页面,
有些网站还会返回输入验证码(如豆瓣),
所以检测到403调用失败,
就发送报警,
可以结合一些监控框架,
如Metrics等,
设置短时间内,
告警到达一定阀值后,
给你发邮件,短信等.
当然,
单纯的检测403错误并不能解决所有情况.
有一些网站比较奇葩,
反爬虫后返回的页面仍然是200的(如去哪儿),
这时候往往爬虫任务会进入解析阶段,
解析失败是必然的.
应对这些办法,
也只能在解析失败的时候,
发送报警,
当告警短时间到达一定阀值,
再触发通知事件.
当然这个解决部分并不完美,
因为有时候,
因为网站结构改变,
而导致解析失败,
同样回触发告警.
而你并不能很简单地区分,
告警是由于哪个原因引起的.
G. 爬虫爬取小说网，存储的数据库怎么设置
我觉得没法爬取。因为服务端没有注入供爬取的代码。
H. python 爬虫怎么处理爬取数据中含有单引号，并将其存入数据库
把爬到的数据用三引号接收再想办法处理呢
a="""aaa"aa"aa'aa'"""#a为你实际爬到的数据
b="""%s"""%(a)
printb
#打印'"aaa"aa"aa'aa''
I. 网络爬虫抓取数据 有什么好的应用
一般抓数据的话可以学习Python，但是这个需要代码的知识。
如果是没有代码知识的小白可以试试用成熟的采集器。
目前市面比较成熟的有八爪鱼，后羿等等，但是我个人习惯八爪鱼的界面，用起来也好上手，主要是他家的教程容易看懂。可以试试。
J. 如何利用一些 finance 数据库 api 批量获取股票信息
使用Yahoo API获取股票信息。