编辑点评：爬虫工程师必备的秘籍爬虫与反爬虫的较量总是围绕着We网站展开，爬虫的主要目的是获取We网站中的内容。开发者要想限制爬虫获取数据，就需要了解HTML从文档变成内容丰富的页面所要经历的每个阶段，例如网络请求、资源匹配、数据传输和页面渲染等。所以在学习反爬虫之前，我们有必要了解We网站的构成和页面渲染过程的相关知识。图片预览图书特色适读人群：本书既适合需要储备反爬虫知识的前端工程师和后端工程师阅读，也适合需要储备绕过知识的爬虫工程师、爬虫爱好者以及Pytho程序员阅读。【人气推荐】《Pytho3网络爬虫开发实战》作者、微软小冰工程师崔庆才作序，腾讯、马蜂窝工程师倾力推荐。【干货满满】爬虫工程师不可错过的“****”，内容包括但不限于Cookie反爬虫、WeSocket反爬虫、字体反爬虫、WeDriver反爬虫、A反爬虫、验证码反爬虫。【反爬虫原理+爬虫实战】从实战出发，印证国内互联网企业内部加密原理，侧重讲解反爬虫的原理以及绕过方法。【21个反爬虫示例】结合练习平台Steamoat，帮助读者随时复现书中的21个爬虫示例，巩固所学知识。内容简介本书首先介绍了开发环境的配置，接着讨论了We网站的构成和页面渲染、动态网页和静态网页对爬虫造成的影响，紧接着详细介绍了信息校验型反爬虫、动态渲染反爬虫、文本混淆反爬虫知识、特征识别反爬虫的原理、实现和绕过，然后概览了A数据爬取的关键和常用的反爬虫手段，最后介绍了常见的编码和加密原理、JavaScrit代码混淆知识、前端禁止事件以及与爬虫相关的法律知识和风险点。作者介绍韦世东，资深爬虫工程师，2019年华为云・云享专家，掘金社区优秀作者，GitChat认证作者，夜幕团队（NightTeam）成员。拥有七年互联网从业经验，擅长反爬虫的设计和绕过技巧。目录大全第1章开发环境配置11.1操作系统的选择11.1.1Uutu简介11.1.2VirtualBox的安装21.1.3安装Uutu31.1.4全屏设置81.1.5Pytho设置91.2练习平台Steamoat101.2.1安装Docker111.2.2安装Steamoat121.2.3Steamoat使用说明141.3第三方库的安装151.3.1Requet151.3.2Seleium151.3.3浏览器驱动161.3.4Slah181.3.5Pueteer181.3.6PyTeeract201.4常用软件的安装211.4.1gix211.4.2Charle221.4.3PC端SSL证书231.4.4iOS系统的证书设置261.4.5Adriod模拟器的安装与证书设置271.4.6Potma291.4.7GoogleChrome321.4.8JADX331.5深度学习环境配置351.5.1NVIDIA显卡驱动安装351.5.2CUDAToolkit的安装381.5.3cuDNN的安装401.5.4深度学习库PyTorch411.5.5深度学习框架Darket421.5.6图片标注工具LaelImg431.6Node.j环境配置441.6.1Node.j的安装441.6.2UglifyJS的安装45第2章We网站的构成和页面渲染472.1gix服务器472.1.1gix的信号482.1.2gix配置文件492.1.3简单的代理服务502.1.4gix模块与指令522.1.5gix日志572.1.6小结582.2浏览器582.2.1浏览器的主要结构592.2.2页面渲染602.2.3HTMLDOM622.2.4浏览器对象BOM652.2.5小结702.3网络协议712.3.1认识HTTP712.3.2资源与资源标识符722.3.3HTTP请求与响应742.3.4Cookie772.3.5了解HTTPS802.3.6认识WeSocket812.3.7WeSocket握手812.3.8数据传输与数据帧832.3.9WeSocket连接852.3.10连接保持872.3.11小结88本章总结88第3章爬虫与反爬虫893.1动态网页与网页源代码893.2爬虫知识回顾903.3反爬虫的概念与定义95本章总结96第4章信息校验型反爬虫974.1Uer-Aget反爬虫974.1.1Uer-Aget反爬虫绕过实战974.1.2Uer-Aget反爬虫的原理与实现1004.1.3小结1034.2Cookie反爬虫1034.2.1Cookie反爬虫绕过实战1034.2.2Cookie反爬虫原理与实现1094.2.3Cookie与JavaScrit结合1104.2.4用户过滤1124.2.5小结1134.3签名验证反爬虫1144.3.1签名验证反爬虫绕过实战1144.3.2签名验证反爬虫原理与实现1214.3.3有道翻译反爬虫案例1234.3.4小结1254.4WeSocket握手验证反爬虫1254.5WeSocket消息校验反爬虫1294.5.1WeSocket消息校验反爬虫示例1304.5.2乐鱼体育反爬虫案例1324.6WeSocketPig反爬虫133本章总结134第5章动态渲染反爬虫1355.1常见的动态渲染反爬虫案例1355.1.1自动执行的异步请求案例1355.1.2点击事件和计算1385.1.3下拉加载和异步请求1425.1.4小结1445.2动态渲染的通用解决办法1445.2.1Seleium套件1445.2.2异步渲染库Pueteer1485.2.3异步渲染服务Slah1505.2.4通用不一定适用1545.2.5渲染工具知识扩展1565.2.6小结160本章总结160第6章文本混淆反爬虫1616.1图片伪装反爬虫1616.1.1图片伪装反爬虫绕过实战1616.1.2广西人才网反爬虫案例1646.1.3小结1656.2CSS偏移反爬虫1656.2.1CSS偏移反爬虫绕过实战1666.2.2去哪儿网反爬虫案例1726.2.3小结1746.3SVG映射反爬虫1746.3.1SVG映射反爬虫绕过实战1746.3.2大众点评反爬虫案例1776.3.3SVG反爬虫原理1796.3.4小结1866.4字体反爬虫1866.4.1字体反爬虫示例1866.4.2字体文件WOFF1896.4.3字体反爬虫绕过实战1966.4.4小结1986.5文本混淆反爬虫通用解决办法1996.5.1光学字符识别OCR1996.5.2PyTeeract的缺点2016.5.3文字识别API2026.5.4小结206本章总结206第7章特征识别反爬虫2077.1WeDriver识别2077.1.1WeDriver识别示例2077.1.2WeDriver识别原理2107.1.3WeDriver识别的绕过方法2117.1.4淘宝网WeDriver案例2147.1.5小结2157.2浏览器特征2157.3爬虫特征2197.3.1访问频率限制绕过实战2197.3.2访问频率限制的原理与实现2227.3.3浏览器指纹知识扩展2237.3.4淘宝网浏览器指纹案例2277.3.5小结2287.4隐藏链接反爬虫2287.4.1隐藏链接反爬虫示例2287.4.2隐藏链接反爬虫原理与实现2317.4.3小结233本章总结234第8章A反爬虫2358.1A抓包2358.1.1HTTP抓包示例2358.1.2掌上英雄联盟抓包案例（HTTP）2408.1.3京东商城抓包案例（HTTPS）2438.1.4小结2468.2APK文件反编译2468.2.1A签名验证反爬虫示例2468.2.2APK文件反编译实战2488.2.3小结2518.3代码混淆反爬虫2518.3.1Adroid代码混淆原理2528.3.2掘金社区A代码混淆案例2558.3.3小结2578.4A应用加固知识扩展2578.5了解应用程序自动化测试工具2608.5.1了解Aium2608.5.2了解AirtetProject2608.5.3小结262本章总结262第9章验证码2639.1字符验证码2639.1.1字符验证码示例2639.1.2实现字符验证码2669.1.3深度学习的概念2699.1.4卷积神经网络的概念2729.1.5使用卷积神经网络预测验证码2769.1.6小结2869.2计算型验证码2869.2.1计算型验证码示例2869.2.2实现计算型验证码2889.2.3小结2919.3滑动验证码2919.3.1滑动验证码示例2919.3.2实现滑动验证码2959.3.3小结2989.4滑动拼图验证码2989.4.1滑动拼图验证码示例2999.4.2实现滑动拼图验证码3029.4.3难度升级3079.4.4图片中的缺口位置识别3089.4.5小结3109.5文字点选验证码3109.5.1文字点选验证码示例3109.5.2实现文字点选验证码3129.5.3目标检测的概念3169.5.4深度学习实现文字定位3179.5.5批量检测与坐标输出3239.5.6小结3309.6鼠标轨迹的检测和原理3309.7验证码产品赏析3369.7.1滑动验证码3369.7.2图标验证码3379.7.3空间推理验证码3389.7.4小结338本章总结338第10章综合知识33910.1编码与加密33910.1.1ASCII编码33910.1.2详解Bae6434210.1.3基于编码的反爬虫设计34410.1.4MD5消息摘要算法34710.1.5对称加密与AES35210.1.6非对称加密与RSA35710.1.7小结36010.2JavaScrit代码混淆36010.2.1常见的混淆方法36110.2.2混淆代码的还原36310.2.3混淆原理36510.2.4实现一个简单的混淆器36610.2.5小结36910.3前端禁止事件36910.3.1禁止鼠标事件37010.3.2禁止键盘事件37110.3.3小结37210.4法律法规37210.4.1数据安全管理办法征求意见稿37410.4.2爬虫协议Root37510.4.3与爬虫相关的法律法规37610.4.4小结377本章总结377...

2022-04-10

《美国的反智传统》：开创性地定义与分析“反智主义”，长销半个世纪，频频预见美国政坛问题的指南之作，清华政治系教授任剑涛万字导读，深入浅出解析经典，洞悉美国历史与当下政治态势的不二之选！书名：美国的反智传统作者：理查德·霍夫施塔特出版社：中译出版社原作名：Ati-ItellectualimiAmericaLife译者：陈思贤出版年：2021-8页数：500类别：政治军事格式：df、eu、moi丛书：理想国译丛ISBN：9787500166870《美国的反智传统》作者简介：理查德·霍夫施塔特（RichardHoftadter），美国历史学家、公共知识分子，哥伦比亚大学美国史教授，专注于美国政治、文化史。著有《改革时代：美国的新崛起》《美国的政治传统及其缔造者》等作品。曾两次获得普利策奖。《美国的反智传统》内容简介：说到美国人的特质，许多国家的人都会提到一个词：无知。特朗普的出现更是令这一印象深入人心。但是，美国人并非从来如此。北美殖民早期，新英格兰等地有着优秀的智识传统，建立了哈佛、耶鲁等最早的一批大学，在美国国父中也不乏学识渊博之人。然而，美国独立后不久，杰克逊的民粹主义政治种下了第一粒反智的种子。此后，福音运动在教会推行去精英化，高中教育的普及改革重实用、轻学业，使反智在美国大众心中彻底生根；而商业的蓬勃兴旺掀起实用之风，进步时期与新政对知识分子的仰赖更激发反智观念的反弹。在起起伏伏的历史波澜间，抵制智识的潮流不断壮大，直至今日之势。在本书中，霍夫施塔特以“反智”为切入口，综述美国的政治、宗教、社会、文化和商业历史，或回顾学者政客的唇枪舌剑，或罗列扎实可信的数据材料，在严肃批评中信手夹入三五行诙谐的掌故，于紧凑叙述后顺带跟上一两句辛辣的讽刺；须微观时，则描摹政坛商界之怪状，须宏观时，则鞭辟信仰思想之腠理。这本书流传数十年，不啻为介绍美国反智传统的经典之作，更是呈现出一副鲜为人知、入木三分的美利坚面孔。...

2022-04-08

对于一艘盲目航行没有目标的船来说，所有的风都是逆风。小奥为各位考生整理了注册会计师经济法的答疑，小伙伴快进来看看吧！甲为某上市公司董事。2018年1月8日和22日，甲通过其配偶的证券账户，以20元/股和21元/股的价格，先后买入本公司股票2万股和4万股。同年7月9日，甲以22元/股的价格将6万股全部卖出。根据证券法律制度的规定，甲通过上述交易所得收益中，应当归入公司的金额是（）。A.2万元B.4万元C.6万元D.0正确答案：B【提问】如果是豁免核准，要备案吗？【答疑】勤奋可爱的学员，你好：如果是豁免核准，不需要备案。每天努力，就会看到不一样的自己，加油！生活最大的危险就是一个空虚的心灵。小奥这里会继续帮助大家，为大家更新注册会计师考试答疑的！注：答疑内容出自东奥《经济法》教研团队（本文为东奥会计在线原创文章，仅供考生学习使用，禁止任何形式的转载）...

2022-04-04

...

2023-11-05

这本书是著名的历史学家和思想家理查德·霍夫施塔特(1916-1970)的代表作，也是美国政治、历史、社会文化的经典作品，1964年获得普利策奖(非虚构类)。本书重点研究了反对知识分子、高等教育、理论科学、理性精神、专业知识和基础研究的倾向，从新英格兰殖民地时代到冷战时期；这种倾向急功近利，追求直接效果，忽视纯粹的猜测和批判性思维。它往往主观地认为（或误认为）知识分子脱离现实，不脚踏实地，需要实践锻炼，从而忽视知识产业对现实生活的参与、影响和使用（有时间接）。从这本书开始，反智主义一词已经成为一门重要的人文学科和社会科学术语，这一概念所涵盖的现象也开始受到美国乃至世界的广泛关注。近年来，这一趋势的言行在美国社会中得到了突出。毕竟，根据作者的描述，它一直是美国精神生活的核心特征和主要缺陷之一。这本书并不是反智现象的一般记录，而是从哲学和社会学的理论角度，借助历史和社会材料，调查了美国反智主义的起源和传播。作为一名知识分子，他保持宽容、克制和不偏执的态度。在坚持理性引导社会的基本原则的同时，他没有辱骂反智主义，而是以客观分析和冷静批评的态度指出了这种趋势的本质、意义和缺点；反智主义是民主党、共和党甚至知识分子的普遍趋势，知识分子本身的缺陷和弱点也不容忽视。注:以上摘自本书翻译后记。————————————–原作名：Ati-ItellectualimiAmericaLife作者:[美]理查德·霍夫施塔特译者：何博超评分：9.0智慧受到怨恨，因为它是一种特权。反智主义（ati-itellectualim），美国历史学家理查德·霍夫斯塔特（RichardHoftadter）1962年出版的《美国生活中的反智主义》一书提出。本书描述了反智主义是如何贯穿整个历史和实用美国文化的，深入分析了美国反智主义的历史渊源，解释了知识分子在教育、政治和商业等不同领域与公众的矛盾。...

2022-04-04

动物农场(AimalFarm)，英国著名作家乔治，其他译名为动物庄园、动物农场和猪相·奥威尔(GeorgeOrwell)的一部反乌托邦寓言小说。故事描述了英格兰庄园动物主义革命的酝酿、兴起和最终转变。1945年，英文版首次出版，目前有多个中文译本。一个常见的解释是，动物庄园的故事是基于俄罗斯10月革命到苏联1940年代的历史，所以故事中的角色也有相应的原型。·奥威尔写给伊冯·达韦(YvoeDavet)在信中，他提到这部小说实际上反对斯大林。《动物农场》的故事发生在曼纳庄园。过去，饲养的牲畜和行尸体生活在肉地里。一天晚上，动物们听到了谷仓里雄猪老麦哲的梦，仿佛听到了福音传道或启蒙教育。屠宰的动物认识到被剥削和奴役的情况。不久，他们集体暴动，赶走了琼斯的主人，掌管了自己的主人，并实施了动物主义。在动物庄园成立之初，所有的动物都享有平等的权利，开始了新的生活。然而，当庄园笼罩在大家庭的温暖中，当动物努力工作，忍受委屈，适应现实时，新的当权人开始使用新的制度来获得自己的特权。猪占据了领导地位，他们的两位领导人拿破仑与斯诺鲍搏斗。经过多次比赛，前者终于赢了。革命为什么会堕落？在动物庄园里，连几个字母都学不会的鸡、鸭、牛、羊根本不知道如何争取管理庄园的权力。他们把所有的权力都交给了知识渊博的拿破仑。正如黑格尔所说：麻木冷漠的人是专制政府最稳定的群众基础，奥威尔在《动物农场》中指出，乌合之众始终是极权主义的群众基础。奥威尔在作品中塑造了一个叫鲍克斯(Boxer)的老马忠诚地为拿破仑(Naoleo)工作，生活中有两句名言：我想更努力地工作和拿破仑同志永远是对的。他从不思考，毫无疑问，过着充实而快乐的生活。他不相信自己的判断力，只相信被告知的结论。鲍克斯死于年老而筋疲力尽，但他死后被拿破仑卖给了屠夫，用一张皮和一副骨头换取威士忌。在鲍克斯的盛大追悼会上，拿破仑喝威士忌，鼓励牲畜和家禽跟上死者的步伐，成为动物农场的模范成员。尖嗓(Squealer)是群猪中指鹿为马的宣传者。他的好戏是比较农场的过去和过去。他常说:你们谁也不想见琼斯先生(Mr.Joe)卷土重来吧”这句话，成为一切异议和不满的成员头上的紧箍咒。愈是把过去的处境描述得可怕可怖，很成问题的现状就愈是显得美不胜收。于是，缺乏理解能力的动物们欣然地接受了实际上更加残暴的奴役。作为领导阶级的猪群把牛奶和苹果留给自己享用，而其他动物却忍受饥饿，对此，尖嗓的解释是振振有词、理直气壮的：“你们不会把我们猪这样做看成是出自自私和特权吧？一个新的强大社会必须需要一个公共污水沟，即一个倾泻仇恨和怨恨的地方。斯诺鲍在权力斗争中失败逃跑(Sowall)只是一个虚拟的目标。拿破仑把斯诺鲍作为革命中最危险的敌人，让所有成员始终警惕斯诺鲍的复兴。这样，动物的视线就会转移，革命的定性变化就会悄然完成。与斯诺鲍有关的迹象都出现在某个地方，肇事者都会抓住借口，从线索中找出令人震惊的重大案件。当他的统治暴露出缺陷时，斯诺鲍被视为替罪羊，所有的错误都被推到他身上，这个假设的敌人永远无法反驳。与黑白相比，黑人越黑，白人越白，合理永远合理，不合理永远不合理。当语言的作用应用到极限时，凶猛的脸就会暴露出来。九只恶狗为拿破仑开道，顺者昌逆者死亡。当年制定的七戒被刷掉了，四条腿好，两条腿坏变成了四条腿好，两条腿好。最后，领导把动物庄园改成了曼纳庄园。这里没有真相，也不允许说真话。一切都在不断修改，目的是抹去动物的记忆，让幸存者不再对暴政、不公正、公开的丑剧感到惊讶。猪竖起腿走路，在大厅里和其他庄园举杯。这时，其他动物默默地呆在窗外，眼睛从猪移到人，从人移到猪，再从猪移到人。不可能区分哪张脸是猪，哪张脸是人。奥威尔的杰出之处在于，他不仅用小说来描绘个人和事物，而且直接揭示了极权主义意识形态的邪恶和他们主导的语言系统的堕落。在奥威尔看来，用于宣传的语言是掩盖真实的窗帘、粉饰现实的工具和迷惑人们的艺术。这部作品是在奥威尔在英国广播公司工作四个月的业余时间创作的。起初，由于小说主题敏感，主题尖锐，12家英国和美国出版社拒绝印刷。一旦出版，它立即引起了巨大的轰动，并在英国和美国的阅读行业获得了持久的好评。奥威尔短暂的一生，颠沛流离，疾病缠身，郁郁不得志，一直被各派人士视为危险的异端。在奥威尔为数不多的作品中，《动物农场》与《一九八四》影响巨大。他以先知般冷峻的笔调勾画出人类阴暗的未来，令后世读者心惊肉跳。他将悲喜剧熔为一体，使作品具有了极大的张力。注：本文内容选自网络——————–原作名:AimalFarm作者：[英]乔治·奥威尔译者：荣如德评分：9.2《动物农场》是奥威尔最好的作品之一，也是反乌托的政治讽刺寓言。农场里的一群动物成功地进行了一场革命，将挤压它们的人类所有者赶出农场，建立了一个平等的动物社会。然而，动物领袖和聪明的猪最终篡夺了革命的果实，成为了比人类所有者更独裁和极权的统治者。一些论家说：如果你多看奥威尔，你会有更多的自由保障。购买电子书...

2022-04-04