拉勾网——爬爬爬

爬取拉勾网(一)一:前言拉勾网上面有大量的招聘信息,无论是对于找工作的人还是在学习的人都有着重要的影响。对于找工作或者跳槽的人来说,可以找到一个工作;学习者来说,可以找到自己努力的方向。说实话拉勾是我见过第二个反爬措施厉害的网站,第一个是马爸爸的淘宝,我连get进去也就不去。实在是难死宝宝了。起码拉勾网能让我爬取一点数据。拉勾网用的是AJAX动态加载,并应用表单的交互技术。简单点说救是,你要请求下一页,它网址不变,内容改变。我一开始想用js逆向解决cookies,从源头解决cookies,我生生搞了几
分类: 其他 发布时间: 03-05 09:28 阅读次数: 0

b站视频排行榜爬取

bilibili排行榜爬取众所周知,B站学习软件。哈哈哈哈,今天我们就爬取B站的排行榜。废话不多说了,直接开始了。#分析:我们看图一可以发现每个是视频的info都在li的标签里,我可以用xpath得到,在这里我想获得视频的封面,播放量,综合得分以及视频链接;除了封面,其它的都可以得到,后来我在另一个另一个链接中发现了,我在后面会讲到。图一:我们点开视频链接,进入视频播放页,F12一下,点击network,让视频播放,会发现有许多xhr文件不断刷新(如图二文件),它以m4s结尾图二:我们可推
分类: 其他 发布时间: 03-05 09:27 阅读次数: 0

js逆向之网易云

https://mp.weixin.qq.com/s/3AQUfcGk3fICWH60Popxiw
分类: 其他 发布时间: 03-05 09:27 阅读次数: 0

JS逆向之网抑云

JS逆向之网抑云许多人都喜欢网抑云,其一有歌曲,还有就是它的评论,上面的评论有些是鸡汤,有些直击心灵,反正许多给我的是一种丧的感觉,废话不多说,先来分析一波。在这里我搜索的歌是天下,这还是那些老操作,就不多说了,在这里我们可以看到它的url,在它的headers中https://music.163.com/weapi/cloudsearch/get/web?csrf_token=同时你也会发现你不断刷新,它的Form Data中的encSecKey与params是在不断变化,并且是被加密过的,那
分类: 其他 发布时间: 03-05 09:27 阅读次数: 0

猿人学攻防大赛题一

猿人学攻防大赛题一距离猿人学攻防大赛已经好久了,而我是最近才开始js逆向,但是现在学习也不晚,正年轻嘛,哈哈哈哈哈哈。话不多说,我要开始bb了,嘿嘿。网址:http://match.yuanrenxue.com/match/1分析:当我们F12会看到如下界面:那我们就要去debugger,应该这样操作,在上图红圈里鼠标右键,然后点击下图的1,然后点击下图的2,就可以去debugger了。然后呢,再点击Network,看XHR里最大的文件就好了,然后在Priview可以看到下面图片的样子,
分类: 其他 发布时间: 03-05 09:27 阅读次数: 0

猿人学攻防大赛题二

最近好久没更新文章了,其实在有空的时候就学会,目前已经学到第5题了,后续会更新出来的。今天我们就分析一下第二题。第二题叫:js 混淆 -动态cookie,由题目就知道到与cookie有关,并且cookie是动态的。话不多说,开始分析。网站:http://match.yuanrenxue.com/match/2我们看一下cookie分析一下:Cookie: Hm_lvt_0362c7a08a9a04ccf3a8463c590e1e2f=1607932654; Hm_lpvt_0362c7a08a9.
分类: 其他 发布时间: 03-05 09:26 阅读次数: 0

Go语言学习笔记之字符串一

No one can call back yesterday. Yesterday will not be called again.Go语言是一个年轻人,身上拥有c++,java,python等语言的特点。在网络通信、并发和并行编程拥有极好的体验,当然不仅仅在这上上面,还有网络编程,web应用,应用下载等有着非常大的潜力。这里列举一些 Go 语言的特点: 简化问题,易于学习 内存管理,简洁语法,易于使用 快速编译,高效开发 高效执行 并发支持,轻松驾驭, 静态类型 标准类库,规范统一 易于部署 .
分类: 其他 发布时间: 03-05 09:26 阅读次数: 0

知乎登录js逆向及文章爬取js逆向

知乎登录js逆向及文章爬取js逆向**在此声明:**本文章仅仅用于学习交流,不得用于商业活动。登录支持账号密码登录及知乎移动端软件扫码登录。文章爬取是把原文章的原样近似爬取,包括图片,链接,及评论。同时支持实时热点爬取。好久不更新文章了,现在不一样了,放假了。其实这个文章我好久之前就打算写,但是当时比较忙,就被搁置了,现在放假了,就继续来。要不就半途而废了。也浪费了以前的时间。废话不多说,我们直接开干。知乎,中文互联网高质量的问答社区和创作者聚集的原创内容平台,于 2011 年 1 月正式上
分类: 其他 发布时间: 03-05 09:26 阅读次数: 0

超星系统登录,信息爬取

超星系统登录,信息爬取经历过上一年的疫情的大学生,一部分大学生可能对超星有一个深刻的认识,而我写这个项目的想法来自我的导师,做一个可以爬取超星课程学生成绩,可以随机组卷(前提是自己题库里有题),该项目可以做到统计题库试题类型以及试题数量,同时可以模板组卷以及一键群发消息,省去了许多的点点点。下面步入整体。首先就是登录:登录超星登录链接(点这里),这个是超星现在登录的一个节界面,当然还有另一个界面(点这个是另一个),我选择这个是因为这个可以实现扫码登录,学号或工号登录(我称他为机构登录),手机号码与
分类: 其他 发布时间: 03-05 09:26 阅读次数: 0

猿人学爬虫攻防大赛 | 第三题: 访问逻辑 - 推心置腹

猿人学爬虫攻防大赛 | 第三题: 访问逻辑 - 推心置腹其实这道题已经写了好久了,一直放在电脑里好久,最近想起来了,就运行一下,还是能跑了。那就趁着有空写一下,纪录自己的步伐,顺便分享出来。我们看一下这道题的名字 访问逻辑 - 推心置腹那就是跟访问逻辑有关,其实这也给了我们解决的方向。我们先抓一下包看看,当然仅仅看一页是不够的,要多看几页我们可以看到每个请求前都有一个logo请求。当我们点第四页或者第五页时,会出现上面的弹窗。这也给了我们提示,与cookie有关。那我们就可以尝试一下。当然这
分类: 其他 发布时间: 03-05 09:25 阅读次数: 0

算法竞赛进阶指南---0x18(对顶堆) Black Box

题面题解我们可以用对顶堆来维护一个有序的序列,如图我们只要维护大根堆中的元素是i-1个,那么小根堆的堆顶就是按升序排序后的第i个数,接下俩看两个操作对于GET操作,先让i++,然后输出排序后的第i个数,但是题中给定的数组是先输出,后i++(看题),那么我们每次先输出right(小根堆)的堆顶,然后i++,那么left(大根堆)中的元素就应该加+1,我们只需要将小根堆的堆顶放入大根堆中即可维护对于ADD操作,如果插入的这个a[i]>=right.top||left.e
分类: 其他 发布时间: 03-05 09:25 阅读次数: 0

算法进阶指南---0x18(二分+hash)匹配统计

原题链接题解此题可以用KMP写,也可以用hash写(简单),我们先用hash写我们先预处理出A和B的hash,然后枚举A的后缀字串所能匹配的B的最大长度,统计长度即可对于A的每个后缀字串,我们可以用二分来求所能匹配的最大长度代码#include<iostream>#include<cstdio>#include<string>#include<cstring>#include<algorithm>#i
分类: 其他 发布时间: 03-05 09:25 阅读次数: 0

算法进阶指南---0x18(KMP)匹配统计

原题链接题解hash前面已经讲过了,我们再用KMP做一下,对于KMP我们先要了解ne数组:next[i]=j 以i为终点的后缀和从1开始的非平凡前缀最大重合是j我们先对B预处理出ne,然后对A进行匹配 for (int i = 1, j = 0; i <= n; i++) { while (j && a[i] != b[j + 1]) j = ne[j]; if (a[i] == b[j + 1]) j++;
分类: 其他 发布时间: 03-05 09:25 阅读次数: 0

darknet加载更新保存权重文件研究

1.加载权重1.1加载流程load_weights_upto代码:void load_weights_upto(network *net, char *filename, int cutoff)load_weights_upto调用结构1.2 load_weights_upto解析:关于参数cutoff说明:cutoff只在一个for循环处引用,具体看附件load_weigths_upto源代码:再看看load_weights_upto的引用...
分类: 其他 发布时间: 03-05 09:24 阅读次数: 0

计算机视觉学习笔记

https://www.zhihu.com/question/424404184/answer/1511882204https://zhuanlan.zhihu.com/p/257137546https://www.zhihu.com/question/51863955/answer/127888709
分类: 其他 发布时间: 03-05 09:24 阅读次数: 0

为什么静态成员函数不能申请为const?

静态成员函数是属于类的bai,而不是某个具体对象,在没du有具体对象的时候zhi静态成员就已经存在,静态成员函数不会访问到非静态成员,也不存在this指针。而成员函数的const就是修饰this指针的,既然静态成员函数不会被传递this指针,那const自然就没有必要了...
分类: 其他 发布时间: 03-05 09:24 阅读次数: 0

从今天起,我要改变我自己

想要改变自己,今天先立一个flag,日后号监督验证.上班坐地铁,时间比较固定,背一点扇贝单词.下班就回家,回家的路上可以看些微博和知乎专栏.每天统计回家和洗护洗澡的时间,小番茄统计与记录.回家和洗护洗澡的时间要尽量缩短.晚上的时间一定要充分利用起来晚上的时间一定要充分利用起来晚上的时间一定要充分利用起来重要的事情要说三遍,深圳压力太大,必须努力学习,必须自律.晚上回家后,至少学习2小时,学习专业技术知识,主要包括一些前沿知识和准备面试:前沿知识主要是深度学习计算机视觉相关知识
分类: 其他 发布时间: 03-05 09:24 阅读次数: 0

C++程序进程通信共享内存设计架构与实现细节

1.主程序(C#.exe程序)window_loaded()主程序启动时win_loaded()函数调用DataDll.ImportDllImportDll主要干两件事:加载动态库和获取函数指针1.加载动态库 private IntPtr hLib; hLib = Win32Native.LoadLibrary(DLLPath);2.获取函数指针获取函数指针1:.声明动态库导出函数 public delegate Boolean fn_InitMappingEx(i
分类: 其他 发布时间: 03-05 09:23 阅读次数: 0

darknet损失函数研究

机器学习总结(三)——损失函数浅析机器学习中各种损失函数及其含义
分类: 其他 发布时间: 03-05 09:23 阅读次数: 0

C++面试题系列:查找

NC88:查找数组中第k大的数
分类: 其他 发布时间: 03-05 09:23 阅读次数: 0