浅谈Python中的scrapy的安装和创建工程。

1 安装 Scrapy依赖的库比较多,至少需要依赖库有Twisted 14.0,lxml 3.4,pyOpenSSL 0.14。而在不同平台环境又各不相同,所以在安装之前最好确保把一些基本库安装好。 Anaconda是包含了常用的数据科学库的Python发行版本,我的电脑是在Anaconda的环境下进行安装的。 如果没有安装Anaconda,可以根据以下链接进行安装,https://blog...
分类: 其他 发布时间: 08-15 23:20 阅读次数: 0

Linux| |如何安装gcc/g++以及gdb,vim在linux系统上

开始:    介绍一下这些东西都是什么?    1.gcc/g++都编译器,gcc只可以编译后缀是.c的,而g++既可以编译后缀是.c的也可以编译后缀是.cpp的    2.gdb是Linux下的调试工具    3.vim是linux下的文本编译器,写代码的工具安装:    1..gcc/g++的安装首先用命令gcc -v g++ -v查看gcc,g++的版本号就可以检测到是否安装了,gcc,g+...
分类: 其他 发布时间: 08-15 23:20 阅读次数: 0

scrapy 使用的基本流程和例子

前面已经介绍过如何创建scrapy的项目,和对项目中的文件功能的基本介绍。 这次,就来谈谈使用的基本流程。 (1)首先第一点,打开终端,找到自己想要把scrapy工程创建的路径。这里,我是建立在桌面上的。打开终端,输入: cd Desktop 就进入了桌面文件存储位置。 (2)创建scrapy工程。终端输入:scrapy startproject image 终端输入:cd ima...
分类: 其他 发布时间: 08-15 23:20 阅读次数: 0

剑指offer| |二维数组中的查找

题目描述:在一个二维数组中(每个一维数组的长度相同),每一行都按照从左到右递增的顺序排序,每一列都按照从上到下递增的顺序排序。请完成一个函数,输入这样的一个二维数组和一个整数,判断数组中是否含有该整数。 思路:可以从右上角进行出发比较,因为对于右上角的数字,其左边的的数字均比其小,下面的数字均比其大 代码: #include <stdio.h> int FindNumInAr...
分类: 其他 发布时间: 08-15 23:20 阅读次数: 0

Python3中在Anaconda环境下 安装basemap包

Basemap 是matplotlib子包,也是python中最常用、最方便的地理数据可视化工具之一。 在中端输入pip list先查看是否有jupyter,一般安装了Anaconda都会有。 win+R 打开命令提示符窗口,cd命令将当前目录设置为下载文件存放的文件夹(我放在桌面)后点回车键。 basemap下载地址:https://www.lfd.uci.edu/~gohlke/py...
分类: 其他 发布时间: 08-15 23:20 阅读次数: 0

数据结构| |栈和队列面试题

栈和队列面试题 2.用两个栈实现队列 3.用两个队列实现栈 注意:对于代码中出现的头文件“Stack.h”与"Queue.h"可以参考上一篇博客 链接:https://blog.csdn.net/qq_40399012/article/details/81665085 代码: 头文件:topic.h #ifndef __TOPIC_H__ #define __TOPIC_H__ ...
分类: 其他 发布时间: 08-15 23:20 阅读次数: 0

有一个正整数N可以分解成若干个正整数之和,问如何分解能使这些数的乘积最大?

这个题若无整数条件限制,其实答案是全部分解为e(2.71828的那个e)拿到此题,想起了天平称小球问题:n个球中有一个是轻的,试问:怎样用一个没有砝码的天平,用最少的次数找出是哪个球,请算出最少次数。这个题的答案是:当 log3(n)为整数时,最少称log3(n)次,否则,最少称(   [log3(n)]+1   )次。于是乎,猜测本题应该是将N尽量分解为若干个3,直到不能分解出3,再做出适当的调...
分类: 其他 发布时间: 08-15 23:20 阅读次数: 0

Python3中关于cookie的创建与保存

1.cookie的作用 cookie 是指某些网站为了辨别用户身份、进行session跟踪而储存在用户本地终端上的数据,就像有些网站上的一些数据是需要登录后才能看得到,那么想抓取某个页面内容,就需要用到cookie来模拟登陆了。 在用cookie模拟登陆的时候,需要用到python中的CookieJar,CookieJar中有一些子类,例如: FileCookieJar,LWPCookie...
分类: 其他 发布时间: 08-15 23:20 阅读次数: 0

Fiddler在win7系统下的安全证书问题的解决。

如果电脑win7系统,一直解决不了Fiddler的证书安装问题,可以试试下面的办法。 在安装证书的时候一直遇到这个问题。 这是因为win7系统的在.net Framework4.0上面的bug引起的。 不妨试试下面的办法: 打开cmd命令行。 文件目录跳转到Fiddler的安装目录下。例如:D:\fiddler 然后再输入: makecert.exe -r -ss my -n "...
分类: 其他 发布时间: 08-15 23:20 阅读次数: 0

折半查找法(数列已升序)

#include <iostream> using namespace std; int BinarySearch(const int a[], int key, int low, int high); // 折半查找 const int ArSize = 100; int main() { int a[ArSize]; for (int i = 0; i < ArSi...
分类: 其他 发布时间: 08-15 23:20 阅读次数: 0

Python3中MySql的安装和基本用法。

1安装 安装包下载地址:https://pypi.python.org/pypi/PyMySQL#downloads 安装之后,在终端输入 pip install pymysql 2,基本用法。 (1)创建数据库 找到安装目录,打开 来到这个界面。 然后自己设置的密码登录。 进入之后,可以创建了。 然后点击应用 接着会到达这个界面就表示创建成功了。 ...
分类: 其他 发布时间: 08-15 23:20 阅读次数: 0

提取数字的每一位——字符串转化函数itoa

头文件<cstdlib>提供了将整数转化为2-36进制表示的字符串string,由此可按照2-36各进制,根据实际需要,提取整数的每一位。函数原型:char * itoa(int value, char * string, int radix);功能:将整数value转化成用radix进制表示的字符串string,进制radix必须在2-36位之间返回值: 指向string的指针。示例...
分类: 其他 发布时间: 08-15 23:20 阅读次数: 0

PhantomJS的安装和基本用法。

1.安装 下载网址:http://phantomjs.org/download.html 选择合适的版本。然后解压即可。 环境变量的配置: 进入解压的路径: 例如我是解压在D:\Python\phantomjs-2.1.1-windows\bin,将这个路径编辑在上图的末尾。就可以使用了。 如果刚配置好,在使用的时候,提示环境变量没有配置好的话,不妨重启一下电脑试试。 2 基...
分类: 其他 发布时间: 08-15 23:20 阅读次数: 0

利用公式近似计算log2(x)

公式详见程序设计基础(清华大学出版社)P102解题时,注意应向log2函数传递的参数的选取及其类型即可代码如下:#include <iostream> #include <cmath> using namespace std; const double q = 1e-6; double s[100000], a[100000], b[100000]; int main()...
分类: 其他 发布时间: 08-15 23:20 阅读次数: 0

redis分布式爬虫的安装

打开服务器的命令了,打开终端。移动到redis文件夹目录, 然后输入命令:redis-server redis.windows.conf 如下图所示: 那么,我们的redis就安装成功了。 命令中的“redis.windows.conf”是redis中配置文件的名称 ...
分类: 其他 发布时间: 08-15 23:20 阅读次数: 0

Android BroadcastReceiver

首先先创建一个广播接受的自定义类继承BroadcastReceiver父类: 再为这个广播接受类动态或静态注册!!! 再为这个广播接受类动态或静态注册!!! 再为这个广播接受类动态或静态注册!!!   静态注册:  动态注册(在发送广播的类中动态注册接收器!!!): 不是在广播接受器中注册!!!: 取消注册 :   那问题来了,在activity的哪个函数注册和取消...
分类: 其他 发布时间: 08-15 23:20 阅读次数: 0

使用CSDN-markdown编辑器编写博客

欢迎使用Markdown编辑器写博客 本Markdown编辑器使用StackEdit修改而来,用它写博客,将会带来全新的体验哦: Markdown和扩展Markdown简洁的语法 代码块高亮 图片链接和图片上传 LaTex数学公式重点内容 UML序列图和流程图 离线写博客 导入导出Markdown文件 丰富的快捷键 快捷键 加粗 Ctrl + B 斜体 Ctrl +...
分类: 其他 发布时间: 08-15 23:20 阅读次数: 0

Android LRUCache(内存缓存)和DisLrucache(硬盘缓存) (Volley框架是网络层获取数据的框架)

 Lrucache(继承了LinkedHashMap):  LRUCache的使用: 原理: 所以接下来讲一下LinkedHashMap源码(采用双向链表的双向队列)是怎么实现一个删除最近最少使用数据的功能?  get和put方法中都调用了recordAccess方法,通过这个方法记录下用户访问的Entry,并把它移到队列的尾部去   分析完父类LinkedHashMap,...
分类: 其他 发布时间: 08-15 23:20 阅读次数: 0

Android Volley框架 以及Picasso和Glide比较

首先了解一下,它是封装了HTTPConnection和HTTPClient类的一个框架, 适用于数据量少但是通信频繁的情况,如加载图片;   就拿StringRequest(用来请求字符串的)举例: Volley的顺序是 :  Http请求-------再接受响应   只需三步 GET: 1.首先新建一个请求队列,用来存放一会要发出的Http消息:  2.构造一条HTTP请求: ...
分类: 其他 发布时间: 08-15 23:20 阅读次数: 0

java中的四种引用方式

1.强引用; 创建的对象不会被回收,就算JVM抛出OOM也不会将这些对象给回收 2.弱引用(用来防止内存泄漏) 创建的对象无论如何最后都会回收;(所以因为内存泄漏,无用对象无法被回收的情况就不会出现啦) 3.软引用 创建的对象在内存不足时才会被回收 4.虚引用 随时都会被回收,所以采用虚引用和没持有引用是差不多的...
分类: 其他 发布时间: 08-15 23:20 阅读次数: 0
今日推荐