Python urllib2.HTTPError: HTTP Error 304: Not Modified

做爬虫的时候很常见的一个错误就是urllib2.HTTPError: HTTP Error 304: Not Modified,我的解决方法是为urllib2添加headers, 如下: headers = { 'Accept': 'application/json, text/javascript, */*; q=0.01', 'Accept-Encoding': 'gzip, deflate, sdch', 'Accept-Language
分类: 其他 发布时间: 12-28 23:37 阅读次数: 0

python range和xrange的区别

如果需要迭代一个数字序列的话,可以使用range()函数,range()函数可以生成等差级数。 如例: for i in range(5) print(i) 这段代码将输出0, 1, 2, 3, 4五个数字 range(10)会产生10个值, 也可以让range()从另外一个数字开始,或者定义一个不同的增量,甚至是负数增量 range(5, 10)从5到9的五个数字range(0, 10, 3) 增量为三, 包括0,3,6,9四个数字range(-10, -100, -30) 增量为-30,
分类: 其他 发布时间: 12-28 23:37 阅读次数: 0

2018年全国电影票房分析图

2018年全国电影票房分析图 2018年即将过去,在这一年中,我们遇到了很多牛逼的电影,他们的数据怎么样呢?就看看一下数据吧。 影院数据为每日票房排名前10的影院,院线数据为每日票房排名前10的院线,城市数据为每日票房排名前10的城市,影片数据为每日票房排名前10的影片。故数据有很多缺失(爬取的目标网站就这么多数据,哈哈) 1,数据的抓取 使用Python+requests抓取数据,保存数据为csv,简单方便,代码如下 # encoding=utf-8 import requests im
分类: 其他 发布时间: 12-28 23:37 阅读次数: 0

pytorch相关知识(BN、dropoutput+模型加载+损失函数)

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/qxqsunshine/article/details/84037308 一、在模型测试的时候,前面会使用: model.eval() 语句 但是如果不写运行也会正确,因为这个方法是针对在训练网络和测试时采用不同的情况来进行的 如:Batch Normalization 和Dropout 1、Batch Normalization (BN) 主要是针对网络的中间每一层进行批归一化处理,并且使用变换
分类: 其他 发布时间: 12-28 23:36 阅读次数: 0

pytorch资料链接汇总

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/qxqsunshine/article/details/84063022 1、(可视化)pytorch-cnn-visualizations 链接:https://github.com/utkuozbulak/pytorch-cnn-visualizations 2、pytorch-book 代码实现 书籍:书籍《深度学习框架PyTorch:入门与实践》的对应代码,但是也可以作为一个独立的PyTo
分类: 其他 发布时间: 12-28 23:36 阅读次数: 0

网络理解

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/qxqsunshine/article/details/84075080 卷积神经网络(CNN)由输入层、卷积层、激活函数、池化层、全连接层组成 (博客:https://blog.csdn.net/qq_30979017/article/details/79506593) 写得很不错呀,哈哈哈 1、卷积层的作用:用它来进行特征提取 有一个特性是:权值共享(只是在每一个filter上的每一个chan
分类: 其他 发布时间: 12-28 23:36 阅读次数: 0

用pytorch实现GAN——mnist(含有全部注释和网络思想)

#coding=utf-8 import torch.autograd import torch.nn as nn from torch.autograd import Variable from torchvision import transforms from torchvision import datasets from torchvision.utils import save_image import os #创建文件夹 if not os.path.exists('./im
分类: 其他 发布时间: 12-28 23:36 阅读次数: 0

pytorch中对图像的基本操作

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/qxqsunshine/article/details/84109949 Pytorch提供了一个torchvision.transforms的包,可以使用transforms进行如下操作: 1、PIL.image / numpy. ndarray 与Tensor相互转化 2、进行归一化 3、对PIL.image进行裁剪、缩放等操作 一、PIL.image / numpy. ndarray 转化为
分类: 其他 发布时间: 12-28 23:35 阅读次数: 0

pytorch载入和显示图片

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/qxqsunshine/article/details/84887698 代码实现如下: import numpy as np from torchvision import transforms import cv2 #transforms.ToTensor() transform1=transforms.Compose([transforms.ToTensor()]) #读入图像 img=
分类: 其他 发布时间: 12-28 23:35 阅读次数: 0

pytorch报错汇总

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/qxqsunshine/article/details/84991168 1、出现代码错误:module 'torchvision.transforms' has no attribute 'Resize' 原因: torchvision版本较低 解决方案:pip install --upgrade torchvision 升级torchvision到 0.2.1 版本。 (问题解决)
分类: 其他 发布时间: 12-28 23:35 阅读次数: 0

图像的超分辨率重建SRGAN与ESRGAN

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/qxqsunshine/article/details/85223123 SRGAN 传统的图像超分辨率重建方法一般都是放大较小的倍数,当放大倍数在4倍以上时就会出现过度平滑的现象,使得图像出现一些非真实感。SRGAN借助于GAN的网络架构生成图像中的细节。 训练网络使用均方误差(MSE)能够获得较高的峰值信噪比(PSNR),但是恢复出来的图像会丢失图像的高频细节信息,在视觉上有不好的体验感。SR
分类: 其他 发布时间: 12-28 23:35 阅读次数: 0

unable to access "系统"

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/qxqsunshine/article/details/85235253 双系统Ubuntu无法访问Win10磁盘分区解决方法: 在Ubuntu中打开win10的磁盘显示错误: Error mounting /dev/sda3 at.......... 解决办法:修复磁盘 命令: sudo apt-get install ntfs-3g 然后对出错的盘符分别执行: sudo ntfsfix /
分类: 其他 发布时间: 12-28 23:34 阅读次数: 0

Poemscape beta版本第二阶段目标描述

 Poemscape beta版本第二阶段目标描述 还记得在poemscape alpha的报告上,我们的功能虽然实现的还可以,但是太慢了,导致用户体验非常差,所以我们非常希望有一个架构师可以重构我们的服务器代码。 所以beta的第一阶段前五(六)天我们在子博的带领下,分别对整个服务器的前端、api-server、engine和模型优化进行了工作,并且串起来成功跑起来,速度得到了非常大的提升。 因此,在这种情况下,我们计划后面一个阶段的任务,每个人已经非常熟悉自己的工作内容的情况下,可以
分类: 其他 发布时间: 12-28 23:34 阅读次数: 0

MySQL索引设计需要考虑哪些因素?

索引小知识 篇幅有限,索引的基本知识我们就不赘述了,在此,我们尝试说明其中的一个小点-----B+树与B树的区别到底是什么。 InnoDB是使用B+树来实现其索引功能的。在B+树中,内节点(非叶子节点)存储了行数据的键,而叶子节点存储了所有的行数据,而B树的每个节点都存储了真实的数据。这种数据结构,决定了两者有以下不同点: (1)非叶子节点能存放指针的数据量。因为B树的非叶子节点存放的是整行的数据,占用了较多的空间,所以能存放指针就相对较少,因此整个B树的层数就变高。当数据量比较大时,插入更新
分类: 其他 发布时间: 12-28 23:34 阅读次数: 0

扫雷思想及主函数

1.建雷盘(9*9雷盘) 2.初始化雷盘,雷盘1每个位置初始化为字符0,雷盘2每个位置初始化为字符*。 3.为了检验,输出我们初始化好的雷盘。 4.向棋盘放雷,这块我们可以以雷数设计难度。摆雷是以随机数放入的,下面会附上代码,详见代码 5.扫雷。 详细说明一下扫雷的思想: 5.1.先定义int win = 0(用来判断结束的条件)当我们向控制台输入坐标后,先判断输入坐标是否合法,不合法继续执行5.1,合法执行5.2。 5.2.判断输入坐标是否是雷?如果是雷,直接输出“菜鸟,你踩雷了”,否则,执
分类: 其他 发布时间: 12-28 23:34 阅读次数: 0

爬取广州的python和Java薪资,为什么Python 高于Java(有代码)

小编不知道这个是不是属于那个啥,要看的赶紧看,说不定小编的号要被封了。 用python爬取了某某某直聘网站,直聘Python和Java的招聘信息,比较了两个方向的发展前(钱)途 ,主要是本科生。为了前(钱)途 冲啊!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!! 爬取 在招聘网站上直接以”本科生”和”Java”或”Python”作为筛选条件 爬取招聘的大体信息,具体代码如下: 小编准备了一份python的(全家桶)对初学着和入门不久的作用特别大。加小编的Q君
分类: 其他 发布时间: 12-28 23:34 阅读次数: 0

CSP全攻略

先贴个比较全的文章,后面继续整理。 https://www.cnblogs.com/Wayou/p/intro_to_content_security_policy.html
分类: 其他 发布时间: 12-28 23:34 阅读次数: 0

不安分的管家——Jenkins

占个位,持续补充。 一、使用Jenkins进行自动化部署 一直以来关于xx框架/中间件的技术博客有个奇怪的事情。这类文章特点大而全,重复率高,读者阅读完毕基本从安装到放弃。 作为一个使用者,我只是为了实现一个初步的功能慕名而来,踩得坑多了才希望寻求一些心得,结果搜索到的偏偏是些连作者自己都觉得云里雾里的东西。 这里,从目的出发,只谈我遇到的障碍与解决方式,构成一条完整的线。 【通过Jenkins实现不需要PC、不需要SSH的自动化部署】 1、首先yum安装。 wget -O /etc/yum.
分类: 其他 发布时间: 12-28 23:34 阅读次数: 0

如何创建一个对象(二、单例)

为什么需要单例模式 在应用程序中,经常会用到单例模式,即这个类只能存在一个对象实例。 那么为什么需要这种模式,我们在一个程序应用中,只需要创建一次性的对象实例以节省内存资源,避免重复创建的开销,以便后面使用可以更快的访问。 如何写一个单例模式   单例作为所有设计模式中最简单的设计模式之一,其创建是非常简单的。 饿汉式单例 #code 饿汉式单例-不推荐 public final class HungrySingleton { private byte[] data = new by
分类: 其他 发布时间: 12-28 23:34 阅读次数: 0

禁止密码显示框

登录页面记忆密码后,后面的修改密码,用户名之类的每次都会自动加一个密码,用户名,手动清都清不掉,可以用如下办法解决。 <input type="password" name="passord" style="display:none"> 放到密码输入的地方之前。
分类: 其他 发布时间: 12-28 23:34 阅读次数: 0