os模块
sys模块
- 常用
  - 1.sys.argv
  - 2.sys.modules.keys()
- 了解
json模块
- 针对内存
- 针对对象
pickle模块
logging 模块

os模块

作用：与操作系统交互，控制文件/文件夹

dir 代表文件夹 file 代表文件

对文件的操作

1.`os.path.isfile(path)`

判断是否为文件，如果path是一个存在的文件，返回True。否则返回False

res = os.path.isfile(r'D:\上海python12期视频\python12期视频\day 16\00 上节课回顾.md')
print(res)

2.`os.remove()`

删除文件

os.remove(r'D:\上海python12期视频\上节课回顾.md') 删除一个文件

3.`os.rename(old,new)`

重命名文件或文件夹名，括号里参数：前面是旧文件名，后面是新文件名

os.rename(r'', r'')

对文件夹的操作

1.`os.path.isdir()`

判断是否为文件夹，返回true或false

2.`os.makedir()`

创建文件夹

os.mkdir(r'D:\上海python12期视频\python12期视频\test')

3.`os.rmdir`

删除文件夹

os.rmdir(r'D:\上海python12期视频\python12期视频\test')

4.`os.listdir()`

列出文件夹内所有的文件 *****

res = os.listdir(r'D:\上海python12期视频\day 16')
print(res)

辅助性的

1.`os.getcwd()`

获取当前工作目录，即当前python脚本工作的目录路径

res = os.getcwd()
print(res)
# D:\pycharm\项目\开课练习\day 16

2.`os.path.abspath(file)`

列出当前文件所在的具体路径, __file__ 是pycharm独有

res = os.path.abspath(__file__)  
# 根据不同的操作系统,更换不同的\或/
print(res)
# D:\pycharm\项目\开课练习\day 16\os模块.py

3.`os.path.dirname(path)`

获取当前文件的所在文件夹路径。可以与os.path.abspath(__file__)配合使用

res = os.path.dirname(os.path.abspath(__file__))
print(res)

4.`os.path.join()`

拼接文件路径，将文件夹路径与文件路径相拼接

res = os.path.join(os.path.dirname(os.path.abspath(__file__)), 'test.jpg')
print(res)
# D:\pycharm\项目\开课练习\day 16\test.jpg

5.`os.path.exists()`

判断路径是否存在（文件和文件夹都适用）

res = os.path.exists(r'D:\上海python12期视频\python12期视频\day 16\01 os模块.py')
print(res)
# False

编写程序时尽量不要写路径

6.`os.system('dir')`

执行终端代码

7.`os.walk()`

os.walk('加文件路径')

获得生成器，for循环递归每个文件夹的。

模块应用

import os
## 代码统计(只是想告诉你os模块的应用场景)
def count_code(file_path):
    """通过文件路径计算文件代码量"""
    count = 0
    # tag = False
    # tag2 = False
    with open(file_path, 'r', encoding='utf8') as fr:
        for i in fr:
            # if ('= """' or "= '''") in i:
            #     tag2 = True
            # if tag and (i.startswith('"""') or i.startswith("'''")) and not tag2:
            #     tag = False
            # if tag and not (i.startswith('"""') or i.startswith("'''")) and not tag2:
            #     continue
            if i.startswith('#'):
                continue
            if i.startswith('\n'):
                continue
            # if i.startswith('"""') or i.startswith("'''"):
            #     tag = True
            #     continue
            count += 1
    # 计算代码量
    return count


def count_all_file_code(top):
    if os.path.isfile(top):
        count = count_code(top)
        return count

    # 针对文件夹做处理
    res = os.walk(top)  # 只针对文件夹
    count_sum = 0
    for dir, _, files in res:
        # print(i) # 所有文件夹名
        # print(l) # i文件夹下对应的所有文件名
        for file in files:
            file_path = os.path.join(dir, file)
            if file_path.endswith('py'):  # 判断是否为py文件
                count = count_code(file_path)
                count_sum += count
    return count_sum


top = r'D:\上海python12期视频\python12期视频\项目-atm'
count_sum = count_all_file_code(top)
print(f' {top} 代码量统计: {count_sum}')

sys模块

与python解释器交互

常用

1.sys.argv

当使用命令行式运行文件，接受多余的参数

res = sys.argv
print(res)

2.sys.modules.keys()

拿到当前导入的模块

import requests
print(sys.modules.keys())

了解

1.  print(sys.api_version)
#   解释器的C的API版本
2.  print(sys.copyright)
#   记录python版权相关的东西
3.  print(sys.version)
#   获取Python解释程序的版本信息
4.  print(sys.hexversion)
#   获取Python解释程序的版本值，16进制格式如：0x020403F0

json模块

跨平台数据交互，json串

针对内存

1.序列化

按照特定的规则转换代码。none==》null python转换为别的平台可以使用的 json串==》跨平台交互传输数据

2.反序列化

按照特定的规则把json串转换成python/java/c/php需要的数据类型

dump获得json串（序列化）

loads转化json串为py代码（反序列化）

dic = [1, (1, 2)]

res = json.dumps(dic)  # json串中没有单引号,
print(type(res), res)  # 跨平台数据交互
#<class 'str'> [1, [1, 2]]

res = json.loads(res)
print(type(res), res)
# <class 'list'> [1, [1, 2]]

针对对象

dump 与 load

dic = {'a': 1, 'b': None}

# # 序列化字典为json串,并保存文件
import json
with open('test.json', 'w', encoding='utf8') as fw:
    json.dump(dic, fw)

# 反序列化  将null转换为none
with open('test.json', 'r', encoding='utf8') as fr:
    data = json.load(fr)
    print(type(data), data)
    #  <class 'dict'> {'a': 1, 'b': None}

pickle模块

不跨平台，针对python所有数据类型，如集合，使用方式与json一样。

序列化与反序列化都有，但是以二进制形式保存文件。

针对函数而言，只是存了一个函数名。

import pickle  # -->未来存对象(存对象名,)

def func():  # 针对地址而言,只存了一个函数名
    print('func')

with open('test.pkl','wb') as fw:
    pickle.dump(func,fw)

def func():
    print('lksjdfkljskldfjlksjdlk')

with open('test.pkl', 'rb') as fr:
    data = pickle.load(fr)
    print(type(data), data)
    data()  # func()

logging 模块

日志模块

logging有五个级别，这个五个级别自下而上进行匹配

debug-->info-->warning-->error-->critical
  10     20      30       40       50
    默认最低级别为warning级别。

1.基本使用

无法指定日志的级别；无法指定日志的格式；只能往屏幕打印，无法写入文件。如果不设置，默认显示30以上

import logging

logging.debug('调试信息')
logging.info('正常信息')
logging.warning('警告信息')
logging.error('报错信息')
logging.critical('严重错误信息')
'''  输出：
WARNING:root:警告信息
ERROR:root:报错信息
CRITICAL:root:严重错误信息
'''

2.添加设置

import logging

# 日志的基本配置

logging.basicConfig(filename='access.log',
                    format='%(asctime)s - %(name)s - %(levelname)s -%(module)s: %(message)s',
                    datefmt='%Y-%m-%d %H:%M:%S %p',
                    level=10)

logging.debug('调试信息')  # 10
logging.info('正常信息')  # 20
logging.warning('警告信息')  # 30
logging.error('报错信息')  # 40
logging.critical('严重错误信息')  # 50
可在logging.basicConfig()函数中可通过具体参数来更改logging模块默认行为，可用参数有:
    
filename：用指定的文件名创建FiledHandler（后边会具体讲解handler的概念），这样日志会被存储在指定的文件中。
filemode：文件打开方式，在指定了filename时使用这个参数，默认值为“a”还可指定为“w”。
format：指定handler使用的日志显示格式。
datefmt：指定日期时间格式。
level：设置rootlogger（后边会讲解具体概念）的日志级别
stream：用指定的stream创建StreamHandler。可以指定输出到sys.stderr,sys.stdout或者文件，默认为sys.stderr。若同时列出了filename和stream两个参数，则stream参数会被忽略。


format参数中可能用到的格式化串：

%(name)s Logger的名字
%(levelno)s 数字形式的日志级别
%(levelname)s 文本形式的日志级别
%(pathname)s 调用日志输出函数的模块的完整路径名，可能没有
%(filename)s 调用日志输出函数的模块的文件名
%(module)s 调用日志输出函数的模块名
%(funcName)s 调用日志输出函数的函数名
%(lineno)d 调用日志输出函数的语句所在的代码行
%(created)f 当前时间，用UNIX标准的表示时间的浮 点数表示
%(relativeCreated)d 输出日志信息时的，自Logger创建以 来的毫秒数
%(asctime)s 字符串形式的当前时间。默认格式是 “2003-07-08 16:49:45,896”。逗号后面的是毫秒
%(thread)d 线程ID。可能没有
%(threadName)s 线程名。可能没有
%(process)d 进程ID。可能没有
%(message)s用户输出的消息

v2版本不能指定字符编码；只能往文件中打印。

3.高级设置

logging模块包含四种角色：logger、Filter、Formatter对象、Handler

logger：产生日志的对象
Filter：过滤日志的对象
Formatter对象：可以定制不同的日志格式对象，然后绑定给不同的Handler对象使用，以此来控制不同的Handler的日志格式
Handler：接收日志然后控制打印到不同的地方，FileHandler用来打印到文件中，StreamHandler用来打印到终端

'''
critical=50
error =40
warning =30
info = 20
debug =10
'''


import logging

# 1、logger对象：负责产生日志，然后交给Filter过滤，然后交给不同的Handler输出
logger = logging.getLogger(__file__)

# 2、Filter对象：不常用，略

# 3、Handler对象：接收logger传来的日志，然后控制输出
h1 = logging.FileHandler('t1.log')  # 打印到文件
h2 = logging.FileHandler('t2.log')  # 打印到文件
sm = logging.StreamHandler()  # 打印到终端

# 4、Formatter对象：日志格式
formmater1 = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s -%(module)s:  %(message)s',
                               datefmt='%Y-%m-%d %H:%M:%S %p',)

formmater2 = logging.Formatter('%(asctime)s :  %(message)s',
                               datefmt='%Y-%m-%d %H:%M:%S %p',)

formmater3 = logging.Formatter('%(name)s %(message)s',)


# 5、为Handler对象绑定格式
h1.setFormatter(formmater1)
h2.setFormatter(formmater2)
sm.setFormatter(formmater3)

# 6、将Handler添加给logger并设置日志级别
logger.addHandler(h1)
logger.addHandler(h2)
logger.addHandler(sm)

# 设置日志级别，可以在两个关卡进行设置logger与handler
# logger是第一级过滤，然后才能到handler
logger.setLevel(30)
h1.setLevel(10)
h2.setLevel(10)
sm.setLevel(10)

# 7、测试
logger.debug('debug')
logger.info('info')
logger.warning('warning')
logger.error('error')
logger.critical('critical')

4.自定义配置

# v3: 自定义配置


# 1. 配置logger对象
nick_logger = logging.Logger('nick')
json_logger = logging.Logger('jason')

# 2. 配置格式
formmater1 = logging.Formatter('%(asctime)s - %(name)s -%(thread)d - %(levelname)s -%(module)s:  %(message)s',
                               datefmt='%Y-%m-%d %H:%M:%S %p ', )

formmater2 = logging.Formatter('%(asctime)s :  %(message)s',
                               datefmt='%Y-%m-%d %H:%M:%S %p', )

formmater3 = logging.Formatter('%(name)s %(message)s', )

# 3. 配置handler --> 往文件打印or往终端打印
h1 = logging.FileHandler('nick.log')
h2 = logging.FileHandler('json.log')
sm = logging.StreamHandler()

# 4. 给handler配置格式
h1.setFormatter(formmater1)
h2.setFormatter(formmater2)
sm.setFormatter(formmater3)

# 5. 把handler绑定给logger对象
nick_logger.addHandler(h1)
nick_logger.addHandler(sm)
json_logger.addHandler(h2)

# 6. 直接使用
nick_logger.info(f'nick 购买 变形金刚 4个')
# json_logger.info(f'json 购买 变形金刚 10个')

5.配置模板

以上三个版本的日志只是为了引出我们下面的日志配置文件

import os
import logging.config

# 定义三种日志输出格式 开始
standard_format = '[%(asctime)s][%(threadName)s:%(thread)d][task_id:%(name)s][%(filename)s:%(lineno)d]' \
                  '[%(levelname)s][%(message)s]'  # 其中name为getLogger()指定的名字；lineno为调用日志输出函数的语句所在的代码行
simple_format = '[%(levelname)s][%(asctime)s][%(filename)s:%(lineno)d]%(message)s'
id_simple_format = '[%(levelname)s][%(asctime)s] %(message)s'
# 定义日志输出格式 结束

logfile_dir = os.path.dirname(os.path.dirname(os.path.abspath(__file__)))  # log文件的目录，需要自定义文件路径 # atm
logfile_dir = os.path.join(logfile_dir, 'log')  # C:\Users\oldboy\Desktop\atm\log

logfile_name = 'log.log'  # log文件名，需要自定义路径名

# 如果不存在定义的日志目录就创建一个
if not os.path.isdir(logfile_dir):  # C:\Users\oldboy\Desktop\atm\log
    os.mkdir(logfile_dir)

# log文件的全路径
logfile_path = os.path.join(logfile_dir, logfile_name)  # C:\Users\oldboy\Desktop\atm\log\log.log
# 定义日志路径 结束

# log配置字典
LOGGING_DIC = {
    'version': 1,
    'disable_existing_loggers': False,
    'formatters': {
        'standard': {
            'format': standard_format
        },
        'simple': {
            'format': simple_format
        },
    },
    'filters': {},  # filter可以不定义
    'handlers': {
        # 打印到终端的日志
        'console': {
            'level': 'DEBUG',
            'class': 'logging.StreamHandler',  # 打印到屏幕
            'formatter': 'simple'
        },
        # 打印到文件的日志,收集info及以上的日志
        'default': {
            'level': 'INFO',
            'class': 'logging.handlers.RotatingFileHandler',  # 保存到文件
            'formatter': 'standard',
            'filename': logfile_path,  # 日志文件
            'maxBytes': 1024 * 1024 * 5,  # 日志大小 5M  (*****)
            'backupCount': 5,
            'encoding': 'utf-8',  # 日志文件的编码，再也不用担心中文log乱码了
        },
    },
    'loggers': {
        # logging.getLogger(__name__)拿到的logger配置。如果''设置为固定值logger1，则下次导入必须设置成logging.getLogger('logger1')
        '': {
            # 这里把上面定义的两个handler都加上，即log数据既写入文件又打印到屏幕
            'handlers': ['default', 'console'],
            'level': 'DEBUG',
            'propagate': False,  # 向上（更高level的logger）传递
        },
    },
}



def load_my_logging_cfg():
    logging.config.dictConfig(LOGGING_DIC)  # 导入上面定义的logging配置
    logger = logging.getLogger(__name__)  # 生成一个log实例
    logger.info('It works!')  # 记录该文件的运行状态
    
    return logger


if __name__ == '__main__':
    load_my_logging_cfg()

使用日志

import time
import logging
import my_logging  # 导入自定义的logging配置

logger = logging.getLogger(__name__)  # 生成logger实例


def demo():
    logger.debug("start range... time:{}".format(time.time()))
    logger.info("中文测试开始。。。")
    for i in range(10):
        logger.debug("i:{}".format(i))
        time.sleep(0.2)
    else:
        logger.debug("over range... time:{}".format(time.time()))
    logger.info("中文测试结束。。。")


if __name__ == "__main__":
    my_logging.load_my_logging_cfg()  # 在你程序文件的入口加载自定义logging配置
    demo()

Django日志配置文件

# logging_config.py

LOGGING = {
    'version': 1,
    'disable_existing_loggers': False,
    'formatters': {
        'standard': {
            'format': '[%(asctime)s][%(threadName)s:%(thread)d][task_id:%(name)s][%(filename)s:%(lineno)d]'
                      '[%(levelname)s][%(message)s]'
        },
        'simple': {
            'format': '[%(levelname)s][%(asctime)s][%(filename)s:%(lineno)d]%(message)s'
        },
        'collect': {
            'format': '%(message)s'
        }
    },
    'filters': {
        'require_debug_true': {
            '()': 'django.utils.log.RequireDebugTrue',
        },
    },
    'handlers': {
        # 打印到终端的日志
        'console': {
            'level': 'DEBUG',
            'filters': ['require_debug_true'],
            'class': 'logging.StreamHandler',
            'formatter': 'simple'
        },
        # 打印到文件的日志,收集info及以上的日志
        'default': {
            'level': 'INFO',
            'class': 'logging.handlers.RotatingFileHandler',  # 保存到文件，自动切
            'filename': os.path.join(BASE_LOG_DIR, "xxx_info.log"),  # 日志文件
            'maxBytes': 1024 * 1024 * 5,  # 日志大小 5M
            'backupCount': 3,
            'formatter': 'standard',
            'encoding': 'utf-8',
        },
        # 打印到文件的日志:收集错误及以上的日志
        'error': {
            'level': 'ERROR',
            'class': 'logging.handlers.RotatingFileHandler',  # 保存到文件，自动切
            'filename': os.path.join(BASE_LOG_DIR, "xxx_err.log"),  # 日志文件
            'maxBytes': 1024 * 1024 * 5,  # 日志大小 5M
            'backupCount': 5,
            'formatter': 'standard',
            'encoding': 'utf-8',
        },
        # 打印到文件的日志
        'collect': {
            'level': 'INFO',
            'class': 'logging.handlers.RotatingFileHandler',  # 保存到文件，自动切
            'filename': os.path.join(BASE_LOG_DIR, "xxx_collect.log"),
            'maxBytes': 1024 * 1024 * 5,  # 日志大小 5M
            'backupCount': 5,
            'formatter': 'collect',
            'encoding': "utf-8"
        }
    },
    'loggers': {
        # logging.getLogger(__name__)拿到的logger配置
        '': {
            'handlers': ['default', 'console', 'error'],
            'level': 'DEBUG',
            'propagate': True,
        },
        # logging.getLogger('collect')拿到的logger配置
        'collect': {
            'handlers': ['console', 'collect'],
            'level': 'INFO',
        }
    },
}


# -----------
# 用法:拿到俩个logger

logger = logging.getLogger(__name__)  # 线上正常的日志
collect_logger = logging.getLogger("collect")  # 领导说,需要为领导们单独定制领导们看的日志

0927 笔记

os模块

对文件的操作

1.`os.path.isfile(path)`

2.`os.remove()`

3.`os.rename(old,new)`

对文件夹的操作

1.`os.path.isdir()`

2.`os.makedir()`

3.`os.rmdir`

4.`os.listdir()`

辅助性的

1.`os.getcwd()`

2.`os.path.abspath(file)`

3.`os.path.dirname(path)`

4.`os.path.join()`

5.`os.path.exists()`

6.`os.system('dir')`

7.`os.walk()`

模块应用

sys模块

常用

1.sys.argv

2.sys.modules.keys()

了解

json模块

针对内存

针对对象

pickle模块

logging 模块

1.基本使用

2.添加设置

3.高级设置

4.自定义配置

5.配置模板

使用日志

Django日志配置文件

猜你喜欢

0927 笔记

os模块

对文件的操作

1.os.path.isfile(path)

2.os.remove()

3.os.rename(old,new)

对文件夹的操作

1.os.path.isdir()

2.os.makedir()

3.os.rmdir

4.os.listdir()

辅助性的

1.os.getcwd()

2.os.path.abspath(__file__)

3.os.path.dirname(path)

4.os.path.join()

5.os.path.exists()

6.os.system('dir')

7.os.walk()

模块应用

sys模块

常用

1.sys.argv

2.sys.modules.keys()

了解

json模块

针对内存

针对对象

pickle模块

logging 模块

1.基本使用

2.添加设置

3.高级设置

4.自定义配置

5.配置模板

使用日志

Django日志配置文件

猜你喜欢

1.`os.path.isfile(path)`

2.`os.remove()`

3.`os.rename(old,new)`

1.`os.path.isdir()`

2.`os.makedir()`

3.`os.rmdir`

4.`os.listdir()`

1.`os.getcwd()`

2.`os.path.abspath(file)`

3.`os.path.dirname(path)`

4.`os.path.join()`

5.`os.path.exists()`

6.`os.system('dir')`

7.`os.walk()`