mock用法

mock 用法
功能介绍
好的编码习惯都应该为每一行代码做覆盖测试，但有些时候代码处理的是从网络上获取的内容，或者设备的返回，比如获取交换机路由器的运行结果，或者从网络上获取页面等等。这些动作要么需要联网，要么需要设备，但实际上我们只是想测试代码正确性而已，注重的是对返回的内容的处理而不必非要有实际设备。
mock 模块就是在单元测试中模拟部分代码的模块，比如某个函数需要调用其他函数，这个时候我们可以模拟这个第三方函数的结果来略过实际调用它，不光可以节省时间，也可以避免因为第三方函数出错而影响自己的代码，甚至可以很轻松的模拟难以出现的各种情况。
也正是因为这个模块是如此好用，在 Python2 中还需要单独安装 mock 模块，而 Python3.3 开始这个模块就被放入标准模块了，名叫 unittest.mock
使用思路和实例
在概念上， mock 就是模拟某些模块的行为，比如你有一个函数调用了另一个函数，而另一个函数的代码本身不是你写的，或者不需要在当前单元测试中测试，你只是希望拿到另一个函数返回的结果，这个时候就可以用 mock 来模拟那个函数来略过各种中间过程而直接得到结果。比如下面这样的代码结构：
++
±—| send_shell_cmd |
++ +=+ | ++
| test_search_flow_session |----| search_flow_session |----+
++ +=+ | ++
±—| get_all_flow_session |
++

上面的 test_search_flow_session 是写在单元测试脚本中的测试案例，用来测试在另一个源代码文件中的 search_flow_session 函数。而 search_flow_session 要调用另 2 个其它文件中的函数 send_shell_cmd 和 get_all_flow_session 来完成功能。恰恰麻烦的是这 2 个函数其中一个需要一台 PC 机来执行 linux 命令，另一个需要一台昂贵的设备来获取设备上的状态和返回，更别说创建拓扑和恢复测试环境的工作，仅仅为了检查 search_flow_session 中的某些代码而付出这样的代价完全不值。
但是应该怎么用 mock 模拟，或者怎么把 mock 注入到你自己的函数中却是一个很伤脑筋的问题，不同的代码风格很容易把你带进坑里，比如要调用的其他函数使用 OOP 方式写的，你会想难道我还得先实例化？或者我的函数是面向对象的，调用的却是面向过程的，怎么办？在我刚刚开始接触 mock 的时候，这些概念和行为真是把我折磨的够呛。写多了之后才慢慢感觉到了下面几个规则：

不用管自己的函数怎么写， mock 只用来模拟别人的模块，不管是面向过程还是面向对象都不用过多考虑，只考虑你的代码中调用了哪些外部函数或者方法，这意味着你要 mock 多少东西
如果调用的外部代码是面向过程的风格，也就是一个一个函数，那么就用 mock.patch 就可以；如果是面向对象的风格，比如你调用的只是一个类中的某个方法，那么要用 mock.patch.object 。现在看到什么 mock.patch , mock.patch.object 可能你不理解，没事，先放下，到后面会专门说

mock 概念很绕，但是真正用到的接口并不多。也是，模拟函数或者方法行为而已，又能有几种接口呢……大致说来我们能接触到的也就是这么几个：
Mock
mock 是最初，也是最基本的一个函数，它的任务就是模拟某个当前模块的函数。
patch - 补丁方式模拟
有些函数可能不属于你，你也不在意它的内部实现而只是想调用这个函数然后得到结果而已，这种时候就可以用 patch 方式来模拟。
比如我有一个模块文件叫 linux_tool.py ，然后里面有 2 个函数，其中一个 send_shell_cmd 是其他人写的，怎么做的我不在乎，但是我可以用它向 Linux PC 发命令，然后获取命令的返回。现在我在这个模块里又添加了一个函数 check_cmd_response 用来检查返回的结果，然后对自己写的 check_cmd_response 做单元测试。因为 send_shell_cmd 函数需要一个真实的 PC ，这需要设备，而且每次返回还可能与预期不符，比如设备无法连接，想检查的东西忘记配置所以取不回来等等，这些都会干扰我自己函数的行为，而且问题和自己函数无关，这种时候就可以用 mock 模拟 send_shell_cmd 函数而且把预期返回写到这个模拟过程中，这样每次都会正确处理。当然有人说可能的确有错误情况啊，这也是你应该要处理的，或者有多种返回啊……没错，所以可以多写几个测试案例把这些情况都模拟一遍嘛。
面向过程代码风格
下面是完整的模拟代码，首先是 linux_tool.py 文件，里面 2 个函数， send_shell_cmd 直接返回一个字符串，注意在现实中这是一个完整函数会连接设备并获取返回的。另一个就是自己写的函数了，中间的代码都去掉，但是整体来说我希望获取未来使用 mock 模拟的函数所返回的内容
#!/usr/bin/env python3
import re

def send_shell_cmd():
return “Response from send_shell_cmd function”

def check_cmd_response():
response = send_shell_cmd()
print(“response: {}”.format(response))
return re.search(r"mock_send_shell_cmd", response)

然后是单元测试案例，这里要注意 patch 的用法，它是一个装饰器，需要把你想模拟的函数写在里面，然后在后面的单元测试案例中为它赋一个具体实例，再用 return_value 来指定模拟的这个函数希望返回的结果就可以了，后面就是正常单元测试代码。
#!/usr/bin/env python3
from unittest import TestCase, mock
import linux_tool

class TestLinuxTool(TestCase):
def setUp(self):
pass

def tearDown(self):
    pass

@mock.patch("linux_tool.send_shell_cmd")
def test_check_cmd_response(self, mock_send_shell_cmd):
    mock_send_shell_cmd.return_value = "Response from emulated mock_send_shell_cmd function"

    status = linux_tool.check_cmd_response()
    print("check result: %s" % status)
    self.assertTrue(status)

来看看测试结果：
[jonjiang@hutong-j:tmp]$ clear; pytest -v --html=~/public_html/report.html test_linux_tool.py

===================================== test session starts =====================================
platform linux – Python 3.5.2, pytest-3.0.7, py-1.4.33, pluggy-0.4.0 – /usr/bin/python3
cachedir: .cache
metadata: {‘Packages’: {‘pytest’: ‘3.0.7’, ‘pluggy’: ‘0.4.0’, ‘py’: ‘1.4.33’}, ‘Python’: ‘3.5.2’, ‘Platform’: 'Linux-4.4.0-62-generic-x86_64-with-Ubuntu-16.04-xeni
rootdir: /home/jonjiang/tmp, inifile:
plugins: metadata-1.3.0, html-1.14.2, cov-2.4.0
collected 1 items

test_linux_tool.py::TestLinuxTool::test_check_cmd_response PASSED

----------------- generated html file: /home/jonjiang/public_html/report.html ---------------------
linux_tool.py pycache test_linux_tool.py TOBYUnitTest.py
===================================== 1 passed in 0.05 seconds =====================================

HTML 报告的结果

Passed test_linux_tool.py::TestLinuxTool::test_check_cmd_response 0.00
----------------------------- Captured stdout call -----------------------------
response: Response from emulated mock_send_shell_cmd function
check result: <_sre.SRE_Match object; span=(23, 42), match=‘mock_send_shell_cmd’>

好了，我们再来梳理一下思路，使用 mock 其实代码方面并没有太多麻烦的，但是厘清思路往往很困难：

实际测试代码和单元测试代码是分开在 2 个文件中的，第一个关卡往往就是怎么把这 2 个文件有机结合起来。这里的关键就是：源代码该怎么写就怎么写，不需要考虑为 mock 留下什么接口之类的东西。
单元测试文件中，首先写单元测试代码，就和正常的一样，最开始的时候只需要 import mock 模块即可。
判断要测试的函数中是否用了其他函数，有可能使用了多个外部函数，那么就判断哪个函数适合 mock ，哪些不需要，一般像浪费时间的，结果不定的，需要其他设备的函数最好都 mock ，其它一些功能函数可用可不用。
确定了哪些外部函数要 mock 就用 patch 语句将它们列出来，每个 patch 是一个函数，而且要确定这些外部函数都在文件头部用 import 语句载入到内存了，因为 mock 模块是通过替换内存中的函数微代码来实现功能的。

如果 patch 多个外部函数，那么调用遵循自下而上的规则，比如：
@mock.patch(“function_C”)
@mock.patch(“function_B”)
@mock.patch(“function_A”)
def test_check_cmd_response(self, mock_function_A, mock_function_B, mock_function_C):
mock_function_A.return_value = “Function A return”
mock_function_B.return_value = “Function B return”
mock_function_C.return_value = “Function C return”

self.assertTrue(re.search("A", mock_function_A()))
self.assertTrue(re.search("B", mock_function_B()))
self.assertTrue(re.search("C", mock_function_C()))

面向对象代码风格
如果你的代码风格是面向对象的呢？也可以，用 patch.object 就行，来看看例子：

linux_tool.py

import re

class LinuxTool(object):
def init(self):
pass

def send_shell_cmd(self):
    return "Response from send_shell_cmd function"

def check_cmd_response(self):
    response = self.send_shell_cmd()
    print("response: {}".format(response))
    return re.search(r"mock_send_shell_cmd", response)

再来写单元测试的案例：
from unittest import TestCase, mock
from linux_tool import LinuxTool

class TestLinuxTool(TestCase):
def setUp(self):
self.linux_tool = LinuxTool()

def tearDown(self):
    pass

@mock.patch.object(LinuxTool, "send_shell_cmd")
def test_check_cmd_response(self, mock_send_shell_cmd):
    mock_send_shell_cmd.return_value = "Response from emulated mock_send_shell_cmd function"

    status = self.linux_tool.check_cmd_response()
    print("check result: %s" % status)
    self.assertTrue(status)

好了，来执行一下测试：
[jonjiang@hutong-j:tmp]$ clear; pytest -v --html=~/public_html/report.html test_linux_tool.py
========================= test session starts =========================
platform linux – Python 3.5.2, pytest-3.0.7, py-1.4.33, pluggy-0.4.0 – /usr/bin/python3
cachedir: .cache
metadata: {‘Packages’: {‘pytest’: ‘3.0.7’, ‘pluggy’: ‘0.4.0’, ‘py’: ‘1.4.33’}, ‘Platform’: ‘Linux-4.4.0-62-generic-x86_64-with-Ubuntu-16.04-xenial’, ‘Python’: '3.5
rootdir: /home/jonjiang/tmp, inifile:
plugins: metadata-1.3.0, html-1.14.2, cov-2.4.0
collected 1 items

test_linux_tool.py::TestLinuxTool::test_check_cmd_response PASSED

------- generated html file: /home/jonjiang/public_html/report.html --------
import re
========================= 1 passed in 0.02 seconds =========================

HTML 的结果

Passed test_linux_tool.py::TestLinuxTool::test_check_cmd_response 0.00
----------------------------- Captured stdout call -----------------------------
response: Response from emulated mock_send_shell_cmd function
check result: <_sre.SRE_Match object; span=(23, 42), match=‘mock_send_shell_cmd’>

面向对象的 mock 和面向过程的很相似，唯一就是把 mock.patch 替换成 mock.patch.object ，并且在里面列出类实例和方法名。仔细观察，是类的实例 (不是字符串) 和方法名 (是字符串的方法名而不是方法对象)
side_effect
side_effect 是 mock 中角色比较复杂的方法，它有好几种用法
模拟同一个函数被多次调用
有的时候在同一个功能中可能要多次调用同一个外部方法，比如有一个外部方法叫 linux_tool.send_shell_cmd 用来执行命令并返回命令中间的输出，利用这个函数我又写了一个自己的方法用来建立 vsftpd 服务器，其中多次调用外部方法来创建备份文件，建立配置文件，重启服务，检查服务状态等等。或者某个命令在一个循环中被调用，循环次数也可能是不定的。上面的例子都只是模拟了一次，那么模拟多次怎么办？
答案就是使用 side_effect ，比如下面的例子中在方法 start_ftp_service 中调用了 5 次 send_shell_cmd 方法：
class TestSetupServer(TestCase):
@mock.patch.object(linux_tool, “send_shell_cmd”)
def test_start_ftp_service_for_default_conf(self, mock_send_shell_cmd):
mock_send_shell_cmd.side_effect = [
“cmd1_response”,
“cmd2_response”,
“cmd3_response”,
“cmd4_response”,
“cmd5_response”,
]

    self.mytool.start_ftp_service()

如果某个命令在循环中被调用，满足判断结果才会跳出循环，那么也要用 side_effect 来模拟循环中的每次结果，一定数清楚具体的循环次数或者精心设计返回，否则执行会出错。
模拟异常
用上面模拟同一个函数多次被调用的实例为例，如果希望主动引发异常，比如 Exception 那么可以这样：
mock_send_shell_cmd.side_effect = Exception(“Raise Exception”)

所有 raise 语句可以引发的异常都可以用 side_effect 引发
MagicMock
Python 中有 MagicMethod 的概念，表现为双下划线包围的方法，比如最熟悉的 init 或者 str 之类的。而 mock 中的 MagicMock 则用来模拟一个第三方类，然后为这个模拟的类赋予各种行为，比如：

建立一个新的第三方函数，并模拟函数返回

mock_func = mock.MagicMock()
mock_func.return_value = 10
mock_func.side_effect = [1, 2, 3, 4, 5]

建立一个新的第三方类，并模拟类中方法的返回

mock_object = mock.MagicMock()
mock_object.method_A.return_value = 10
mock_object.method_B.side_effect = [1, 2, 3, 4, 5]

这个方法目前我还没完全掌握，暂时保留
内建的其他方法
called
一旦 mock 被创建，比如上面用 patch 模拟的 mock_send_shell_cmd ，或者用 MagicMock 模拟的 mock_func ，都可以用 called() 方法来检查自己究竟有没有被调用，比如：
mock_send_shell_cmd.called

True

call_count
返回模拟的函数或方法被调用了几次：
mock_send_shell_cmd.call_count

2

call_args
返回 mock 的东西在调用时传入的具体参数

mock_send_shell_cmd.some_method3(cmd=“ls -l”, mode=“shell”)
mock_send_shell_cmd.some_method3.call_args
call(cmd=“ls -l”, mode=“shell”)

还有一个叫 call_args_list ，这个用于 mock 的方法被多次调用的情况，会返回一个列表，列表中是每次被调用时的参数
assert_called_with(*args, **kwargs)
有时候我们不光想确认自己 mock 的东西有没有被调用，还想确认调用时传入的参数是不是正确的，就可以用 assert_called_with ，比如：

mock_send_shell_cmd.some_method3(a=1, b=4)
mock_send_shell_cmd.some_method3.assert_called_with(a=1, b=4)
mock_send_shell_cmd.some_method3.assert_called_with(a=1, b=5)
Traceback (most recent call last):
…
raise AssertionError(_error_message()) from cause
AssertionError: Expected call: some_method3(a=1, b=5)
Actual call: some_method3(a=1, b=4)

作者：羽风之歌
链接：https://www.jianshu.com/p/55e5a6863c3f
来源：简书
简书著作权归作者所有，任何形式的转载都请联系作者获得授权并注明出处。