Python学习--使用元类

type()

动态语言和静态语言最大的不同，就是函数和类的定义，不是编译时定义的，而是运行时动态创建的。

比方说我们要定义一个Hello的class，就写一个hello.py模块：

class Hello(object):
	def hello(self, name='world'):
		print('Hello, %s.' % name)

当Python解释器载入hello模块时，就会依次执行该模块的所有语句，执行结果就是动态创建出一个Hello的class对象，测试如下:

>>> from hello import Hello
>>> h = Hello()
>>> h.hello()
Hello, world.
>>> print(type(Hello))
<class 'type'>
>>> print(type(h))
<class 'hello.Hello'>

type()函数可以查看一个类型或变量的类型，Hello时一个class，它的类型就是type，而h是一个实例，它的类型就是class Hello。
我们说class的定义是运行时动态创建的，而创建class的方法就是使用type()函数。

type()函数既可以返回一个对象的类型，又可以创建出新的类型，比如，我们可以通过type()函数创建出Hello类，而无需通过class Hello(object)…的定义：

>>>def fn(self, name='world'): # 先定义函数
>		print('Hello, %s.' % name)
>
>>>Hello = type('Hello', (object,), dict(hello=fn)) # 创建Hello class
>>>h = Hello()
>>>h.hello()
>Hello, world.
>>> print(type(Hello))
<class 'type'>
>>> print(type(h))
<class '__main__.Hello'>

我看到这至今没想明白为啥要这样定义，真的难看

要创建一个class对象，type()函数依次传入3个参数：

1. class的名称
2. 继承的父类集合，注意Python支持多重继承，如果只有一个父类，别忘了tuple的单元素写法；
3. class的方法名称与函数绑定，这里我们把函数fn绑定到方法名hello上。
   通过type()函数创建的类和直接写class是完全一样的，因为Python解释器遇到class定义时，仅仅是扫描一下class定义的语法，然后调用type()函数创建出class。

正常情况下，我们都用class Xxx…来定义类，但是，type()函数也允许我们动态创建出类来，也就是说，动态语言本身支持运行期动态创建类，这和静态语言有非常大的不同，要在静态语言运行期创建类，必须构造源代码字符串再调用编译器，或者借助一些工具生成字节码实现，本质上都是动态编译，会非常复杂。

metaclass

除了使用type()动态创建类以外，要控制类的创建行为，还可以使用metaclass。

metaclass，直译为元类，简单的解释就是：
当我们定义了类以后，就可以根据这个类创建出实例，所以：先定义类，然后创建实例。

但是如果我们想创建出类呢？那就必须根据metaclass创建出类，所以：先定义metaclass，然后创建类。

连接起来就是：先定义metaclass，就可以创建类，最后创建实例。

所以metaclass允许你创建类或者修改类。换句话说，你可以把类看成是metaclass创建出来的“实例”。

metaclass是Python面向对象里面最难理解，也是最难使用的魔术代码。正常情况下，你不会碰到需要使用metaclass的情况。（是的，之前学的时候，没用到过），所以，以下内容看不懂也没关系，因为基本上你不会用到。（好家伙，据说面试会问到，学吧）

我们先看一个简单的例子，这个metaclass可以给我们自定义的MyList增加一个add方法：
定义ListMetaclass，按照默认习惯，metaclass的类名总是以Metaclass结尾，以便清楚地表示这是一个metaclass：

# metaclass是类的模板，所以必须从type类型派生：
class ListMetaclass(type):
	def __new__(cls, name, bases, attrs):
		attrs['add'] = lambda self, value:self.append(value)
		return type.__new__(cls, name, bases, attrs)

有了ListMetaclass，我们在定义类的时候还要指示使用ListMetaclass来定制类，传入关键字参数metaclass：
这里注意啊，list就是我们用的列表，它本身就是一个类.

class Mylist(list, metaclass=ListMetaclass):
	pass

当我们传入关键字参数metaclass时，魔术就生效了，他指示Python解释器在创建Mylist时，要通过ListMetaclass.new()来创建，在此，我们可以修改类的定义，比如，加上新的方法，然后，返回修改后的定义。

new()方法接收到的参数依次是：

1. 当前准备创建的类的对象；
2. 类的名字；
3. 类继承的父类集合；
4. 类的方法集合。
   测试一下Mylist是否可以调用add()方法：

>>> L = MyList()
>>> L.add(1)
>> L
[1]

这里，因为Mylist是继承了list类，所以L这个类实例，就变成了你自己自定义的，带有你给的特殊功能的list

而普通的list没有add()方法：

>>> L2 = list()
>>> L2.add(1)
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
AttributeError: 'list' object has no attribute 'add'

动态修改有什么意义？直接在MyList定义中写上add()方法不是更简单吗？正常情况下，确实应该直接写，通过metaclass修改纯属变态。。。。。

但是，总会遇到需要通过metaclass修改类定义的。ORM就是一个典型的例子。

ORM

ORM全称“Object Relational Mapping”，即对象-关系映射，就是把关系数据库的一行映射为一个对象，也就是一个类对应一个表，这样，写代码更加简单，不用直接操作SQL语句。

要编写一个ORM框架，所有的类都只能动态定义，因为只有使用者才能根据表的结构定义出对应的类来。

让我们来尝试编写一个ORM框架。

编写底层模块的第一步，就是先把调用接口写出来。比如，使用者如果使用这个ORM框架，想定义一个User类来操作对应的数据库表User，我们期待他写出这样的代码：

class User(Model):
	# 定义类的属性到列的映射：
	id = IntegerField('id')
	name = StringField('username')
	email = StringField('email')
	password = StringField('password')

# 创建一个实例:
u = User(id=12345, name='Michael', email='[email protected]'， password='my-pwd')
# 保存到数据库：
u.save()	

其中，父类Model和属性类型StringField、IntegerField是由ORM框架提供的，剩下的魔术方法比如save()全部由metaclass自动完成。虽然metaclass编写会比较复杂，但ORM的使用者用起来却异常简单。

现在，我们就按上面的接口来实现该ORM。

首先来定义Field类，它负责保存数据库表的字段名和字段类型（数据库中就是一列，想想表结构）：

class Field(object):
	
	def __init__(self, name, column_type):
		self.name = name
		self.column_type = column_type

	def __str__(self):
		return '<%s:%s>' % (self.__class__.__name__, self.name)
		# self.__class__.__name__是获取类名

在Field的基础上，进一步定义各种类型的Field，比如StringField,IntegerField等等：

注意继承和派生思想，Field是表头，里面有各种各样的字段。
然后每个字段呢，又分为String类型的和Int类型的。

下面的super(class,self )，(Python3可以写为super())，表示调用父类中的方法，但是传过去的实例还是子类中的实例，这点注意。

class StringField(Field):
	# 此处仅属性name是强制属性
	def __init__(self, name):
	# 通过super()函数调用parent类的构造函数
	 # 其中name就直接传递给Field, column_type传递固定值'varchar(100)'
	 # 所以StringField('username').__dict__ == Field('username', 'varchar(100)').__dict__
		super(StringField, self).__init__(name,'varchar(100)')
		#调用父类的__init__方法初始化

# 同理类IntegerField继承自类Field，同样有两个属性name与类型column_type

class IntegerField(Field):
	
	def __init__(self, name):
		super(IntegerField, self).__init__(name, 'bigint')

下一步，就是编写最复杂的ModelMetaclass了：

class ModelMetaclass(type):
	# 此处说明下__new__和__init__的区别：
	# __new__是用来创建一个类对象的构造函数，而__init__是用来初始化一个实例对象的构造函数
	# 类似于__init__，__new__接受的第一个参数cls(类对象)其实就是相当于__init__的self（实例对象）
	# 在初始化__init__之前，类是通过__new__创建的，所以在__init__前一定有__new__来构造类cls，之后__init__才能初始化对象self
	
	def __new__(cls, name, bases, attrs):
		# 对于名称为Model的类不做其他操作，直接通过type()函数生成类对象Model
		
		if name=='Model'
			return type.__new__(cls, name, bases, attrs)
		print('Found model:%s' % name)
		
		# 对于名称不是Model的类，如User类，通过下面代码过滤类对象User的属性
		# 因为类属性以dict格式存在attrs中，所以是对dict格式的操作：
		# 第一步，过滤出满足条件的属性
		# 先新建一个空dict，如果对象的属性值是Field类的实例对象(如StringField('username'))，则将这些属性放入dict格式的mappings变量中
		mappings = dic()
			# 下面判断属性的值是否是Field类格式，满足Field类格式形态如下：
			# isinstance（StringField('username'), Field）
			#或者isinstance(Field('name', StringField('username')), Field)
		
			# StringField('username') 就相当于数据库中创建表的某个字段那样写的， username varchar(100)，字段名，数据类型。恍然大悟。
			# 注意次数是属性的值，不是属性，如属性name的值为StringField('username')
		for k, v in attrs.items():
			if isinstance(v, Field):
				print('Found mapping:%s ⇒ %s' % (k, v))
				# 将过滤出的dict数据写入mappings变量
				mapping[k] = v
			#其实上面的这几行可以简化为一行 mapping={k:v for k,v in attrs.items() if isinstance(v, Field)}
			
		# 第二步，把上一步过滤出满足条件的属性从类对象User的属性dict中移除
		for k in mappings.keys():
			attrs.pop(k)

		# 第三步，把dict格式的mappings变量添加到类对象User的属性__mapping__中
		# 即__mapping__成为了类对象User的一个属性，该属性值为dict格式，内容为满足Field类格式的原类对象的属性值
		attrs['__mappings__'] = mappings # 保存属性和列的映射关系
		# 到目前为止其实就是把实例对象User的一些属性（满足Field格式）移了个位置
		# 下面再新建一个属性__table__，并且赋值为该类对象的名字，如User
		attrs['__table__'] = name # 假设表名的类名一致

		# 将修改后的类对象User的属性值返回给type().__new__
		return type.__new__(cls, name, bases, attrs)

其实定义好的元类ModelMetaclass，仍然是调用type.new(cls,name,bases,attrs)函数去构造类对象

不同的是，type.new()构造出的类的属性就在__dict__下，但是ModelMetaclass将属性移到__mappings__下了

type.__new__(type, 'Model', (dict, ), {
    
    'id': IntegerField('id')}).__dict__

ModelMetaclass('Table1', (object, ), {
    
    'name': StringField('username')}).__mappings__

第三部分-生成Model的实例对象

核心在于：在运行__init__来生成实例对象前，调用元函数ModelMetaclass来生成类对象，用这个类对象再去生成实例对象。根据ModelMetaclass代码可以知道，当类名称为Model时，直接返回原始的type.new(cls, name, bases, attrs)， 如：type.new(type, ‘Model’, (dict, ), Model(id=12345, name=‘Michael’))

以及基类Model:

class Model(dict, metaclass=ModelMetaclass):
	#在运行__init__来生成实例对象前，调用元函数ModelMEtaclass来生成类对象，用这个类对象再去生成实例对象
	#根据ModelMetaclass代码可以知道，当类名称为Moel时，直接返回原始的type.__new__(cls, name, bases, attrs)
	# 如：type.__new__(type, 'Model', (dict, ), Model(id=12345, name='Michael'))
	#接下来定义从类对象生成实例对象的__init__函数
	
	def __init__(self, **kw):
		# 通过super调用父类初始化函数，__init__()动态函数无需传self参数
		# 此处先调用dict
		# ModelMetaclass('User', (type, ), {'id':IntegerField('id')}) 
		super(Model, self).__init__(**kw)
	# 重新定义getattr函数，可以匹配dict格式输入的{属性:属性值}
	# 如：Model(id = IntegerField('id')).__getattr__
	
	def __getattr__(self, key):
	#重载__getattr__, __setattr__方法使子类可以像正常的类使用
		try:
			return self[key]
		except KeyError:
			raise AttributeError(r"'Model' object has no attribute '%s'" % key)
	
	# Model可是继承了dict哦,所以该函数不定义应该没影响
	def __setattr__(self, key, value):
		self[key] = value
	
	# 定义save方法，用于动态生成SQL
	def save(self):
		# 定义3个数组
		fields = []
		params = []
		args = []
		# 此处引入了之前ModelMetaclass元类定义的dict格式变量__mappings__
		# 假设__mappings__ = {'name':StringField('username')}，则'name'就是k，StringField('username')是v（这个是varchar(100)变量类型吧），'username'是v.name
		for k, v in self.__mappings__.items():
			# 把__mappings__的v.name(即'username')写入fields变量
			fields.append(v.name)
			params.append('?')
			# fields变量('username')对应的数值通过重新定义的__getattr__函数获取
			# __mappings__中的k为{'name': StringField('username')}中的'name'
			#__table__在之前ModelMetaclass元类定义为类对象的名称，即'User'表
			# 通过'sep'.join(seq)函数（','.join(['id', 'username'])）生成表字段和字段值
			args.append(getattr(self, k, None))
		sql = 'insert into %s (%s) values(%s)' % (self.__table__, ','.join(fields), ','.join(params))
		print('SQL: %s' % sql)
		print('ARGS: %s' % str(args))

第四部分-生成User实例对象

class User(Model):
	# 因为User继承了Model，而Model继承了dict类型
	# 所以dict(id=12345,name='Michael')直接转化为{'id':12345, 'name':'Michael'}格式
	id = IntegerField('id')
    name = StringField('username')
    email = StringField('email')
    password = StringField('password')
    test = str('abc')

再次总结User实例对象的创建步骤：

1. User类的创建1：User类继承了Model类，而Model类由元类ModelMetaclass定义类的生成，所以User类对象首先通过ModelMetaclass的type.new()构造生成。
2. User类的创建2：在ModelMetaclass的type.new()构造函数中，name和bases已经确认，而属性attrs是根据输入的属性内容，由__new__构造出
3. User实例的创建1：User类继承了Model类，所以User通过Model的构造函数__init__生成属性的时候会把输入的(id=12345， name=‘Michael’)转化为dict格式{‘id’:12345, ‘name’:‘Michael’}
4. User实例的创建2:User实例的生成中要按照元类ModelMetaclass的定义生成，即生成__mappings__和__Table__等属性

class Model(dict, metaclass=ModelMetaclass):
括号中的dict说明Model继承自dict类，换句话说，Model类就是Python的字典类！

所以才有了下文的初始化方法：

u = User(id=12345, name=‘Michael’, email=‘[email protected]’,
password=‘my-pwd’)
这完全等价于我们创建字典的初始化方法：

u = User(id=12345, name=‘Michael’, email=‘[email protected]’,
password=‘my-pwd’)
继续简化，就变成了这样：

u = {‘id’: 12345,
‘name’: ‘Michael’,
‘email’: ‘[email protected]’,
‘password’: ‘my-pwd’}

当用户定义一个class User(Model)时，Python解释器首先在当前类User的定义中查找metaclass，如果没找到，就继续在父类Model中查找metaclass，找到了，就是用Model中定义的metaclass的ModelMetaclass来创建User类，也就是说，metaclass可以隐式地集成到子类，但子类自己却感觉不到。

在ModelMetaclass中，一共做了几件事情：

1. 排除掉队Model类的修改；
2. 在当前类（比如User）中查找定义的类的所有属性，如果找到一个Field属性，就把它保存到一个__mappings__的dic中，同时从类属性中删除该Field属性，否则，容易造成运行错误(实例的属性会遮盖类的同名属性)；
3. 把表名保存到__table__中，这里简化为表名默认为类名。

在Model类中，就可以定义各种操作数据库的方法，比如save(), delete(), find(), update等等。

我们实现了save（）方法，把一个实例保存到数据库中，因为有表名，属性到字段的映射和属性值的集合，就可以构造出INSERT语句。

编写代码试试：

u = User(id=12345, name='Michael', email='[email protected]', password='my-pwd')
u.save()

输出如下:

Found model: User
Found mapping: email ==> <StringField:email>
Found mapping: password ==> <StringField:password>
Found mapping: id ==> <IntegerField:uid>
Found mapping: name ==> <StringField:username>
SQL: insert into User (password,email,username,id) values (?,?,?,?)
ARGS: ['my-pwd', '[email protected]', 'Michael', 12345]

可以看到，save()方法已经打印出了可执行的SQL语句，以及参数列表，只需要真正连接到数据库，执行该SQL语句，就可以完成真正的功能。

不到100行代码，我们就通过metaclass实现了一个精简的ORM框架，是不是非常简单？

???好家伙，我他妈直接好家伙

小结

metaclass是Python中非常具有魔术性的对象，它可以改变类创建时的行为。这种强大的功能使用起来务必小心。

很难，很抽象，涉及的知识非常多，没有学过数据库的是真的晕，勉强能看明白，但是其中的特性还没有完全搞懂，在这边感谢廖大评论区的各位大神同学们。慢慢看，加油