38、深度学习-自学之路-本身搭建深度学习框架-3、自动梯度盘算改进 ...

1. import numpy as np
4. class Tensor(object):
6.     def __init__(self, data,
7.                  autograd=False,
8.                  creators=None,
9.                  creation_op=None,
10.                  id=None):
12.         self.data = np.array(data)
13.         self.autograd = autograd
14.         self.grad = None
15.         if (id is None):
16.             self.id = np.random.randint(0, 100000)
17.         else:
18.             self.id = id
20.         self.creators = creators
21.         self.creation_op = creation_op
22.         self.children = {}
24.         if(creators is not None):
25.             for c in creators:
26.                 if(self.id not in c.children):
27.                     c.children[self.id] = 1
28.                 else:
29.                     c.children[self.id] += 1
31.     def all_children_grads_accounted_for(self):
32.         for id, cnt in self.children.items():
33.             if (cnt != 0):
34.                 return False
35.         return True
37.     def backward(self, grad=None, grad_origin=None):
38.         if (self.autograd):
39.             if (grad is None):
40.                 grad = FloatTensor(np.ones_like(self.data))
42.             if (grad_origin is not None):
43.                 if (self.children[grad_origin.id] == 0):
44.                     raise Exception("cannot backprop more than once")
45.                 else:
46.                     self.children[grad_origin.id] -= 1
47.             if (self.grad is None):
48.                 self.grad = grad
49.             else:
50.                 self.grad += grad
52.             # grads must not have grads of their own
53.             assert grad.autograd == False
55.             # only continue backpropping if there's something to
56.             # backprop into and if all gradients (from children)
57.             # are accounted for override waiting for children if
58.             # "backprop" was called on this variable directly
59.             if (self.creators is not None and
60.                     (self.all_children_grads_accounted_for() or
61.                      grad_origin is None)):
63.                 if (self.creation_op == "add"):
64.                     self.creators[0].backward(self.grad, self)
65.                     self.creators[1].backward(self.grad, self)
67.     def __add__(self, other):
68.         if (self.autograd and other.autograd):
69.             return Tensor(self.data + other.data,
70.                           autograd=True,
71.                           creators=[self, other],
72.                           creation_op="add")
73.         return Tensor(self.data + other.data)
75.     def __repr__(self):
76.         return str(self.data.__repr__())
78.     def __str__(self):
79.         return str(self.data.__str__())
82. a = Tensor([1, 2, 3, 4, 5], autograd=True)
83. b = Tensor([2, 2, 2, 2, 2], autograd=True)
84. c = Tensor([5, 4, 3, 2, 1], autograd=True)
86. d = a + b
87. e = b + c
88. f = d + e
90. f.backward(Tensor(np.array([1, 1, 1, 1, 1])))
92. print(b.grad.data == np.array([2, 2, 2, 2, 2]))

复制代码

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。