1×197×7681×197×7681×197×7681×197×7681×197×7681×197×7681×197×7681×197×12×641×197×7681×197×7681×197×12×641×12×197×641×197×12×641×12×197×641×12×64×1971×12×197×1971×12×197×1971×12×197×1971×12×197×641×197×12×641×197×768input_statesfloat32[1,197,768]MatMul/query/MatMulfloat32[768,768]B〈768×768〉Add/query/Addfloat32[768]A〈768〉MatMul/key/MatMulfloat32[768,768]B〈768×768〉Add/key/Addfloat32[768]A〈768〉Reshape/Reshapeint64[4]shape〈4〉MatMul/value/MatMulfloat32[768,768]B〈768×768〉Add/value/Addfloat32[768]A〈768〉Reshape/Reshape_1int64[4]shape〈4〉Transpose/TransposeReshape/Reshape_2int64[4]shape〈4〉Transpose/Transpose_1Transpose/Transpose_2MatMul/MatMulDiv/Divfloat32B = 8Softmax/SoftmaxMatMul/MatMul_1Transpose/Transpose_3Reshape/Reshape_3int64[3]shape〈3〉output_statesfloat32[1,197,768]