x,y,z <=> A1,B1,C1
x+y+z = 13
x^2 + y^2 + z^2 = 61
x*y + x*z = 2*y*z
выразив из первого уравнения x = 13 - y - z
............. из второго уравнения y = КОРЕНЬ(61 - x^2 - z^2)
............. из третьего уравнения z = xy/(2*y - x)
... и нажав F9 получаем во всех трех ячейках ошибки
!#ЧИСЛО - вроде так...

как все же решить систему методом итераций (!с циклическими ссылками)