Момент инерции — мера инертности во вращательном движении вокруг оси, равен сумме произведений элементарных масс на квадрат их расстояний до оси вращения.  

Расстояние от A1 до оси R1 = a√2. От А2 и А4 - R2 = (a√2)/2, от А4 - R3=0
J = ∑ m*R² = m*(a√2)² + 2m*[(a√2)/2]² = 2ma² + ma² = 3a²m

Можно посчитать по-другому определив момент вращения центра тяжести квадрата

J = 4m*(a/√2)² = 2a²m

Который ответ выбрать я не знаю, но, судя по определению, приведенному выше склоняюсь больше к первому ответу.