Будем считать, что оба вагона изменяют свои скорости на противоположные (в ином случае все выкладки так же будут верны, просто результирующие знаки скоростей окажутся отрицательными).
Обозначим массу и скорости до и после столкновения первого (малого вагона), как: m, v, u (искомая).
Обозначим массу и скорости до и после столкновения второго (большего вагона), как: M, V, U.
Импульс и энергия сохраняются, так что:
mv – MV = MU – mu ; ЗСИ
mv²/2 + MV²/2 = MU²/2 + mu²/2 ;   ЗСЭ
Соберём подобные:
m ( v + u ) = M ( U + V ) ;  
m ( v² – u² ) = M ( U² – V² ) ;
Разделим второе на первое:
v – u = U – V ;
U = V + v – u ;
Подставим это выражение в ЗСИ
mv – MV = M(V+v–u) – mu ;
mv – MV = MV + Mv – Mu – mu ;
Mu + mu = 2MV + Mv – mv ;
(M+m)u = 2MV + (M–m)v ;
u = [ 2MV + (M–m)v ] / [ M + m ] ;
u = [ 2V + (1–m/M)v ] / [ 1 + m/M ] ≈ [ 2*0.2 + (1–2/3)0.5 ] / [ 1 + 2/3 ] ≈ 0.34 м/с.
(в соответствии с начальным положением –
– вагон поедет в противоположную сторону)

ВТОРОЙ СПОСОБ (на пальцах):
Импульс одного (меньшего) вагона: 20*0.5 = 10 тм/с ;
Импульс другого (большего) вагона: 30*0.2 = 6 тм/с     – и он направлен противоположно движению меньшего вагона.
Общий импульс: 4 тм/с ;
Скорость всей системы (скорость центра масс) можно найти, разделив общий импульс системы вагонов на их общую массу:
4 тм/с : 50т = 0.08 м/с     – это скорость центра масс (СЦМ).
В системе СЦМ импульс системы равен нулю, а энергия сохраняется. Импульсы обоих вагонов, таким образом – равны в СЦМ по модулю, а значит, их скорости пропорциональны, и если бы одна из них по модулю увеличилась бы, то увеличилась бы и другая, а это невозможно в сиу сохранения энергии. Аналогично, скорости не могут и уменьшиться в СЦМ. Т. Е. Скорости вагонов в СЦМ сохранятся по модулю.
Ясно, что вагоны до упругого соударения/взаимодействия съезжаются, а после него – разъезжаются. А значит, в СЦМ меньший вагон станет двигаться в противоположную сторону с той же скоростью, что и до взаимодействия (как, в прочем, и другой вагон).
До взаимодействия, скорость меньшего вагона относительно СЦМ составляет 0.5–0.08=0.42 м/с.
После взаимодействия скорость меньшего вагона относительно СЦМ составит –0.42 м/с.
В системе связанной с землёй (в ЛСО) скорость вагона после взаимодействия станет равна: –0.42+0.08 = –0.34 м/с. Т. Е. Вагон будет катиться в противоположную сторону.
ВТОРОЙ СПОСОБ (строго):
Общий импульс до взаимодействия:
mv–MV ;
Через центр масс импульс системы выражается, как: (M+m)vц, откуда:
(M+m)vц = mv – MV ;
vц = [ mv – MV ] / [ M + m ] ;
Относительно СЦМ меньший вагон движется со скоростью:
v’ = v – vц ;
После взаимодействия скорость вагона в СЦМ изменится на противоположную и станет равна:
u’ = –v’ = vц – v ;
В ЛСО конечная скорость вагона:
u = u’ + vц = 2vц – v = 2 [ mv – MV ] / [ M + m ] – v =
= [ 2mv – 2MV – Mv – mv ] / [ M + m ] = [ (m–M)v – 2MV ] / [ M + m ] =
= – [ (1–m/M)v + 2V ] / [ 1 + m/M ] ;
u = – [ (1–m/M)v + 2V ] / [ 1 + m/M ] ≈ – [ (1–2/3)0.5 + 2*0.2 ] / [ 1 + 2/3 ] ≈ –0.34 м/с.