Скорее всего дело в том, что ЛАБ по охвату гораздо шире РГБ, чем он собственно и хорош
Но при переводе из ЛАБ в РГБ Фотошоп пытается как можно точнее перевести ЛАБовские цвета в РГБ, в том числе и те (мнимые), которые в РГБ перевести трудно... И вот тут скорее всего он для разных объектов (слоёв) считает цвет немножко по разному, поэтому эта разница и проявляется в виде каймы - как граница... А вот когда редактируешь цельную картинку, то соответственно такие проблемы отсутствуют...
Возможно проблема в этом?