Знак «Отличник погранслужбы» второй степени выполнен в виде серебристого щита, расположенного на венке из листьев дуба и лавра. На щите изображен пограничник с винтовкой за плечом, а за его спиной — пограничный столб с гербом России.
Под этим изображением находится лента, покрытая темно-красной эмалью, с серебристой надписью «Отличник погранслужбы». Под лентой указана степень знака. Колодка знака имеет прямоугольную форму и покрыта зелёной эмалью.