Чтобы спрямить зубчики выделения в Photoshop, можно использовать алгоритмы сглаживания и растушёвки:                                                                          helpx.adobe.com                      
  - Сглаживание.                                                                          helpx.adobe.com                       Выравнивает зубчатые границы выделенной области и обеспечивает плавный переход между пикселями границы выделения и пикселями фона.                                                                          helpx.adobe.com                       Флажок «Сглаживание» нужно установить до создания выделения.                                                                          helpx.adobe.com                      
  - Растушёвка.                                                                          helpx.adobe.com                       Размывает края, создавая плавный переход между пикселями выделенной области и смежными с ними пикселями.                                                                          helpx.adobe.com                       Выделение с растушёванными краями можно создать с помощью инструментов «Овальная область», «Прямоугольная область», «Лассо», «Полигональное лассо» или «Магнитное лассо».                                                                          helpx.adobe.com                      
  
 Также можно зайти в меню «Выделение и Маска» и сделать контур плавным с помощью ползунков, например: «Гладкость», «Растушёвка», «Контраст» и «Уточнить край».                                                                          www.fotosklad.ru