In the recent era of AI, instance segmentation has significantly advanced boundary and object detection especially in diverse fields(e.g., biological and environmental research). Despite its progress, edge detection amid adjacent objects (e.g., organism cells) stillremains intractable. This is because homogeneous and heterogeneous objects are prone to being mingled in a single image. Tocope with this challenge, we propose the weighted Mask R-CNN designed to effectively separate overlapped objects in virtue ofextra weights to adjacent boundaries. For numerical study, a range of experiments are performed with applications to simulateddata and real data (e.g., Microcystis, one of the most common algae genera and cell membrane images). It is noticeable that theweighted Mask R-CNN outperforms the standard Mask R-CNN, given that the analytic experiments show on average 92.5% ofprecision and 96.4% of recall in algae data and 94.5% of precision and 98.6% of recall in cell membrane data. Consequently, wefound that a majority of sample boundaries in real and simulated data are precisely segmented in the midst of object mixtures.