عملکرد ابزار حذف خطوط تکراری
این ابزار لیستی از خطوط متنی را دریافت کرده و تمامی خطوطی که تکرار دقیق یکدیگر هستند را حذف میکند. در این فرآیند، تنها اولین باری که هر خط در متن ظاهر میشود حفظ میگردد. پس از اتمام پردازش، لیست پاکسازیشده به همراه آماری دقیق از تعداد خطوط حذفشده و تعداد خطوط یکتای باقیمانده به نمایش در میآید.
محدودیت حجم ورودی برای این ابزار حداکثر 500,000 کاراکتر است. در صورتی که حجم متن ورودی از این مقدار فراتر رود، پیام خطای زیر نمایش داده میشود و شمارنده خطوط روی عدد 0 باقی میماند:
«این متن برای این ابزار بسیار طولانی است. لطفاً آن را زیر {max} کاراکتر نگه دارید.»
در صورت خالی بودن کادر ورودی، پیام راهنمای زیر نشان داده میشود: «برای حذف تکرارها، خطوط را اضافه کنید.»
همچنین در صورت بروز هرگونه مشکل فنی در پردازش متن، سیستم پیام زیر را صادر میکند: «امکان حذف تکرارها از این متن وجود نداشت.»
معیارهای تطابق دقیق و حساسیت به جزئیات
برای اینکه دو خط به عنوان تکراری شناسایی شوند، باید به صورت دقیق و کاراکتر به کاراکتر با یکدیگر مطابقت داشته باشند. این تطابق شامل موارد زیر است:
- فاصلهها (Spaces): وجود هرگونه فاصله اضافی در ابتدا، میان یا انتهای خط باعث میشود که آن خط با نمونه بدون فاصله متفاوت در نظر گرفته شود.
- بزرگنویسی حروف انگلیسی (Capitalization): حروف بزرگ و کوچک انگلیسی متفاوت ارزیابی میشوند؛ به عنوان مثال، خطی که با حروف بزرگ شروع میشود با خطی که تماماً حروف کوچک است همسان نخواهد بود.
نحوه برخورد با خطوط خالی
خطوط خالی در این ابزار دقیقاً مانند خطوط حاوی متن پردازش میشوند. اگر در متن ورودی چندین خط خالی وجود داشته باشد، ابزار اولین خط خالی را حفظ کرده و سایر خطوط خالی تکراری را حذف میکند.
حفظ ترتیب اولین حضور دادهها
یکی از ویژگیهای کلیدی این ابزار، حفظ ترتیب اصلی دادهها است. سیستم بر اساس قاعده «اولین حضور» عمل میکند؛ به این معنی که اولین نسخه از هر خط تکراری در جایگاه اصلی خود باقی میماند و تکرارهای بعدی که در خطوط پایینتر قرار دارند حذف میشوند. این رویکرد تضمین میکند که ساختار و توالی کلی لیست شما به هم نریزد.
به عنوان مثال، اگر متن ورودی به صورت زیر باشد:
سیب
موز
سیب
هویج
موز
کیک سیب
هویج
پس از پردازش، خروجی به این صورت خواهد بود:
سیب
موز
هویج
کیک سیب
با بارگذاری این نمونه، پیام «نمونه پاکسازی شد.» نمایش داده میشود.
مدیریت رابط کاربری و کنترل دادهها
رابط کاربری ابزار امکانات مشخصی را برای مدیریت آسانتر متن در اختیار شما قرار میدهد:
- پاک کردن: با کلیک بر روی دکمه پاک کردن، فیلدهای ورودی و خروجی به طور کامل تخلیه شده و پیام «پاک شد.» نمایش داده میشود. در این حالت، مقادیر آماری مربوط به خطوط اصلی، یکتا و حذفشده همگی به عدد 0 تغییر مییابند.
- استفاده از نتیجه: این عملکرد به شما اجازه میدهد تا خروجی پاکسازیشده را مستقیماً به کادر ورودی منتقل کنید تا بتوانید پردازشهای بعدی را روی آن انجام دهید. با انجام این کار، پیام «خطوط پاکسازیشده به بخش ورودی منتقل شدند.» ظاهر میشود.
- محدودیتهای فیلد خالی: در صورتی که کادر ورودی خالی باشد، عملکردهای کپی کردن و استفاده از نتیجه غیرفعال خواهند بود.
حریم خصوصی و پردازش در مرورگر کاربر
امنیت اطلاعات شما در این ابزار به طور کامل از طریق پردازش محلی تامین میشود. تمام عملیات حذف خطوط تکراری مستقیماً در مرورگر وب شما انجام میگیرد و هیچ دادهای به سرورهای BroBroGo ارسال نمیشود. این شیوه پردازش سمت کاربر (Client-side) مانع از خروج اطلاعات متنی شما از دستگاه شخصیتان میگردد.
آمارهای خروجی و وضعیت پردازش
پس از اتمام فرآیند پاکسازی، ابزار آمارهای دقیقی را در سه بخش نمایش میدهد:
| عنوان آمار | تعریف |
|---|---|
| اصلی | تعداد کل خطوط موجود در متن ورودی اولیه |
| یکتا | تعداد خطوط منحصربهفرد باقیمانده پس از حذف تکراریها |
| حذف شده | تعداد دقیق خطوط تکراری که از لیست حذف شدهاند |
بسته به وضعیت متن ورودی، یکی از پیامهای زیر برای نشان دادن وضعیت نهایی نمایش داده میشود:
- اگر خطوط تکراری در متن وجود داشته و حذف شده باشند:
«تعداد
{removed}خط تکراری حذف شد و{unique}خط از کل{total}خط حفظ گردید.» - اگر هیچ خط تکراری در متن ورودی یافت نشود:
«هیچ خط تکراری یافت نشد.
{unique}خط حفظ شد.»
پرسشهای متداول
چه چیزی به عنوان خط تکراری محسوب میشود؟
خطوط باید دقیقاً مطابقت داشته باشند، از جمله فاصلهها و بزرگنویسی حروف انگلیسی. اولین نسخه باقی میماند و خطوط منطبق بعدی حذف میشوند.
آیا ترتیب اصلی متن من حفظ میشود؟
بله. نتایج اولین باری که هر خط ظاهر میشود را حفظ میکنند، بنابراین لیست شما پس از حذف تکرارها در همان ترتیب اولیه باقی میماند.
چه اتفاقی برای خطوط خالی میافتد؟
خطوط خالی مانند سایر خطوط در نظر گرفته میشوند. اگر چندین خط خالی تکرار شوند، یک خط خالی در اولین موقعیت خود حفظ میشود.