Мәтіндік деректерді тазарту және дедупликациялау негіздері
Мәтін дедупликаторы құралы мәтіндік жолдардың тізімін қабылдап, олардың ішінен тек дәл қайталанатын жолдарды өшіреді. Бұл ретте әрбір жолдың тек алғашқы пайда болған нұсқасы ғана сақталады. Нәтиже бастапқы жолдардың ретін сақтай отырып, қайталанатын жолдардан тазартылған тізім түрінде көрсетіледі. Құрал тек дәл сәйкес жолдарды қайталанған деп есептейді.
Құрал өңдеу жұмысы аяқталғаннан кейін тазартылған тізімді көрсетіп, қанша жолдың өшірілгені және қанша бірегей жол қалғаны туралы статистикалық мәліметтерді ұсынады. Бұл тізімдегі бірегей элементтердің нақты санын жылдам анықтауға және деректерді артық ақпараттан тазартуға мүмкіндік береді.
Дәл сәйкестікті анықтау ережелері мен ерекшеліктері
Мәтінді өңдеу кезінде жолдардың қайталанған екенін анықтау үшін нақты ережелер қолданылады. Жолдардың дедупликациялануы келесі шарттарға негізделген:
- Дәл сәйкестік: Жолдар бір-біріне толықтай, соның ішінде бос орындар мен әріптердің регистріне (бас немесе кіші әріп екеніне) дейін сәйкес келуі керек. Кішігірім айырмашылығы бар жолдар бірегей деп есептеледі.
- Алғашқы нұсқаны сақтау: Қайталанатын жолдардың тек бірінші кездескен нұсқасы сақталып, одан кейінгі барлық сәйкес келетін жолдар тізімнен өшіріледі.
- Бастапқы реттілікті сақтау: Бірегей жолдардың тізімдегі алғашқы пайда болу реті толығымен сақталады, яғни деректердің бастапқы құрылымы бұзылмайды.
- Бос жолдарды өңдеу: Бос жолдар да кәдімгі мәтіндік жолдар сияқты өңделеді. Егер тізімде бірнеше бос жол кездессе, олардың тек біріншісі ғана сақталып, қалғандары өшіріледі.
Мысалы, «Apple» және «apple» әртүрлі жолдар болып саналады, ал соңында бос орны бар «Apple» да бос орынсыз нұсқамен бірдей емес. Бірдей жолдар бірнеше рет кездессе, тек тізімдегі алғашқы нұсқа нәтижеде қалады.
Енгізу және шығару параметрлері мен шектеулері
Құралдың жұмыс істеу процесі белгілі бір шектеулер мен параметрлерге бағынады:
- Енгізу көлемі: Құралға енгізілетін мәтіннің максималды ұзындығы 500 000 таңбадан аспауы тиіс. Егер енгізілген мәтін бұл шектен асып кетсе, жүйеде "Бұл мәтін бұл құрал үшін тым ұзын. Оны
{max}таңбадан асырмай сақтаңыз." деген қате туралы хабарлама көрсетіледі және жолдарды санау көрсеткіштері 0 күйінде қалады. - Статистика көрсеткіштері: Құрал пайдаланушыға үш түрлі көрсеткішті ұсынады: "Түпнұсқа" (бастапқы жолдар саны), "Бірегей" (қалған бірегей жолдар саны) және "Өшірілді" (жойылған қайталанатын жолдар саны).
- Бос енгізу өрісі: Енгізу өрісі бос болған жағдайда "Қайталанатын жолдарды өшіру үшін мәтін қосыңыз." деген мәртебе хабарламасы шығады. Бұл кезде нәтижені көшіру және "Нәтижені қолдану" функциялары өшіріледі.
- Тазалау функциясы: Енгізілген мәтінді тазалаған кезде енгізу және шығару өрістері босап, "Түпнұсқа", "Бірегей" және "Өшірілді" көрсеткіштерінің барлығы 0 мәніне теңестіріледі. Бұл кезде экранда "Тазаланды." хабарламасы пайда болады.
Нәтиже өрісінде қайталанбайтын жолдар көрсетіледі. «Түпнұсқа» бастапқы жолдардың санын, «Бірегей» сақталған жолдардың санын, ал «Өшірілді» жойылған қайталанулардың санын білдіреді.
Деректерді өңдеу қауіпсіздігі және құпиялылық
Мәтініңіз браузерде дедупликацияланады. BroBroGo серверіне ештеңе жіберілмейді.
Құралды пайдалану тәртібі
Әр жолға бір элементтен келетін тізімді енгізу өрісіне қойыңыз. Құрал жолдарды дәл сәйкестік бойынша салыстырады, сондықтан артық бос орындар мен әріп регистрін алдын ала тексеру керек. Өңдеу аяқталған соң бірегей жолдар нәтижеге шығарылады, ал статистика бастапқы, сақталған және өшірілген жолдар санын бөлек көрсетеді. Нәтижені көшіріп алуға немесе оны қайтадан енгізу өрісіне қолдануға болады. Бос жолдар да осы ережелермен өңделеді және бірінші кездескен нұсқасы сақталады. Нәтиже бірден дайын болады.
Құралдың интерфейс хабарламалары мен күйлері
Құрал жұмыс барысында пайдаланушыға орындалған әрекеттерге байланысты келесі мәртебелік хабарламаларды көрсетеді:
- Қайталанатын жолдар сәтті өшірілгенде: "
{removed}қайталанатын жол өшірілді,{total}жолдың{unique}бірегейі сақталды.". - Егер мәтінде ешқандай қайталану табылмаса: "Қайталанатын жолдар табылмады.
{unique}жол сақталды.". - Үлгі мәтінді жүктеген кезде: "Үлгі тазартылды.".
- Тазартылған нәтижені қайтадан енгізу өрісіне көшіргенде: "Тазартылған жолдар енгізу өрісіне ауыстырылды.".
- Күтпеген қате орын алған жағдайда: "Бұл мәтіннің қайталанатын жолдарын өшіру мүмкін болмады.".