[Данные, строки] Удалить из файла все повторения

[Garrett]

Garrett [?]

Что-то висит код

Что значит висит, он обрабатывает строки ;D - какой размер файла?

Мда...
Time: 786.598 = 13 мин 11 сек
Файл который предоставил ZanMax 3,8 Мб
Скрипт нашёл одну строку
P.S. Съедает 50% ресурсов :(

 

[gregaz]

CreatoR [?]

Быстрее этого думаю уже не сделать на AutoIt:

Замена :

 StringInStr  на StringRegExp

намного ускорит процесс (я сравнивал) , хотя этого все равно недостаточно

 

[ZanMax]

Может екселем все это делать ?
Как думаете ? 13 минут это очень много.
таких файлов за 30 - 40 минут человеку нужно будет обработать 5 штук :wacko:

 

[madmasles]

gregaz [?]

StringInStr на StringRegExp намного ускорит процесс (я сравнивал) , хотя этого все равно недостаточно

Получается, что нет: Необходимо преобразовать сложную строку в число!

 

[kaster]

madmasles [?]

Получается, что нет

зависит от кол-ва операция в движке PCRE. потому как один регвыр на самом деле может свестись ко множественным текстовым операциям. и наоборот, то что будет делать построковое сравнение очень большой строки в нескольких сотнях/тысячах циклов регвыр проделает за один, к примеру. поэтому зависит от контекста. а вообще, более чем уверен что PCRE шустрый инструмент

 

[ZanMax]

Выгрузил сегоодня данные а их болие : 5 000 000
Думаю на этом всем спасибо.
Буду думать как в базе удалять дубликаты.
:IL_AutoIt_1:

 

[CreatoR]

_FileDeleteDuplicateLines - Удаление дубликатов в файле

В шапке пример с использованием объекта Dictionary, должно быть намного быстрее чем все варианты по теме .

 

[WSWR]

CreatoR
У меня получается, что _FileDeleteDuplicateLines медленнее где-то процентов на 15-20, чем примеры с Assign() и Eval()

Я взял текст из этого сообщения http://autoit-script.ru/index.php?topic=1439.msg10335#msg10335 и записал его в файл 100 000 раз (т.е. около 2 млн строк)

Следующий код:

#include <File.au3>
#include <Array.au3>
$sFileResult=@ScriptDir & '\2.txt' ; путь до файла c повторяющимися линиями

Dim $aList
_FileReadToArray($sFileResult,$aList)
 
$sText = ''
 
For $i = 1 To $aList[0]
    Assign($aList[$i] & '/\', Eval($aList[$i] & '/\') + 1)
    If Eval($aList[$i] & '/\') = 1 Then $sText &= $aList[$i] & @CRLF    
Next
	
$aList=StringSplit(StringTrimRight($sText, 2), @LF)
_ArrayDelete($aList,0)

$hFile = FileOpen(@ScriptDir & '\3.txt', 2) ; путь до результирующего файла
_FileWriteFromArray($hFile, $aList)
FileClose($hFile)

обрабатывает такой файл на моем компе примерно за 21.5 сек, а _FileDeleteDuplicateLines - 24.5 сек.

 

[CreatoR]

WSWR [?]

обрабатывает такой файл на моем компе примерно за 21.5 сек, а _FileDeleteDuplicateLines - 24.5 сек.

Разница то в несколько секунд (я полагаю что использовался $iUseDict = 1), а вариант с Assign потребляет немало ресурсов памяти (это получается что на каждую строку создаётся переменная).

 

[AZJIO]

WSWR
Ваш код ещё можно оптимизировать, используя IsDeclared вместо Eval. И самое главное перед началом обработки заменить символ "[" на какой нибуть управляющий, потому что Assign не создаст переменную с этим символом, а если замена была успешна то в результирующем тексте восстановить символ "[".

Примерно так

Func _StringUnique(ByRef $sString, $spr = @CRLF)
	Local $Count = 0
	If $spr<>'[' Then
		$sString = StringReplace($sString, '[', Chr(1)) ; Символ "[" создаёт проблему, поэтому временно подменяем его непечатным символом
		$Count = @extended
	EndIf
	Local $a = StringSplit($sString, $spr, 1), $i
	Assign('/', '', 1) ; создаёт переменную, чтобы пустые строки уже являлись дубликатами и исключались из результата
	$sString = ''

	For $i = 1 To $a[0]
		If Not IsDeclared($a[$i] & '/') Then
			$sString &= $a[$i] & $spr
			Assign($a[$i] & '/', '', 1)
		EndIf
	Next
	$sString = StringTrimRight($sString, StringLen($spr))
	If $Count Then $sString = StringReplace($sString, Chr(1), '[')
EndFunc   ;==>_StringUnique

 

[CreatoR]

OffTopic:
AZJIO [?]

заменить символ "[" на какой нибуть управляющий, потому что Assign не создаст переменную с этим символом

Неплохо было бы в справке это уточнить, т.к «Не может быть элементом массива» как то смутно, ведь символ «]» можно использовать.

если замена была успешна то в результирующем тексте восстановить символ "["

Может лучше конвертировать строку в бинарный вид, чтобы избежать этой замены?

 

[AZJIO]

CreatoR [?]

Может лучше конвертировать строку в бинарный вид, чтобы избежать этой замены?

Строка увеличится вдвое и имена всех создаваемых переменных, не уверен в прибавке скорости.
Меня, кстати, волнует ограничение длинны переменной из создаваемой строки, ведь есть же предел, возможно это станет ограничением в использовании, но по крайней мере для списков путей файлов возможно предел и не будет превышен. А у объекта "Scripting.Dictionary" являющимся обычным массивом думаю нет ограничения.