[Массивы] Как считать определенное количество строк из файла в массив ?

Ralf479824 · 19 Фев 2016

Здравствуйте!

У меня есть вопрос - как считать определенное количество строк из файла в массив ?

Я знаю что есть функция FilReadLine .
Но если считывать из большого файла построчно это слишком долго.
Вообщем в чем задача:
1.Есть файл который имеет 1 миллион строк.
2.Нужно из этого файла считать 500 тысяч строк
3.Почему именно так потому что если загружать файл целиком - это занимает оперативную память.
4.Размер файла может меняться
5.Размер строк тоже может быть разный

Alofa · 19 Фев 2016

Можно конечно все это организовать и так:

Код:

Local $sText, $i
Local $iStrings = 500 ; Количество строк для считывания

$hFile = FileOpen(@ScriptDir & '\База Данных.txt')
If $hFile = -1 Then Exit MsgBox(4096, "Ошибка", "Невозможно открыть файл.")

Do ; Читает построчно текст, пока счетчик "$i" не сравняется с "$iStrings"
    $sLine = FileReadLine($hFile)
    If @error = -1 Then ExitLoop
	$sText &= $sLine & @CRLF
	$i += 1
Until $i = $iStrings

ConsoleWrite($sText)

FileClose($hFile)

Ralf479824 · 19 Фев 2016

Alofa сказал(а):
Можно конечно все это организовать и так:

Можно вот только если так считывать большой файл на это уйдет много времени :stars:

Alofa · 19 Фев 2016

Ralf479824 сказал(а):
... на это уйдет много времени

Не успел дописать - конечно это будет долго. Поэтому с большими файлами подобного типа я бы посоветовал вам работать через _SQLite.

Ralf479824 · 19 Фев 2016

Нужно попробовать , ну отсюда сразу и вопрос как считать файл в эту базу данных ?

ra4o · 19 Фев 2016

Работать с готовой базой _SQLite конечно быстро, но для того, чтобы создать базу и внести в неё миллион строк на это уйдёт масса времени, быстрее будет через массив.

Ralf479824 · 20 Фев 2016

остается только одну проблему решить - что делать если в массив нужно загрузить файл очень большого размера ,а оперативной памяти не так много?
Ну что я имею ввиду так это то что если мы загрузим файл с количеством строк 8 миллионов или выше то может просто не хватить оперативы ... Уже сколько бьюсь об эту проблему никак не могу её решить. Спасибо всем что отвечаете но может у кого-то есть идеи как решить эту проблему ? :stars: :IL_AutoIt_1:

weweWe45s · 20 Фев 2016

StringRegExp

Код:

(.*\r\n){10}

p.s. вроде этот шаблон подойдет

Alofa · 20 Фев 2016

ra4o сказал(а):
Работать с готовой базой _SQLite конечно быстро, но для того, чтобы создать базу и внести в неё миллион строк на это уйдёт масса времени...

OffTopic:
...лучше день потерять, потом за пять минут долететь.

Из м-ма: "Крылья, ноги и хвосты"

weweWe45s сказал(а):
StringRegExp

Поясните плиз :-\

weweWe45s · 20 Фев 2016

считать по шаблону "все до окончания строки \r\n" из открытого файла заданное количество раз
p.s. предполагается что окончание строки виндовс формата

Alofa · 20 Фев 2016

weweWe45s сказал(а):
... из открытого файла ...

Так ведь вся проблема-то в том, чтобы открыть:

Ralf479824 сказал(а):
...2.Нужно из этого файла считать 500 тысяч строк
3.Почему именно так потому что если загружать файл целиком - это занимает оперативную память.

weweWe45s · 20 Фев 2016

разрезать на куски плюс метка на месте реза на вроде продолжение следует ну это так фантазия проверять нужно

Alofa · 20 Фев 2016

Ralf479824
Дайте ка кусочек этой базы данных, для экспериментов (или сочините подобное).
Добавлено:
Сообщение автоматически объединено: 20 Фев 2016

И еще вопрос:

Ralf479824 сказал(а):
...считать определенное количество строк из файла в массив ?

Что вы дальше собираетесь делать с этим, висящим в памяти, массивом?

Ralf479824 · 20 Фев 2016

Вот пример такого файла в нем конечно все стоки одинаковые но в реальности они могут быть разные.
Дальше после загрузки такого файла в массив я планирую выполнять редактирование строк , замена и удаление частей строк.
Ну вообщем разного рода операции.

joiner · 20 Фев 2016

Ralf479824
можно чуть сначала. откуда берется этот файл? создается сторонней программой или своей?
ну и 40-50 метров в памяти это не так много.

Ralf479824 · 20 Фев 2016

Извиняюсь что раньше не уточнил , этот файл создается сторонней программой...
Добавлено:
Сообщение автоматически объединено: 20 Фев 2016

Получается нужно придумать способ как разрезать этот файл на 500 тысяч строк перед загрузкой в скрипт ? Если я всё правильно понял то только остается придумать способ разрезания такого файла... У меня возникает идея но она подходит только в том случаи если файл всегда будет такого размера , но если он еще больше тогда что делать...

joiner · 20 Фев 2016

Интересно, что за программа создает текстовый файл таких объёмов? И в нем читаемый текст

Kasper · 20 Фев 2016

Код:

_FileCountLines
_FileReadToArray

Yashied · 20 Фев 2016

А в чем вообще вопрос? Покуда есть память у приложения, используйте ее. Загружайте файл целиком и не парьтесь. Для получения массива разбейте прочитанный файл с помощью регулярных выражений по символу конца строки. Ни в коем случае не читайте файл построчно.

CreatoR · 20 Фев 2016

Ralf479824
Всё зависит от действий выполняемых с массивом.
Решение простое - по мере чтения строк делать эти самые действия, после завершения действия высвобождать память (очищать или заполнять другими данными переменную).
Если размер файла слишком большой чтобы уместиться в памяти, то выводить предупреждение (это не сложно подсчитать).

Автор темы	Похожие темы	Форум	Ответы	Дата
M	Подскажите как разобрать файл на массивы?	Общие вопросы по AutoIt	10	19 Июн 2021
B	[Массивы] строки тхт файла считать в массив и отобразить GUICtrlListView	Общие вопросы по AutoIt	4	13 Ноя 2017
M	[Массивы] посчитать группы чисел	Общие вопросы по AutoIt	4	20 Ноя 2016
L	[Массивы] Считать файл в многомерный массив	Общие вопросы по AutoIt	3	7 Апр 2011
	[Массивы] Считать файл в массив, указывая разделитель	Общие вопросы по AutoIt	5	12 Ноя 2010

[Массивы] Как считать определенное количество строк из файла в массив ?

Новичок

Alofa

Гость

Новичок

Alofa

Гость

Новичок

AutoIT Гуру

Новичок

Новичок

Alofa

Гость

Новичок

Alofa

Гость

Новичок

Alofa

Гость

Новичок

Вложения

Модератор

Новичок

Модератор

Знающий

Модератор

Must AutoIt!