Нужна оптимизация кода и совет. С#

Question

Переливаю некоторые строки из файлов.. . 334 файла примерно по 500 тысяч строк.. .
все строки нужно записать в один фаил - тоесть должно быть примерно так 334 строки по 500 тысяч слов, каждое через пробел.

делал так

Words = Words.Concat(mass).ToArray();

думал сначала всё в один массив запихну а затем я уже их там в один фаил залью.. .

Выкидвает на эксэпшен когда размер массива переходит за 30 миллионов.

Какое решение можете предложить?

И скажу ещё сразу больше приоритет скорости.... оборудование отличное.

И List<T> и прочие коллекшены лучше не предлогать если вы не смыслите в их скорости.

Иоган Бах · Accepted Answer

создать свой класс Stream, который накапливает данные в буфер, а потом ставит его в очередь на запись в отдельном потоке. Пока первый буфер стоит в очереди и собственно записывается, можно уже наполнять второй буфер. Таким образом, ожидание окончания записи заменяется задержкой синхронизации потоков. И только при закрытии Stream остаётся дождаться окончания записи в другом потоке.

Плюс посчитайте сколько ваша программа жрет памяти. При вашем алгоритме дохрена.

Плюс посчитайте сколько ваша программа жрет памяти. При вашем алгоритме дохрена.

Юсик Пандочка · Answer

with open('file_res','wt') as fout:
..for file in file_names:
....with open(file,'rt') as fin:
....for line in fin:
....fout.write(' '+line.replace('
',''))
....fout.write('
')
Вместо точек - пробелы, прожка на 6 строчек, выполнится секунд за 20 и память не жрёт