У меня имеется огромная база с числами, всего 300 000 000 ст?...

[ForumOOo (бот)]

Компонент: Calc
Версия продукта: 4.x
Сборка: Apache OpenOffice 4.1.2
ОС: Mac OS

У меня имеется огромная база с числами, всего 300 000 000 строк и чисел на них (по миллиону на столбец). Мне необходимо перенести каждые 10 000 000 чисел в текстовой документ (txt), для этого
мне нужно скопировать 1 из 10 столбцов, вставить в текстовой документ и проделать это с остальными 9-ти столбцами, а затем перейти к созданию следующего txt документа с числами от 10М до 20М,
в общем проблема возникает в самом копировании, когда вставляю в текстовой документ такой огромный объем (1М строк, редактор начинает подвисать и грузить, но прождав 10 минут, так ничего и не
изменилось, грузит и висит). В общем нужен совет, как можно правильно перенести данные в текстовой документ, чтобы все загружалось нормально и не так долго, ибо данных для загрузки у меня
крайне много, а времени не особо..

Тестовый файл: http://forumooo.ru/attachments/upload/snimok_ekrana_2017-07-31_v_17.22.33.png (925.47 КБ)

--
Подпись: Dim Romans
Эл. почта: dimromans.xx@gmail.com

[rami]

Я так понял, что у вас есть таблица на 300 столбцов в каждом по миллиону строк и эти данные нужно раскидать по 30 отдельным текстовым документам (почему txt, а не csv?) по 10 столбцов в каждом?

В таком случае я бы ничего не копировал, а просто удалял бы "лишние" данные из копии исходного документа (в целях безопасности, чтобы не повредить оригинал) и сохранял бы оставшиеся данные "Сохранить как..." в формате .csv, в этом случае будет создан новый документ из "оставшихся" данных, а исходный документ останется без изменений (только ни в коем случае не использовать обычное сохранение)

[economist]

300 млн строк? Это работа для СУБД и SQL-запросов. Нужно создать базу данных из того файла (Создать-Подключить-Таблица ODS), в котором данные, написать 30 SQL-запросов и перетащить их в любой документ. Получение данных таким методом не приводит к зависаниям и всегда отрабатывает успешно. Кроме того, сила SQL в том, что очень легко добавить отбор, подсчет, итоги, группировки, кластеризацию итп.