Форум поддержки пользователей. LibreOffice, Apache OpenOffice, OpenOffice.org

Форум поддержки пользователей. LibreOffice, Apache OpenOffice, OpenOffice.org

13 Декабрь 2017, 17:38 *
Добро пожаловать, Гость. Пожалуйста, войдите или зарегистрируйтесь.
Вам не пришло письмо с кодом активации?

Войти
Новости: Доступно и просто о работе в офисных пакетах
 
   Начало   Помощь Поиск Войти Регистрация    задать вопрос  
Страниц: 1   Вниз
  Печать  
Автор Тема: У меня имеется огромная база с числами, всего 300 000 000 ст?...  (Прочитано 279 раз)
0 Пользователей и 1 Гость смотрят эту тему.
ForumOOo (бот)
Ветеран
*****
Offline Offline

Сообщений: 615


« Стартовое сообщение: 31 Июль 2017, 17:23 »

Компонент: Calc
Версия продукта: 4.x
Сборка: Apache OpenOffice 4.1.2
ОС: Mac OS

У меня имеется огромная база с числами, всего 300 000 000 строк и чисел на них (по миллиону на столбец). Мне необходимо перенести каждые 10 000 000 чисел в текстовой документ (txt), для этого
мне нужно скопировать 1 из 10 столбцов, вставить в текстовой документ и проделать это с остальными 9-ти столбцами, а затем перейти к созданию следующего txt документа с числами от 10М до 20М,
в общем проблема возникает в самом копировании, когда вставляю в текстовой документ такой огромный объем (1М строк, редактор начинает подвисать и грузить, но прождав 10 минут, так ничего и не
изменилось, грузит и висит). В общем нужен совет, как можно правильно перенести данные в текстовой документ, чтобы все загружалось нормально и не так долго, ибо данных для загрузки у меня
крайне много, а времени не особо..

Тестовый файл: http://forumooo.ru/attachments/upload/snimok_ekrana_2017-07-31_v_17.22.33.png (925.47 КБ)

--
Подпись: Dim Romans
Эл. почта: dimromans.xx@gmail.com
Записан
rami
Гуру
*******
Offline Offline

Пол: Мужской
Сообщений: 2 314


MacBook Pro, LibreOffice и Apache OpenOffice


« Ответ #1: 31 Июль 2017, 18:05 »

Я так понял, что у вас есть таблица на 300 столбцов в каждом по миллиону строк и эти данные нужно раскидать по 30 отдельным текстовым документам (почему txt, а не csv?) по 10 столбцов в каждом?

В таком случае я бы ничего не копировал, а просто удалял бы "лишние" данные из копии исходного документа (в целях безопасности, чтобы не повредить оригинал) и сохранял бы оставшиеся данные "Сохранить как..." в формате .csv, в этом случае будет создан новый документ из "оставшихся" данных, а исходный документ останется без изменений (только ни в коем случае не использовать обычное сохранение)
Записан

economist
Ветеран
*****
Offline Offline

Сообщений: 761


« Ответ #2: 1 Август 2017, 08:21 »

300 млн строк? Это работа для СУБД и SQL-запросов. Нужно создать базу данных из того файла (Создать-Подключить-Таблица ODS), в котором данные, написать 30 SQL-запросов и перетащить их в любой документ. Получение данных таким методом не приводит к зависаниям и всегда отрабатывает успешно. Кроме того, сила SQL в том, что очень легко добавить отбор, подсчет, итоги, группировки, кластеризацию итп.   
Записан

Руб. за сто, что Питоньяк
Любит водку и коньяк!
Потому что мне, без оных, -
Не понять его никак...
Страниц: 1   Вверх
  Печать  
 
Перейти в:  

Powered by MySQL Powered by PHP Powered by SMF 1.1.21 | SMF © 2006-2009, Simple Machines Valid XHTML 1.0! Valid CSS!