Что лучше один очень большой файл или несколько не очень больших?

WWW.ИСХОДНИКИ.РУ cpp.sources.ru

java.sources.ru web.sources.ru soft.sources.ru

jdbc.sources.ru asp.sources.ru api.sources.ru

  Форум на исходниках
  C / C++ / Visual C++
  Что лучше один очень большой файл или несколько не очень больших?
СПРОСИТЬ  ОТВЕТИТЬ
профайл | регистрация | faq

Автор Тема:   Что лучше один очень большой файл или несколько не очень больших?

VB опубликован 18-07-2001 00:34 MSK
Вот возник вопрос (subj). Хранить предпологается информацию с частым обращением к ней. О поиске информации речь не идет, только о ХРАНЕНИИ.
Если есть какие-то соображения что лучше, то просьба не стисняться и высказаться (облегчите душу).
Зараннее признателен за бурное обсуждение.
the_moon опубликован 18-07-2001 03:48 MSK
Зачем же данные хранить то, если они потом ни кому не нужны. Ну уж если все равно тебе пиши все подряд в кучу, потому как какая разница ты же будешь только дописывать, насколько я понял, но если тебе потом енти данные и править придется ( м о д и ф и ц и р о в а т ь ), то вот тебе и поиск, а искать как всегда лучше по индексу, а от сюда минимум два файла вытекают и вообще это дизайн баз данных и советовать тебе лучше самому себе, а разбивать всегда надо если это надо
( РАЗДЕЛЯЙ И ВЛАСТВУЙ ).
DenizK опубликован 18-07-2001 23:54 MSK
Если частые обращения то возможно имеет смысл использовать отображаемые в память файлы - это позволит соптимизировать обращения к винту.
VB опубликован 19-07-2001 00:38 MSK
Поиск и извлечение информации решаются, но это не вопрос для данной дискусии. Так же возможные другие варианты решения тоже не рассматриваются. Необходимо оценить по различным критериям ТОЛЬКО эти 2 варианта.
Выскажу несколько своих соображений:
Для очень большого файла (от 100 Мб) поиск будет работать быстрее, чем для нескольких не больших файлов.
Надежность хранения информации, судя по всему, одинакова - если испортится страница, то не важно для какого файла.
Мелкие файлы (по сравнению с одним) можно распределить по разным ПК.
Какие еше будут мнения по данному вопросу?
Вопрос именно в том что лучше хранить ин
cube опубликован 19-07-2001 10:22 MSK
Ага.. Т.е. с поиском как-то разобрались, с извлечением вроде тоже и хоти теперь выяснить, дробить ли данные по разным файлам. Ну что ж, если это дробление не изменит логику поиска, то все равно. Уж лучше в одном. Он, надеюсь, целиком в память загружается (ну или очень большими кусками). Хотя разные файлы можно обрабатывать параллельно, а еще и разместить на разных носителях. Кстаи сказать, советую почитать че-нить по БД (скажем по SQL Server). Там между делом этот вопрос рассматривается.
>Мелкие файлы (по сравнению с одним) можно распределить по разным ПК.
Зачем? Для обработки или для хранения? Если для обработки, то вопрос теряет всякий смысл. Если для хранения, то ЗАЧЕМ? Особенно если "Хранить предпологается информацию с частым обращением к ней"
А вообще, чтобы что-то оценить, нужно иметь представлеие о картине вцелом, а не выдергивать отдельные элемнты и на этом строить какие-то решения.
зы: имхо
OlegN опубликован 19-07-2001 13:18 MSK
Тут вечная проблема выбора ресурсоемкость/скорость/надежность.
Определись, какой критерий для тебя важнее,
если надежность и целостность информации,
тогда в одном файле.
Если главное - скорость, то тут все зависит от ресурсоемкости. Если ты предполагаешь создать вычислительный кластер из нескольких компов, то один файл расположенный на RAID массиве 10-го уровня (0+1) даст в производительности фору нескольким файлам расположенным на разных компьютерах. В этом случае все зависит от финансовых ресурсов.
А если необходимо быстро, но дешево, то разбивай на несколько файлов, разноси их
по винтам или машинам. Но со всремененм возникнут проблемы с достоверностью информации, синхронизацией, надежностью и т.д.
VB опубликован 20-07-2001 00:42 MSK
Большое спасибо всем кто высказался по этому вопросу.
Наиболее важным критерием является надежность хранения информации. Противоречивость, синхронизация решены на другом уровне и не зависят от разбиения.
Я предполагаю, что скорость не будет сильно различаться.
Какие аргументы в пользу того или другого случая по надежности хранения информации
Вы могли бы привести?
СПРОСИТЬ  ОТВЕТИТЬ
Перейти:

E-mail | WWW.ИСХОДНИКИ.RU

Powered by: Ultimate Bulletin Board, Freeware Version 5.10a
Purchase our Licensed Version- which adds many more features!
© Infopop Corporation (formerly Madrona Park, Inc.), 1998 - 2000.

Автор	Тема: Что лучше один очень большой файл или несколько не очень больших?
VB	опубликован 18-07-2001 00:34 MSK Вот возник вопрос (subj). Хранить предпологается информацию с частым обращением к ней. О поиске информации речь не идет, только о ХРАНЕНИИ. Если есть какие-то соображения что лучше, то просьба не стисняться и высказаться (облегчите душу). Зараннее признателен за бурное обсуждение.
the_moon	опубликован 18-07-2001 03:48 MSK Зачем же данные хранить то, если они потом ни кому не нужны. Ну уж если все равно тебе пиши все подряд в кучу, потому как какая разница ты же будешь только дописывать, насколько я понял, но если тебе потом енти данные и править придется ( м о д и ф и ц и р о в а т ь ), то вот тебе и поиск, а искать как всегда лучше по индексу, а от сюда минимум два файла вытекают и вообще это дизайн баз данных и советовать тебе лучше самому себе, а разбивать всегда надо если это надо ( РАЗДЕЛЯЙ И ВЛАСТВУЙ ).
DenizK	опубликован 18-07-2001 23:54 MSK Если частые обращения то возможно имеет смысл использовать отображаемые в память файлы - это позволит соптимизировать обращения к винту.
VB	опубликован 19-07-2001 00:38 MSK Поиск и извлечение информации решаются, но это не вопрос для данной дискусии. Так же возможные другие варианты решения тоже не рассматриваются. Необходимо оценить по различным критериям ТОЛЬКО эти 2 варианта. Выскажу несколько своих соображений: Для очень большого файла (от 100 Мб) поиск будет работать быстрее, чем для нескольких не больших файлов. Надежность хранения информации, судя по всему, одинакова - если испортится страница, то не важно для какого файла. Мелкие файлы (по сравнению с одним) можно распределить по разным ПК. Какие еше будут мнения по данному вопросу? Вопрос именно в том что лучше хранить ин
cube	опубликован 19-07-2001 10:22 MSK Ага.. Т.е. с поиском как-то разобрались, с извлечением вроде тоже и хоти теперь выяснить, дробить ли данные по разным файлам. Ну что ж, если это дробление не изменит логику поиска, то все равно. Уж лучше в одном. Он, надеюсь, целиком в память загружается (ну или очень большими кусками). Хотя разные файлы можно обрабатывать параллельно, а еще и разместить на разных носителях. Кстаи сказать, советую почитать че-нить по БД (скажем по SQL Server). Там между делом этот вопрос рассматривается. >Мелкие файлы (по сравнению с одним) можно распределить по разным ПК. Зачем? Для обработки или для хранения? Если для обработки, то вопрос теряет всякий смысл. Если для хранения, то ЗАЧЕМ? Особенно если "Хранить предпологается информацию с частым обращением к ней" А вообще, чтобы что-то оценить, нужно иметь представлеие о картине вцелом, а не выдергивать отдельные элемнты и на этом строить какие-то решения. зы: имхо
OlegN	опубликован 19-07-2001 13:18 MSK Тут вечная проблема выбора ресурсоемкость/скорость/надежность. Определись, какой критерий для тебя важнее, если надежность и целостность информации, тогда в одном файле. Если главное - скорость, то тут все зависит от ресурсоемкости. Если ты предполагаешь создать вычислительный кластер из нескольких компов, то один файл расположенный на RAID массиве 10-го уровня (0+1) даст в производительности фору нескольким файлам расположенным на разных компьютерах. В этом случае все зависит от финансовых ресурсов. А если необходимо быстро, но дешево, то разбивай на несколько файлов, разноси их по винтам или машинам. Но со всремененм возникнут проблемы с достоверностью информации, синхронизацией, надежностью и т.д.
VB	опубликован 20-07-2001 00:42 MSK Большое спасибо всем кто высказался по этому вопросу. Наиболее важным критерием является надежность хранения информации. Противоречивость, синхронизация решены на другом уровне и не зависят от разбиения. Я предполагаю, что скорость не будет сильно различаться. Какие аргументы в пользу того или другого случая по надежности хранения информации Вы могли бы привести?