» SatMap (2)

egor23

Цитата:

этап2: объденение кэшей, т.е. экспорт всех одиночных кэшей в один кэш.

т.е последовательно, один за другим. Для меня это еще один довод для того что бы процедуру пропустить через многофайловый архив -- туда уже сейчас есть возможность перекачивать параллельно. А 55 т тайлов на 19 слое это размер среднего города типа Новосибирск -- сойдет только для похода выходного дня и то пешего.

netrebos

Цитата:

т.е последовательно, один за другим.

?!
подключаем кэши и делаем экспорт из всех подключенных

Цитата:

Для меня это еще один довод для того что бы процедуру пропустить через многофайловый архив

мне винт жалко мучать

Цитата:

А 55 т тайлов на 19 слое это размер среднего города типа Новосибирск -- сойдет только для похода выходного дня и то пешего.

так это размер части выкачиваемой нужной области, т.е. для одной копии SatMap
можете хоть 10 копий запустить в каждой будет по 55т.тайлов.
и 55т.тайлов это под мою машину, может у Вас 16ГБ опер.памяти.

netrebos

Цитата:

Что произойдет, если во время например, "обрезания -- упаковки" ребенок выдернет шнур накопителя. База издохнет.

Но останется копия. А вот если ребенок случайно врежется в комп с базой SAS и грохнет хард диск (случай из практики соседа) или диск полетит из-за скачка напряжения копии не будет, и вся работа насмарку!

egor23

Цитата:

подключаем кэши и делаем экспорт из всех подключенных

???т.е ты хочешь сказать, что тебе удается ОДНОВРЕМЕННО (параллельно) в один кеш SatMap закачать из десятка, и при этом не получить SQLite error не помню точно номер или сущестенных повреждений целостного изображения? Тогда к чему все эти перекачивания -- можно просто десяток мульти закачивать на один кэш и сразу. Но мне казалось, что это еще не реализовано.



Добавлено:
rex

Цитата:

А вот если ребенок случайно врежется в комп с базой SAS и грохнет хард диск (случай из практики соседа) или диск полетит из-за скачка напряжения копии не будет, и вся работа насмарку!

Вторая мировая война тоже была, говорят, кровавой. Я же говорю не о постоянном хранении базы (впрочем люди-то хранят), а о совокупности причин привлекающих меня работать с черновиком в многофайловом архиве. Клянусь бережно хранить накопитель в это время и немедленно отформатировать его по окончании работы. Вполне возможно мое предложение по мере эволюции программы станет атавизмом -- попросим его отключить.

Добавлено:
rex

Цитата:

копии не будет, и вся работа насмарку!

Для особо трагичных случаев копия будет в кэше SatMap

netrebos

Цитата:

???т.е ты хочешь сказать, что тебе удается ОДНОВРЕМЕННО (параллельно) в один кеш SatMap закачать из десятка, и при этом не получить SQLite error не помню точно номер или сущестенных повреждений целостного изображения?

не путайте закачку в один кэш и экспорт (экспорт идёт в новый кэш).
закачка идёт - каждая копия имеет свой кэш (и всё идёт без проблем)
об этом раньше говорили
закачка в один кэш сопровождается SQLite error (чем больше потоков тем чаще выскакивает), так что не катит.

Цитата:

Тогда к чему все эти перекачивания -- можно просто десяток мульти закачивать на один кэш и сразу. Но мне казалось, что это еще не реализовано.

это нужно не для удобства скачивания, а для удобства обработки.
пример кэш Москва, качался в один поток, в частности 18 уровень качался послойно, но данные обрабатываются не последовательно, на что тратится много времени, а если упорядочить, то обработка идёт со свистом.

egor23
Опять ускользает что-то. Экспорт из 6 кэшей в 1 копию или из 6 кэшей в 6 копий?

netrebos

Цитата:

Опять ускользает что-то. Экспорт из 6 кэшей в 1 копию или из 6 кэшей в 6 копий?

1. 6 кэшей в 6 копий
2. 6 кэшей в 1 копию

можно сразу 6 кэшей в 1 копию, если кэши маленькии...

egor23

Цитата:

1. 6 кэшей в 6 копий

Не вижу никакого выигрыша по сравнению Сатмап - САС - Сатмап. Упорядочение кэша так же происходит, заодно можно попользоваться дополнительными функциями. И не нужно ограничивать закачку объемом оперативки -- еще вполне работают машинки с 512 мб. Да и потребности иметь больше 2гб у меня никогда остро не возникало. А если сократить алгоритм "скачать -- экспортировать -- импортировать" до "скачать -- импортировать" будет даже быстрее. Да и производительней.


Цитата:

можно сразу 6 кэшей в 1 копию, если кэши маленькии...

Не получалось у меня такого -- дырки непредсказуемые воникали.


Добавлено:
egor23

Цитата:

1. 6 кэшей в 6 копий

Вот мой сравнительный расчет производительности при условии одного объема и одинаковых затрат времени при переброски кэшей между кэшами Сатмап и Сатмап-Сас-Сатмап. (А по времени каждой отдельной операции эти процессы приблизительно равны)

6 копий в 6 копий (параллельно, 1 единица времени) -- 6 копий в 1 кэш (последовательно, 6 единиц времени) -- 1 кэш в 1 кэш копию (1 единица времени) = 8 единиц.

6 копий в кэш САС (паралельно, 1 единица времени) -- возможен вариант полигонного вырезания кэша внутри САС из всего массива (1 единица времени) -- импорт из кэша САС в сатмап (1 единица времени) = даже с прибамбасами 3 единицы времени. 3<8.

netrebos

Цитата:

Не вижу никакого выигрыша по сравнению Сатмап - САС - Сатмап

1. время
задача ставилась - быстро слить несколько кэшей в один упорядоченный кэш.
покрайне мере на сегодня (для общего случая, как я предполагая) это самый быстрый способ.
2. для мнея не подходит кэш ввиде много мелких файлов, если подходил бы не стал бы использовать SatMap, у САС функционал выше.

Цитата:

Не получалось у меня такого -- дырки непредсказуемые воникали.

это Вы о чём?

Добавлено:

Цитата:

Вот мой сравнительный расчет производительности

думаю рассчёт не верен
в моём случае скорость работы будет соизмеряться с линейной скоростью работы диска (значения одного порядка будут)
в вашем случае это будет не так, время доступа сыграет злую шутку.

PS: теория и практика две разные вещи.

egor23

Цитата:

для мнея не подходит кэш ввиде много мелких файлов, если подходил бы не стал бы использовать SatMap, у САС функционал выше.

Мне тоже не подходит кэш в виде мелких файлов в качестве основной библиотеки, но мне остро нужен и функционал. Отсюда и родилась эта конструкция. Пока я в сатмап не могу даже обрезать океан по территории расположенной в виде "\" по отношению к квадрату выделения.


Цитата:

время доступа сыграет злую шутку

-- не сыграет. Речь идет не об одном диске, а как минимум о двух накопителях (кеш Сатмап и кэш САС) между которыми перебрасывается информация и всегда в одну сторону, а не встречными потоками. Кроме того, моя моська, на которой я работаю вообще не имеет собственного жесткого диска -- только экран, клавиатура, процессор и оперативка. Если я под все эти операции задействую домашний комп -- точно библиотеке SQLite придет конец -- там пасутся все домашние. А к мобильной технике доступ строго ограничен.



Добавлено:
egor23

Цитата:

для мнея не подходит кэш ввиде много мелких файлов, если подходил бы не стал бы использовать SatMap, у САС функционал выше.

Мне тоже не подходит кэш в виде мелких файлов в качестве основной библиотеки, но мне остро нужен и функционал. Отсюда и родилась эта конструкция. Пока я в сатмап не могу даже обрезать океан по территории расположенной в виде "\" по отношению к квадрату выделения.


Цитата:

время доступа сыграет злую шутку

-- не сыграет. Речь идет не об одном диске, а как минимум о двух накопителях (кеш Сатмап и кэш САС) между которыми перебрасывается информация и всегда в одну сторону, а не встречными потоками. Кроме того, моя моська, на которой я работаю вообще не имеет собственного жесткого диска -- только экран, клавиатура, процессор и оперативка. Если я под все эти операции задействую домашний комп -- точно библиотеке SQLite придет конец -- там пасутся все домашние. А к мобильной технике доступ строго ограничен.

Цитата:

PS: теория и практика две разные вещи.

это я к тому, что самый простой способ проверить это практика
а сделать сравнительные изыскания можете только Вы, я надеюсь у Вас 2ГБ опер.памяти?

Добавлено:

Цитата:

-- не сыграет. Речь идет не об одном диске, а как минимум о двух накопителях (кеш Сатмап и кэш САС)

этап 6 кэшей в 1 копию - тоже выполняется с 2-мя дисками

egor23

Цитата:

сравнительные изыскания можете только Вы, я надеюсь у Вас 2ГБ опер.памяти?

Вы абсолютно правы. Не могу сказать что немедленно, но в ближайший день попробую. Да у меня 2гб ОЗУ.

Цитата:

-- не сыграет. Речь идет не об одном диске, а как минимум о двух накопителях (кеш Сатмап и кэш САС)

от этого время доступа меньше не станет ни на первом\ ни на втором накопителе.

egor23
Ладно надо просто посидеть с часами. Вы настаиваете, что бы кэш не превышал оперативки? Значит надо сделать 4 теста.

1) 6 кэше до 2 гб в 6 копий сатмап, затем в 1 копию
2) 6 кэшей до 2 гб в сас и обратно
3)6 кэшей сверх 2 гб в 6 копий сатмап, затем в 1 копию
4)6 кэшей сверх 2 гб в сас и обратно

Надо подготовить рабочий материал. Настаиваете на 6 или ограничимся 3-мя для меньшей возьни?

netrebos

Цитата:

Вы абсолютно правы. Не могу сказать что немедленно, но в ближайший день попробую. Да у меня 2гб ОЗУ.

1. тогда размер одиночных кэшей возьмите 1ГБ (~35000тайлов) реальный размер кэшей будет меньше, т.к. средний размер тайлов существенно меньше, чем 25кБ, обычно.
2. незабывайте, на этапе 1, одиночные кэши загонять в опер.память перед экспортом, или подымите RAM-drive для простоты операции загона.
3. время - чистое время экспорта, "время затраченное на нажатие кнопок" не счичтаем.
4. также можете провести дополнительное изыскание по варианту:
6 кэшей в 1 копию (без этапа 1 - 6 кэшей в 6 копий) результаты можно будет напрямую сопоставить с Сатмап - САС - Сатмап.

PS: незабывайте, что данные могут оседать в памяти
изыскания по каждому вопросу лучше делать после перезагрузки машины, так точнее будет.

Вопрос 1
1. 6 кэшей в 6 копий
2. 6 кэшей в 1 копию

Вопрос 2
Сатмап - САС - Сатмап

Вопрос 3
6 кэшей в 1 копию (без этапа 1 - 6 кэшей в 6 копий)

Добавлено:

Цитата:

Ладно надо просто посидеть с часами. Вы настаиваете, что бы кэш не превышал оперативки?

а доступной опреативной памяти
я уже выше предлоджи для опытов взять размер кэша 1ГБ

Добавлено:
netrebos

Цитата:

Надо подготовить рабочий материал. Настаиваете на 6 или ограничимся 3-мя для меньшей возьни?

ну цифру 6 Вы взяли, здесь можно обойтись и 3-мя это кстати ближе к практике по размеру области выкачивемой.

Добавлено:

Цитата:

Вопрос 1
1. 6 кэшей в 6 копий
2. 6 кэшей в 1 копию

не забываем этап 2 делается с двумя дисками

Добавлено:

Цитата:

Вопрос 3
6 кэшей в 1 копию (без этапа 1 - 6 кэшей в 6 копий)

и вопрос 3 тоже с двумя дисками.

egor23
Понял. Сейчас подготовлю материал, а утром развлекусь.

relictus
если не подключен ни один кэш, получается фигня всякая:

нет разметки по тайлам

При нажатии выделения
List index out of bounds (0)

при закрытии окна выделения - меняется цвет области в центре окна

egor23
Забавный эксперимент получился и немножко не про то, о чем договаривались. Его надо переделывать из-за выбора материала. Тем не менее то, что получилось, тоже интересно. Общие условия: кэш из 94 469 тайлов, что составлет 1,07 гб спутник 1-19 слой, копированный на 3 кэша. Т.е 3 кэша по абсолютно идентичной территории. Результат:

Цитата:

Вопрос 1

1) 3 кэша в 3 копии -- время перегонки 6, 11, 11 минут.
2) 3 кэша в 1 копию -- невозможная операция, т.к. SQLite error 5


Цитата:

Вопрос 2 Сатмап - САС - Сатмап

3) 3 кэша в 1 копию. Абсолютно идентичные кэши вызвали буквально лобовое столкновение тайлов. Чуть ли не каждые 30 с стала появляться Ошибка (Не могу создать директорию ....../"!), которую пришлось убирать вручную. Тем не менее кэш в сас оказался сформирован. 1 кэш перегнался за 4 минуты, а 2 за 18 минут. Такая разница возникла из-за ошибки. Но результат показателен Сатмап, как и в случае с закачкой, так и при экспорте не в состоянии работать с одним кэшам в мультирежиме, если происходит наложение по площади и слоям. Для сас это тоже проблематичо, тем не менее видимых повреждений кэша не происходит. Но это было слишком категоричное условие -- чаще всего в жизни некоторые сектора кэша, но не весь, пересекаются. Поэтому вечером переделаю с тремя кэшами равными по объему, но только с частично совпадающими тайлами.

netrebos

Цитата:

1) 3 кэша в 3 копии -- время перегонки 6, 11, 11 минут.

что-то долго, в память загоняли кэш перед экспортом?


Цитата:

2) 3 кэша в 1 копию -- невозможная операция, т.к. SQLite error 5

3 кэша подключены к одной копии SatMap и делается экспорт в новый кэш
все уровни \ все слои \ все подключенные
условие - не заменять
?


Цитата:

так и при экспорте не в состоянии работать с одним кэшам в мультирежиме

что-то не доганяю, что Вы делаете?

egor23

Цитата:

что-то долго, в память загоняли кэш перед экспортом?

Нет в память загонять не стал. Но на это тоже требуется время -- на просмотр выкаченных слоев. Кстати в реальной жизни я не заморачиваюсь этим -- я обычно ставлю закачку на 1,5 -- 2 гб в каждую отдельную копию SatMap, размещенную в отдельной папке. Таких копий набирается от 5 до 30 и так проще не запутаться в кэшах. По завершении закачку включаю экспорт в САС и вся эта каша валится в ее кэш. Поскольку процесс автоматизирован, мне не особенно важен выигрыш во времени от памяти -- за ночь паралельный паток легко переваривается. А заодно не надо делать и лишних операций.


Цитата:

3 кэша подключены к одной копии SatMap и делается экспорт в новый кэш
все уровни \ все слои \ все подключенные
условие - не заменять
?

3 кэша к трем копиям SatMap и делается экспорт в новый кэш. Остальное так.


Цитата:

что-то не доганяю, что Вы делаете?

Нельзя один и тот же слой в одно и то же время гнать из разных кешей в один.

Я же говорю, что эксперимент был не совсем чистым. И его надо повторить, но мне требуется время, что бы подготовить кэши.


Добавлено:
relictus

Присоединяюсь к клубу самоделок. Здесь Гавана+ пляжи Санта Марии спутник 1-19, гибрид 1-18, карта 1-17 и ландшафт -- 1-16 Вес 1,4 гб.

http://gettyfile.ru/278949/

netrebos

Цитата:

3 кэша к трем копиям SatMap и делается экспорт в новый кэш. Остальное так.

тогда это неправильно

Цитата:

Нет в память загонять не стал. Но на это тоже требуется время

хм, какая средняя линейная скорость диска?

Цитата:

Но на это тоже требуется время -- на просмотр выкаченных слоев.

непонял выражение

Цитата:

в реальной жизни я не заморачиваюсь этим

это в ваших реалиях, у всех разные реалии...

Цитата:

Я же говорю, что эксперимент был не совсем чистым. И его надо повторить, но мне требуется время, что бы подготовить кэши.

хотелось бы чистый экперимент

egor23


Цитата:

хотелось бы чистый экперимент

Согласен


Цитата:

хм, какая средняя линейная скорость диска?

1) Toshiba 2.5", объём 250 Гб, постоянная скорость передачи данных 480 Мб/с
2) Допотопный ZIV2 40 гб 16-18 Мб/с


Цитата:

непонял выражение

Давайте договоримся о том, что мы понимаем загнать кэш в память. Я это понимаю как загнать во внутренний кэш SATmap.

egor23

Цитата:

можно сразу 6 кэшей в 1 копию, если кэши маленькии...

И все таки я не понял, как вам удалось "6 кэшей в 1 копию, если кэши маленькии..."
Если взять ваше условие

Цитата:

3 кэша подключены к одной копии SatMap и делается экспорт в новый кэш

Не делается. Делается только экспорт верхнего подключенного кэша. Что бы экспортировать остальные два надо в настройках ручками перетащить на первое место следующий в очереди кеш и заново его экспортировать и т.д. Это не параллельный экспорт всех 3 кэшей, а последовательный и ничем по сути не отличается от варианта:


Цитата:

3 кэша подключены к трем копиям SatMap и делается экспорт в новый кэш.

тогда это неправильно

Результат конечно разный, но операция одна и та же -- экспорт только одного кэша за одну операцию. Или я не нашел и пропустил обсуждение некой секретной кнопки дающей возможность экспортировать все подключенные кеши за одну операцию.

Кстати, на процессоре P4 3.00 GHz 2,9ГГц, 504 МБ ОЗУ 1 кэш SatMap в 1 кэш SatMap (94,018 т\ 1,33 гб) показал 1 мин без каких либо дополнительных операций с оперативной памятью. Но только после того, как я выбросил из цепочки древний ZIV и поставил две
Toshiba 2.5", 250 Гб и 500 Гб , оба с постоянной скоростью передачи данных 480 Мб/с. Так что производительность диска действительно имеет значение. Такая производительность не подталкивает к дополнительным мудрениям с настройками.

Вы правы в том, что линейная скорость и оперативка может сыграть злую шутку с экспортом в САС
Результаты САС-САТМАП-САС примерно такие
Импорт из SAS -- 82,483 тыс тайлов\ 1,1 гб -- 6 мин.
Экспорт из Satmap в SAS 1 кэша 96,316 тыс т\ 1,3 гб-- 45 минут (!!!)
Экспорт из Satmap в SAS параллельно 3 кэша 288 тыс т\ 3,9 гб-- 45 минут (!!!)

Так что, мой сравнительный расчет действительно не в мою пользу.


Цитата:

сравнительный расчет производительности при условии одного объема и одинаковых затрат времени при переброски кэшей между кэшами Сатмап и Сатмап-Сас-Сатмап. (А по времени каждой отдельной операции эти процессы приблизительно равны)

6 копий в 6 копий (параллельно, 1 единица времени) -- 6 копий в 1 кэш (последовательно, 6 единиц времени) -- 1 кэш в 1 кэш копию (1 единица времени) = 8 единиц.

6 копий в кэш САС (паралельно, 1 единица времени) -- возможен вариант полигонного вырезания кэша внутри САС из всего массива (1 единица времени) -- импорт из кэша САС в сатмап (1 единица времени) = даже с прибамбасами 3 единицы времени. 3<8.

Но эта "гонка на кэшах" отнюдь не опровергает мою хотелку -- подключения иных кэшей напрямую под закачку из SatMap. Наоборот, большой разрыв показателей между импортом и экспортом из\в САС даже еще лучше ее аргументирует -- трудящийся хочет пользоваться большим количеством функций при меньших трудозатратах. А дальше каждый выбирает свой порядок работы в зависимости от железа и поставленной задачи. Возможные варианты не плохо бы собрать в FAQ. Вариантов (особенно с мульти) может быть много. Не думаю, что стоит повторять опыты на машинке с 2 гб -- скорость возрастет, но соотношение скорее всего останется.

P.S. Опишите мне пожалуйста "на пальцах" вашу операцию с оперативкой -- не понял я этого

netrebos

Цитата:

Toshiba 2.5", 250 Гб и 500 Гб , оба с постоянной скоростью передачи данных 480 Мб/с.

это возможности интерфейса (USB2.0, ~60МБ\с)
скорость диска ~30МБ\с
Сравнительное тестирование 2,5" внешних накопителей объемом 250 и 300 ГБ
http://www.fcenter.ru/online.shtml?articles/hardware/hdd/23546

Цитата:

Допотопный ZIV2 40 гб 16-18 Мб/с

но теже ~30МБ\с может выдать
Обзор мобильных накопителей ZIV 2 и ZIV Pro
http://www.fcenter.ru/online.shtml?articles/hardware/hdd/22808

Цитата:

Давайте договоримся о том, что мы понимаем загнать кэш в память. Я это понимаю как загнать во внутренний кэш SATmap.

неверно понимаете

Цитата:

Не делается. Делается только экспорт верхнего подключенного кэша.

вот скрин


Цитата:

показал 1 мин без каких либо дополнительных операций с оперативной памятью

или кэш уже упорядочен, или всё таки кэш в памяти был, частично.

Цитата:

Вы правы в том, что линейная скорость и оперативка может сыграть злую шутку с экспортом в САС

злую шутку играет время доступа
обратите внимание на тесты дисков, которые выше

Цитата:

Опишите мне пожалуйста "на пальцах" вашу операцию с оперативкой -- не понял я этого

чтобы файл с кэшем оказался в памяти, нужно сделать операцию чтения этого файла.
под рукой был QuickSFV (рассчитывает контрольные суммы файлов), когда-то делал тесты (в 7-zip) и поним рассчёт crc32 идёт со скоростью порядка 1ГБ\с, т.к. скорость диска существенно ниже, то использую данную манипуляцию.
или подымаете RAM-drive, и туда копируете, но это не интересно, если памяти не чоень много, хотя о RAM-drive подумываю при выкачке, особенно, гибрида\карта, руки не доходят до тестов.

egor23

Цитата:

вот скрин

Ну что тут скажешь -- уели!


Цитата:

под рукой был QuickSFV

Надо бы попробовать при экспорте в САС.

Спасибо за беседу -- не знаю как сторонним наблюдателям, а мне кое в чем удалось разобраться.

netrebos

Цитата:

под рукой был QuickSFV

это всего лишь пример, того что было под рукой.

Добавлено:
netrebos
вспомнил тут "мелочи" всякие:
WinXP SP2, 2.5ГБ, файл-подкачки отключен.
с помощью XP Tweaker ( http://xptweak.sourceforge.net/ ) выставлена галка
Система-Система
Оптимизировать работу системного кэша*

Цитата:

Используйте данную опцию, если у вас 512 МБ памяти или больше. Данная опция увеличит производительность Windows XP. Рекомендуется использовать данную опция, если компьютер используется в качестве сервера или работа ведется в программах, для которых требуется кэш большого размера.

HKLM\SYSTEM\CurrentControlSet\Control\Session Manager\Memory Management

DWORD LargeSystemCache, значение 1 - использовать, 0 - не использовать

Примечание: в Windows Server 2003 по умолчанию опция включена.

LargeSystemCache
http://technet.microsoft.com/en-us/library/cc784562.aspx

у кого нибудь есть возможность проверить программу при работе за прокси сервером с авторизацией?
заранее благодарен

egor23
Спасибо, надо попробовать

tolyn77
У меня на конторском компе все версии программы, с самого первого дня, с прокси работали без вопросов. Может особенности зарыты внутри вашего сервера и вам стоит поговорить с собственными настройщиками? Вы кажется как-то говорили, что программа работатет без подключения к прокси -- зачем вам тогда заморачиваться?

netrebos
у вас прокси сервер с авторизацией? так я и есть так сказать настройщик, поэтому и есть возможность проверки помимо прокси, потому что работает через над, а мне нужен учет и контроль

tolyn77
Да с авторизацией. И с довольно сложной системой безопасности. Но поскольку я не настройщик, выспрашивать у наших не буду -- они сейчас как подорванные снижают трафик в целях экономии. Начали, правда, банально -- отключили Однокласников и Мой Круг, в то время, как для половины конторы это была не развлекуха, а база данных по контактам. По момему трафику мне тоже несколько картографических ресурсов порезали, так что я сейчас сильно не выпендриваюсь -- 500 мб забрал и исчез.