значит ситуация - есть например 100 машин, и каждая машина каждой машине должна передавать файлы (маленькие, много)
счас это реализовано влоб. Как только есть маленький файл (пара мегабайт размер), тут же его бросаем по http методом post
врядли это можно назвать быстрым вариантом.
идеи которые есть
1)файлы мелкие раскладываем по папка - для сервера2, для_сервера_3....
каждые ДельтаВремя секунд, стартует кроновский процес, который пробежиться по папкам, и закинет через фтп скажем на нужную машину мелкие файлы, после чего отметит в базе данных, что эти файлы доступны на машине 5 например
2)первая часть как в варианте1, но только каждый сервер бегает по другим и сам себе скачивает (ну мол если на один упала нагрузка - у него куча файлов, то не он будет заниматься раскидыванием их по другим, а другие сами заберут.)
3)ещо не знаю как, но по статьям понял что можно - кстате кто знает подскажите как, нагуглил лишь упоминание что можно.
мы в netcat можем сделать -
отправитель > tar -cv ./some_dir/* | nc
получатель nc | tar -xf - > ./some_dir_local
нашол, что через ssh можно аналогичное сделать, только как удалёной машине сообщить чтобы она порт открыла...
4)монтировать удалённые машины к себе. тоесть каждая из ста машин монтирует себе 99 остальных
-насколько это хорошо/плохо?
5)может существует некий софт, дабы у этих 100 машин было аля единое дерево файловой системы, и я просто копировал как на локал, а уже этот софт сам добиваеться быстрейшей доставки в место назначения???
счас это реализовано влоб. Как только есть маленький файл (пара мегабайт размер), тут же его бросаем по http методом post
врядли это можно назвать быстрым вариантом.
идеи которые есть
1)файлы мелкие раскладываем по папка - для сервера2, для_сервера_3....
каждые ДельтаВремя секунд, стартует кроновский процес, который пробежиться по папкам, и закинет через фтп скажем на нужную машину мелкие файлы, после чего отметит в базе данных, что эти файлы доступны на машине 5 например
2)первая часть как в варианте1, но только каждый сервер бегает по другим и сам себе скачивает (ну мол если на один упала нагрузка - у него куча файлов, то не он будет заниматься раскидыванием их по другим, а другие сами заберут.)
3)ещо не знаю как, но по статьям понял что можно - кстате кто знает подскажите как, нагуглил лишь упоминание что можно.
мы в netcat можем сделать -
отправитель > tar -cv ./some_dir/* | nc
получатель nc | tar -xf - > ./some_dir_local
нашол, что через ssh можно аналогичное сделать, только как удалёной машине сообщить чтобы она порт открыла...
4)монтировать удалённые машины к себе. тоесть каждая из ста машин монтирует себе 99 остальных
-насколько это хорошо/плохо?
5)может существует некий софт, дабы у этих 100 машин было аля единое дерево файловой системы, и я просто копировал как на локал, а уже этот софт сам добиваеться быстрейшей доставки в место назначения???