Чтение файлов в хрон. порядке + параллельное выполнение

Программирование на sh, быть может немного про альтернативные языки
Правила форума
Убедительная просьба юзать теги [code] при оформлении листингов.
Сообщения не оформленные должным образом имеют все шансы быть незамеченными.
Аватара пользователя
Volodymyr
лейтенант
Сообщения: 614
Зарегистрирован: 2008-06-17 16:04:56
Откуда: Ukraine, Lviv
Контактная информация:

Чтение файлов в хрон. порядке + параллельное выполнение

Непрочитанное сообщение Volodymyr » 2013-12-18 13:42:34

Есть скрипт. Он запускает из папки другие скрипты (инструкции на копирование картинок с одного сервера на другой).
Читает от эти инструкции так-как они на диск попадают, то-есть не в порядке создания файлов.
А надо что б в хронологическом, типа ls -t.
Скрипт запускается из крона каждую минуту. Что б не было дублей делаю банальный флаг.
Но получается что при широком канале копирование мелких данных (картинки) все-рано идет медленно. И есть резон пускать это в несколько потоков.
Как запустить процесс параллельно описано тут.
Думаю флагом вешать имя инструкции что б ее повторно не отработал другой экземпляр скрипта.

Код: Выделить всё

#!/bin/sh

flagfile="/root/processing_flag"
if [ -f ${flagfile} ];
    then exit
fi

echo ${flagfile} > ${flagfile}

do_dir() {
    cd $1
    for i in $1/*;
        do
        if [ -f $i ]
            then $i && rm $i
        fi
    done
}

do_dir "/store/shells"
rm ${flagfile}

Хостинговая компания Host-Food.ru
Хостинг HostFood.ru
 

Услуги хостинговой компании Host-Food.ru

Хостинг HostFood.ru

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

kpp
лейтенант
Сообщения: 613
Зарегистрирован: 2009-08-05 16:10:46
Откуда: Украина Днепропетровск-Киев
Контактная информация:

Re: Чтение файлов в хрон. порядке + параллельное выполнение

Непрочитанное сообщение kpp » 2013-12-19 23:07:10

Так а вопрос в чем?
На вскидку не совсем ясна картина происходящего.
Может сначала тарить файлы, если их много и они маленькие?
Нет, ребята, я не гордый. Не загадывая вдаль, так скажу: зачем мне орден? Я согласен на медаль.

Аватара пользователя
Volodymyr
лейтенант
Сообщения: 614
Зарегистрирован: 2008-06-17 16:04:56
Откуда: Ukraine, Lviv
Контактная информация:

Re: Чтение файлов в хрон. порядке + параллельное выполнение

Непрочитанное сообщение Volodymyr » 2013-12-20 1:07:39

Фалы в папках по 20-30 шт. 5-20Мб. Паковать пачку не знаю есть ли смысл, может и есть Но это тогда не вопрос. Паковать 2 и более точно нету, так как после прихода на другой сервак почка идет на конвертацию.