Проблема решена, все(почти как всегда) было просто.
Суть была в чем?: по умолчанию компьютеры под ОС Windows(не знаю как у ОС вышедших до 2000) не вносят динамические записи в ДНС, если домен имеет только один псевдоним(слово после точки). В моем случаи домен .ins, следовательно компьютеры, включая сервера(КД) и родительского и дочернего домена не обновляли записи о себе в ДНС. Следовательно КД(КД1) родительского домена не мог узнать запись типа А для КД(КД2) своего дочернего домена, и когда КД2 инициировал репликацию, КД1 не мог узнать что он КД для дочернего домена, т.к. запись типа А отсутствовала. При этом он обрывал связь. Когда КД1 пытался зделать репликацию, он заходил в ДНС и не находил запись о том, какой компьютер явл. контроллером для дочернего домена. Все это оба КД запечетляли в логах.
Решение:
для начала я разобрался зачем конкретно ДНС в Active Directory, точтее что конкретно AD в нем ищет? Об этом маленькая аннотация от Microsoft
http://support.microsoft.com/kb/321046/ru С помощью DNSLint(см. ссылку выше) понял что не хватает записей о КД2.
Потом выяснил, что для того, чтобы все компьютеры домена с одним псевдонимом(.ins) динамически прописывались в ДНС, нужно указать на КД в Групповых политиках это в ручную. А именно : на КД я сделал следующее - Пуск - Выполнить - mmc - консоль - добавить или удалить остнастку - добавить - Редактор обьектов групповой политики - добавить - обзор - указал Default Domain Policy - ок - готово. На добавленной остнастке Конфигурация компьютера - Административные шаблоны - Network - DNS Client - параметр "Update Top Level Domain Zones" включить. Сохранить параметры консоли. После этого компы при вкл. стали себя прописывать в ДНС.
Незнаю, нужно ли это было, но на обоих КД прописал ту же опцию, только для "локальный компьютер", для этого Пуск - выполнить - gpedit.msc - OK, дальше тоже самое, и перезагрузил их. После этого все заработало.
Позже выложу полную иерархию папок и записей в них из ДНС(может кому-то пригодится для сравнения).