помогите пожалуйста разобраться с такой проблемой.

имееется windows server 2003, iis, сайт(доступен только пользователям внутрикорпоративной сети).

на сайте действует доменная авторизация. то есть на заглавной странице пользователю предлагается ввести логин и пароль. пользователи авторизуются и заходят без проблем.

я установил поисковую систему для сайта (sphider). но индексацию провести не получается. происходит следующее. паук заходит на заглавную страницу и не проходит авторизацию. об этом гооврит то, что он видит сообщение об ошибке и только его индексирует и заносит в базу. вот это сообщение с кодом ошибки:
You are not authorized to view this page
You do not have permission to view this directory or page using the credentials that you supplied because your Web browser is sending a WWW-Authenticate header field that the Web server is not configured to accept.

Please try the following:

Contact the Web site administrator if you believe you should be able to view this directory or page.
Click the Refresh button to try again with different credentials.

HTTP Error 401.2 - Unauthorized: Access is denied due to server configuration. Internet Information Services (IIS)

Technical Information (for support personnel)

Go to Microsoft Product Support Services and perform a title search for the words HTTP and 401 .
Open IIS Help , which is accessible in IIS Manager (inetmgr),
and search for topics titled About Security , Authentication , and About Custom Error Messages .
на уровне ntfs выставил полный доступ на все файлы сайта. поисковую систему устанавливал из под учетной записи администратора.

пробовал так же другой поисковый движок - yandex.server. у него тоже не получается получить доступ к сайту - в логах сообщение с этим же номеро ошибки.

буду признателен за любые советы и пинки в нужном направлении