Какие технологии применяются для автоматической каталогизации веб-ресурсов?

Для автоматической каталогизации веб-ресурсов применяются, например, такие технологии:

• Метаданные. astrcolcult.ru Это машиночитаемая информация о ресурсах в интернете. astrcolcult.ru Метаданные отличаются от библиотечных каталогов тем, что для их создания не нужно привлекать профессиональных каталогизаторов. astrcolcult.ru
• Поисковые машины. astrcolcult.ru Они автоматически индексируют содержание веб-сайтов и обеспечивают поиск по любому слову из текста сайта. astrcolcult.ru
• Интернет-справочники. astrcolcult.ru Например, Yahoo, LookSmart, About и другие, которые предполагают вовлечение человеческого интеллекта в процессы отбора и аннотирования веб-сайтов. astrcolcult.ru
• Программы для управления коллекциями веб-ссылок. compress.ru К ним относятся, например, Link Commander, URL-Album, которые позволяют импортировать ссылки из браузера и каталогизировать их, размещая в требуемую структуру папок и подпапок. compress.ru
• Программы для мониторинга веб-сайтов. compress.ru Такие как WebSite-Watcher, которые отслеживают обновления контента на сайтах, позволяют проверять как все ссылки одновременно, так и отдельные папки или ссылки. compress.ru
• Программы для поиска и удаления мёртвых ссылок и дубликатов. compress.ru К ним относится AM-DeadLink, который работает с закладками популярных браузеров. compress.ru