Программа для обработки больших файлов логов под Windows. Программа для логирования файл сервера на windows 2018

15 бесплатных утилит для Windows-администратора

Содержание статьи

Встроенные средства администрирования ОС не всегда удобны или зачастую не обладают достаточным функционалом, поэтому арсенал сисадмина со временем пополняется полезными утилитами, надстройками и скриптами, которые существенно упрощают повседневные задачи. Вдвойне отрадно, когда найденное решение не только помогает справиться с определенной проблемой, но и распространяется на безвозмездной основе.

Advanced IP Scanner

Сисадмин должен знать все о системах, работающих в сети, и быстро получать к ним доступ. С данной задачей помогает справиться Advanced IP Scanner, предназначенный для быстрого многопоточного сканирования локальной сети. Предоставляется AIPS совершенно бесплатно, без каких-либо оговорок. Программа очень проста и понятна в работе. После запуска AIPS проверяет IP-адреса сетевых интерфейсов хоста, на котором она установлена, и автоматически прописывает диапазон IP в параметры сканирования; если IP менять не нужно, то остается запустить операцию сканирования. В результате получим список всех активных сетевых устройств. Для каждого будет собрана вся возможная информация: MAC-адрес, производитель сетевой карты, сетевое имя, зарегистрированный в системе пользователь, доступные общие ресурсы и сервисы (общие папки, HTTP, HTTPS и FTP). Практически все опции сканирования можно настроить, например изменить скорость или исключить проверку определенного типа сетевых ресурсов (общие папки, HTTP, HTTPS и FTP). К любому ресурсу можно подключиться одним кликом, достаточно лишь отметить его в списке. AIPS интегрирована с программой Radmin и в процессе сканирования находит все машины с работающим Radmin Server. Результат сканирования можно экспортировать в файл (XML, HTML или CSV) или сохранить в «Избранном» (поддерживается drag-and-drop). В дальнейшем, при необходимости обращения к нужному клиентскому компу, сканировать сеть повторно не требуется. Если удаленное устройство поддерживает функцию Wake-on-LAN, его можно включить и выключить, выбрав соответствующий пункт меню.

Сканер Advanced IP Scanner позволяет получить список устройств, работающих в сети

NetWrix Inactive Users Tracker

Компания NetWrix, специализирующаяся на разработке решений для аудита изменений IT-инфраструктуры, предлагает десять бесплатных и очень полезных утилит, призванных заметно упростить администрирование ОС Windows. Например, NetWrix Inactive Users Trackerпозволяет решить одну из насущных проблем безопасности — наличие неактивных учетных записей, которыми некоторое время никто не пользуется (уволенные сотрудники, командировка, перемещение по должности, временная учетка и тому подобное). Кадровики редко предупреждают IT-отдел об изменениях, и таким аккаунтом может запросто воспользоваться злоумышленник. Утилита периодически проверяет все учетные записи в доменах и сообщает о тех, доступ к которым не осуществлялся определенное время. В версии Free в качестве действий возможно указать лишь предупреждение по e-mail (достаточно задать параметры SMTP), все остальные операции админ производит вручную, хотя и предупреждения в нашем случае достаточно. В платной версии доступны: автоматическая установка случайного пароля, деактивация учетной записи и перемещение в другой OU, фильтр OU для поиска учетных записей. Отдельно предлагается PowerShell-командлет get-NCInactiveUsers, позволяющий получать список неактивных пользователей (проверяется атрибут «lastLogon») и упростить написание соответствующих скриптов.

Чтобы обнаружить неактивные учетные записи, применяем NetWrix Inactive Users Tracker

WinAudit Freeware

WinAudit — бесплатная утилита от компании Parmavex Services, позволяющая произвести полный аудит системы. Не требует установки, может выполняться в режиме командной строки. Программа обладает простым и локализованным интерфейсом, поддерживается запуск на всех версиях Windows, в том числе 64-битных. Сбор данных занимает примерно минуту (продолжительность процесса может варьироваться в зависимости от операционной системы и конфигурации компьютера), результирующий отчет состоит из 30 категорий (поддается настройке). В результате админ может получить данные о системе, установленном ПО и обновлениях с указанием версии и вендора, подключенных устройствах; список открытых сетевых портов (номер, сервис, программа и прочее) и открытых папок; активные сессии; установки безопасности; права доступа к периферии; информацию об учетных записях и группах; список задач/сервисов; программы в автозапуске; записи журналов и системную статистику (uptime, использование памяти, дисков). Также можно задать поиск определенных файлов по имени. Например, чтобы найти музыку и видео на жестких дисках пользователя, достаточно задать соответствующие расширения (avi, mp3 и тому подобные). Результат можно открыть как веб-страницу, экспортировать в файл многих популярных форматов (txt, XML, CSV, PDF) или в базу данных (при помощи мастера, поддерживаются все популярные: MS SQL, MS Access, MySQL, Oracle и другие), отправить по e-mail и распечатать.

При помощи WinAudit администратор узнает все о железе, ПО и системных настройках

Учет компьютеров с помощью CheckCfg

Проблема учета оргтехники и используемого ПО остро стоит в любой организации. Решить ее можно разными способами, один из вариантов предлагает разработчик Андрей ТатуковCheckCfg. Это решение периодически собирает данные о железе, ОС и программах, включая тип CPU, объем ОЗУ, место на дисках, состояние S.M.A.R.T. и прочее. При этом CheckCfg легко справляется с несколькими сотнями компьютеров. Результат выводится в удобной древовидной форме, к локальным каталогам легко получить доступ. Каждому ПК может присваиваться инвентаризационный номер, при необходимости легко сгенерировать отчет в RTF-формате.

CheckCfg представляет собой целый комплекс программ. За непосредственный сбор данных о компьютере отвечает CheckCfg, которая запускается при старте ОС и записывает результат в файл. Управление и архивация информации производится при помощи программы учета Sklad, которая обрабатывает файлы, созданные CheckCfg, и сохраняет в свою базу данных, после чего можно формировать отчеты. При помощи программы Sklad_w можно в удобной форме просматривать текущие конфигурации компьютеров и основные данные по оргтехнике (по IP-адресам, CPU, Memory, ПО). Для анализа изменений в конфигурации ПК и оповещения об этом администратора используется еще одна утилита — Doberman. Возможно, настройка покажется не совсем тривиальной, так как предстоит вручную создать нужные конфигурационные файлы, но детальное описание на сайте и имеющиеся шаблоны позволяют без проблем со всем разобраться.

MailArchiva Open Source Edition

Некоторые почтовые серверы, вроде MS Exchange, имеют функции архивирования почты, позволяющие при необходимости найти старые сообщения, в том числе и чтобы выявить утечку конфиденциальной информации при расследовании инцидентов. В остальных случаях приходится обеспечивать данные функции самостоятельно. Вариантом решения является разработка компании MailArchiva, совместимая с большинством современных почтовых серверов (Lotus Domino, MS Exchange, MDaemon, Postfix, Zimbra, Sendmail, Scalix, Google Apps). Поддерживается архивирование по протоколам SMTP, IMAP/POP3, WebDAV и через Мilter (программа имеет встроенный SMTP- и Milter-сервер, IMAP/POP-клиент). Чтобы не собирать всю почту, можно создавать любые правила архивации. Реализовано три уровня доступа к сохраненным данным — пользователь (только своя почта), администратор (настройки и своя почта) и аудитор (вся почта, можно ограничить правилами). В Open Source версии MailArchivaтакже реализованы функции интуитивного поиска, в том числе во вложениях (Word, PowerPoint, Excel, OpenOffice, PDF, RTF, ZIP, tar, gz). Работает MailArchiva на Windows, Linux, FreeBSD и Mac OS X.

Performance Analysis of Logs

В случае проблем с производительностью системы обнаружить узкое место при помощи штатного Windows Performance Monitor, не имея опыта, довольно сложно. Для того чтобы разобраться, какие метрики нужно снимать и как правильно интерпретировать результат, потребуется тщательно прошерстить документацию. Утилита PAL (Performance Analysis of Logs, pal.codeplex.com) заметно упрощает поиск «бутылочного горлышка». После запуска она просматривает журналы и анализирует их при помощи встроенных шаблонов. В настоящее время имеются настройки для большинства популярных продуктов MS — IIS, MOSS, SQL Server, BizTalk, Exchange, Active Directory и других. После запуска администратор в мастере PAL Wizard активирует нужные счетчики, просто выбрав шаблон из списка предложенных, указывает текущие настройки сервера (количество CPU и прочие), интервал анализа и каталог для сохранения результата. Через некоторое время будет выдан подробный отчет в HTML и XML, содержащий описание, имя счетчика и показатели (Min, Avg, Max и Hourly Trend). Отчет затем можно легко скопировать в любой документ. Но разбираться далее в собранных параметрах придется все равно самостоятельно. Хотя если PAL показывает, что характеристика находится в зеленом секторе, волноваться не стоит. Сам запрос сохраняется в скрипте PowerShell PAL.ps1, который можно сохранить для дальнейшего использования. Шаблоны представляют собой XML-файлы; взяв за пример любой из них, можно создать свой вариант. Для редактирования параметров в шаблоне предлагается встроенный редактор PAL Editor.

Отчеты, генерируемые PAL, позволяют получить информацию о производительности системы

Официально поддерживается Win7, но работает на всех ОС от MS, начиная с WinXP (32/64). Для установки понадобится PowerShell v2.0+, MS .NET Framework 3.5SP1 и MS Chart Controls for Microsoft .NET Framework 3.5.

Создаем точку доступа с Virtual Router

Ситуация, когда компьютер с Wi-Fi-картой необходимо превратить в точку доступа, сегодня отнюдь не редка. Например, нужно быстро развернуть WLAN или расширить зону покрытия Wi-Fi. Изначально работа беспроводной карты предусматривалась только в одном из двух режимов: точка — точка, когда клиенты подсоединяются друг к другу, или как точка доступа. В Win7/2k8 (кроме Win7 Starter Edition) появилась возможность виртуализировать сетевые соединения (технология Virtual Wi-Fi), позволяющая создавать несколько Wi-Fi-модулей со своими настройками при использовании одного физического Wi-Fi-адаптера. Таким образом компьютер может быть подключен к Wi-Fi и в то же время выступать в качестве точки доступа (SAPoint, Software Access Point). Соединение с таким виртуальным хот-спотом защищено при помощи WPA2. Превратить ПК под управлением Win7/2k8R2 в точку доступа можно при помощи консольной утилиты Netsh, через Центр управления сетями и общим доступом, либо воспользовавшись приложением Virtual Router, обладающим интуитивно понятным GUI и очень простыми настройками. После запуска Virtual Router нужно лишь указать SSD и пароль для подключения, а затем активировать точку доступа. При необходимости остановить работу хот-спота можно также нажатием одной кнопки. Дополнительно в окне отображаются текущие подключения к точке, для каждого можно задать свой значок и изменить некоторые параметры.

Используя Virtual Router, можно создать точку доступа из обычного ПК

INFO

Альтернативой Virtual Router является Сonnectify, Lite-версия которой хотя и ограничена в возможностях, но предоставляет все необходимое. Также можно посмотреть в сторонуmhotspot.

Управление RDC-подключениями — RDCMan

Для удаленного управления серверами и ПК, работающими под управлением Windows, предназначена оснастка Remote Desktop Connection. Если необходимо устанавливать много RDP-соединений с различными настройками, то работать с ней становится неудобно. Вместо методичного сохранения индивидуальных настроек для каждого удаленного компьютера можно использовать бесплатный инструмент Remote Desktop Connection Manager RDCMan, автоматизирующий этот процесс. После запуска следует указать настройки RDP-подключения, которые будут использоваться по умолчанию и наследоваться всеми соединениями. Здесь задаем общие учетные данные, шлюз, установки экрана, параметры безопасности и многое другое. Далее создаем нужное количество групп систем (например, по назначению, расположению, версии ОС), для каждой из них можно указать специфические настройки соединения. И последний шаг — заполнение групп системами. Для добавления сервера следует ввести лишь доменное имя, если любой параметр будет отличаться от настроек групп, его можно тут же переопределить. При необходимости системы легко перемещаются между группами простым перетаскиванием. Если систем много, проще создать текстовый файл, указав по одному имени в строке, после чего скормить заготовку утилите. Теперь, чтобы подключиться, достаточно выбрать нужный сервер и в контекстном меню щелкнуть пункт «Connect». Можно одновременно активировать несколько соединений и переключаться между ними.

Free Active Directory Tools

Управлять параметрами Active Directory при помощи штатных инструментов не всегда просто и удобно. В некоторых ситуациях поможет комплект утилит Free Active Directory Tools, разрабатываемый компанией ManageEngine. Комплект состоит из четырнадцати утилит, запускаемых из одной оболочки. Для удобства они разбиты на шесть групп: AD USer Report, SharePoint Report, User Management, Domain and DC Info, Diagnostic Tools и Session Management. Например, запуск Empty Password User Report позволит получить список учетных записей с пустыми паролями, GetDuplicates — получить аккаунты с одинаковыми атрибутами, CSVGenerator — сохранить в CSV-файл данные аккаунтов Active Directory. Другие возможности: отчет о времени последнего входа в систему, получение данных из AD на основе запроса, отчеты по установкам SharePoint, управление локальными учетными записями, просмотр и редактирование политик паролей домена, получение списка контроллеров домена и их ролей, управление их репликацией, мониторинг их работы (загрузка CPU, ОЗУ, жестких дисков, производительность и прочее), управление терминальными сессиями и многое другое.

Пакет Free Active Directory Tools содержит 14 полезных утилит для администрирования AD

Comodo Time Machine

Возможность восстановления системы при помощи компонента System Restore заложена в Windows, начиная с ХР, но его функциональность, мягко говоря, ограничена, поэтому для бэкапа часто используют сторонние приложения. Бесплатная утилита Comodo Time Machine (comodo.com) позволяет сделать откат ОС до любого предыдущего состояния. Причем она будет работать даже в том случае, когда ОС совсем перестала загружаться. В процессе CTM создает точки восстановления (вручную или по расписанию), в них заносятся все измененные системные файлы, реестр, а также файлы пользователя. Это большое преимущество по сравнению с System Restore, который сохраняет и восстанавливает только системные файлы и реестр. Максимальный размер имеет первая копия, остальные копии хранят лишь измененные файлы. С целью экономии свободного дискового пространства следует периодически создавать новую контрольную точку, удаляя старые архивы. Для возможности восстановления ОС информация о CTM прописывается в загрузочный сектор; чтобы вызвать соответствующее меню, достаточно нажать клавишу Home. Восстанавливать состояние ОС можно также по расписанию, например настроить поведение утилиты так, чтобы при каждой перезагрузке производился автоматический откат к «чистой» версии системы. Это будет полезно, например, в интернет-кафе, где пользователи после себя оставляют в системе много мусора. Кроме полного восстановления ОС, утилита предоставляет возможность получить из архива более раннюю версию любого файла. Реализован поиск, поэтому найти нужные данные можно без проблем.

INFO

В качестве альтернативы Comodo Time Machine можно предложить EaseUS Todo Backup Free.

Amanda

Задачу централизованного резервного копирования данных с рабочих станций и серверов, работающих под управлением Windows и *nix, можно решить при помощи AMANDAAdvanced Maryland Automatic Network Disk Archiver). Изначально программа была создана для работы с ленточными накопителями, но со временем разработчики предложили механизм под названием «виртуальные ленты» (vtapes), позволяющий сохранять собранные данные на жесткие диски и CD/DVD. AMANDA является удобной надстройкой к стандартным Unix-программам dump/restore, GNU tar и некоторым другим, поэтому ее основные характеристики следует рассматривать именно исходя из возможностей этих базовых утилит. Работает по клиент-серверной схеме. Для доступа к компьютерам используются все доступные методы аутентификации: Kerberos 4/5, OpenSSH, rsh, bsdtcp, bsdudp или пароль Samba. Для сбора данных с Windows-систем задействуется специальный агент или, как вариант, Samba. Сжатие и шифрование (GPG или amcrypt) информации можно выполнять как непосредственно на клиенте, так и на сервере. Все настройки параметров резервирования производятся исключительно на сервере, в поставке имеются готовые шаблоны, поэтому разобраться довольно просто.

WWW

На codeplex.com можно найти большое число весьма полезных утилит.

Инструкция по запуску Amanda Server на компе под управлением Windows.

Core Configurator 2.0 for Server Core

Первоначальная настройка сервера, работающего под управлением Win2k8/R2 в режиме Server Core, производится в консоли при помощи команд. Чтобы упростить задачу, разработчики ОС добавили в R2 интерактивный скрипт SCONFIG.cmd, позволяющий настроить основные параметры системы. На Сodeplex доступна альтернатива — замечательный конфигуратор Core Configurator. Для его работы понадобится наличие компонентов NetFx2-ServerCore, NetFx2-ServerCore и PowerShell. После запуска Start_CoreConfig.wsf получаем меню, в нем находим несколько пунктов, обеспечивающих доступ к основным настройкам, которыми пришлось бы управлять из командной строки: активация продукта, настройка разрешения экрана, часов и временной зоны, сетевого интерфейса, установка разрешений для удаленных RDP-подключений, управление локальными учетными записями, настройки Windows Firewall, включение/отключение WinRM, изменение имени компьютера, рабочей группы или домена, настройка роли, компонентов, Hyper-V и запуск DCPROMO. Если установить флажок «Load at Windows startup», то программа будет загружаться вместе с системой.

Exchange 2010 RBAC Manager

В Exchange 2010 появилась новая ролевая модель доступа, позволяющая тонко контролировать уровень привилегий для пользователей и администраторов в зависимости от выполняемых задач. Единственный минус — встроенные средства управления при помощи командлетов PowerShell не всем могут показаться удобными и понятными. Более развитыми возможностями обладает бесплатный инструмент Exchange 2010 RBAC Manager (RBAC Editor GUI, rbac.codeplex.com), предлагающий понятный графический интерфейс для настройки свойств всех ролей. Разобраться с его особенностями не составит труда даже новичку. Программа написана на C# и использует PowerShell. Для работы понадобится установленный Exchange 2010 Management Tools.

PowerGUI

Едва появившись, командная оболочка PowerShell завоевала симпатии виндовых админов, которые давно нуждались в инструменте, позволяющем автоматизировать многие задачи. С первыми версиями PowerShell разработчики из Microsoft не смогли предложить более-менее функциональный редактор, поэтому нишу заполнили несколько сторонних проектов. Самым лучшим из них на сегодня является PowerGUI, предоставляющий удобный графический интерфейс для эффективного создания и отладки PowerShell-скриптов. При этом авторы предлагают готовые комплекты сценариев для решения многих задач — их можно использовать в своих разработках.

Multi-Tabbed PuTTY

Свободно распространяемый клиент PuTTY хорошо известен админам, которым необходимо подключаться к удаленным хостам по протоколам SSH, Telnet или rlogin. Это очень удобная программа, позволяющая сохранить настройки сессий для быстрого подключения к выбранной системе. Единственное неудобство — при большом количестве подключений рабочий стол получается загружен множеством открытых окон. Эту проблему решает надстройка Multi-Tabbed PuTTY, реализующая систему вкладок.

INFO

Изначально PuTTY разрабатывался для Windows, однако позднее был портирован на Unix.

Заключение

Часто нет необходимости ломать голову над решением определенной проблемы: скорее всего, другие администраторы с ней уже столкнулись и предложили свой вариант — конкретную утилиту или скрипт, за который даже не нужно платить.

xakep.ru

Централизованный Event Log в Windows 2008 Server

Мне очень понравилась новая возможность по работе с журналами событий в Windows 2008/7/Vista, называемая Event Log forwarding (subscription — или подписка), которая основана на технологии WinRM. Данная функция позволяет вам получить все события со всех журналов с множества серверов без использования сторонних продуктов и настраивается все это в течении всего пары минут. Возможно, именно эта технология позволит вам отказаться от столь любимых многими системными администраторами Kiwi Syslog Viewer и Splunk.

Итак схема такая, у нас есть сервер Windows 2008, запущенный в качестве коллектора логов с одного или нескольких источников. В качестве подготовительной работы нужно выполнить следующие 3 шага:

На коллекторе логов в командной строке с правами администратора запустите следующую команду, которая запустит службу Windows Event Collector Service, измените тип ее запуска в автоматический (Automatically — Delayed Start) и включите канал ForwardedEvents, если он был отключен. wecutil qc На каждом из источников нужно активировать WinRM: winrm quickconfigПо умолчанию сервер-коллектор логов не может просто собирать информацию из журналов событий источников, вам придется добавить учетную запись компьютера-коллектора в локальные администраторы на все сервера-источники логов (в том случае, если сервер-источник работает под управлением 2008 R2, то достаточно добавить учетку коллектора в группу Event Log Readers)

Теперь мы должны создать подписки (Subscriptions) на сервер коллектор. Для чего зайдите на него, откройте консоль MMC Event Viewer, щелкните правой кнопкой мыши по Subscriptions и выберите Create Subscription:

Здесь вы можете выбрать несколько различных настроек.

При каждом добавлении коллектора, неплохо было бы проверить подключение:

Далее вы должны настроить фильтр, указав какие типы событий вы хотите получать (например, Errors и Warnings), также можно собирать события по конкретным номерам Event ID или по словам в описании события. Есть один нюанс: не выбирайте слишком много типов событий в одну подписку, анализировать этот журнал можно будет бесконечно :).

Расширенные настройки (Advanced settings) могут понадобиться, если вы хотите использовать нестандартный порт для WinRM, или захотите работать по протоколу HTTPS, или же оптимизировать сьор логов по медленным каналам WAN.

После нажатия OK подписка будет создана. Здесь вы можете щелкнуть правой кнопкой мыши по подписке и получить статус выполнения (Runtime Status), или перезапустить ее (Retry) если предыдущий запуск был неудачным. Обратите внимание, что даже если ваша подписка имеет зеленый значок, в процедуре сбора логов могут быть ошибки. Поэтому всегда проверяйте Runtime Status.

После начала работы подписки, вы сможете просматривать перенаправленные события. Имейте в виду, что если журналы очень большие, то их первичный сбор может занять некоторое время.

Конфигурацию можно посмотреть на вкладке Properties -> Subscriptions.

В том случае, если сбор логов не работает, сначала на сервере-источнике логов удостоверьтесь, что локальный файрвол настроен корректно и разрешает трафик WinRM.

Один раз, когда я добавил учетную запись сервера-коллектора в группу Event Log Readers, но не добавил ее локальные админы, была такая ошибка;

[WDS1.ad.local] – Error – Last retry time: 2010-09-28 16:46:22. Code (0×5): <f:ProviderFault provider=”Event Forwarding Plugin” path=”%systemroot%system32wevtfwd.dll” xmlns:f=”http://schemas.microsoft.com/wbem/wsman/1/wsmanfault”><t:ProviderError xmlns:t=”http://schemas.microsoft.com/wbem/wsman/1/windows/EventLog”>Windows Event Forward Plugin failed to read events.</t:ProviderError></f:ProviderFault> Next retry time: 2010-09-28 16:51:22.

Я попробовал добавить учетку сервера в группу локальных админов, в результате появилась такая ошибка:

[WDS1.ad.local] – Error – Last retry time: 2010-09-28 16:43:18. Code (0×7A): The data area passed to a system call is too small. Next retry time: 2010-09-28 16:48:18.

Оказывается, я выбрал в фильтре слишком много журналов для сбора. Поправив фильтры так, чтобы они собирали чуть меньше информации, я победил эту ошибку.

winitpro.ru

Сервер централизованного логирования на Linux CentOS при помощи Rsyslog и LogAnalyzer

LogAnalyzer – это web приложение, которое предназначено для просмотра логов системных событий, полученных от syslog, при помощи веб-браузера. Rsyslog – это приложение, представляющее собой расширение стандартного демона syslog, одной из особенностью которого является возможность сохранять события в БД MySQL. При помощи этих двух замечательных программ, возможно создать централизованный сервер, куда будут перенаправляться все события от различных устройств в сети, который бы реализовывал функции по удобному архивированию и поиску событий по всем событиям на всех сетевых устройствах в периметре сети. В данной статье я опишу процедуру установки на Linux CentOS службы rsyslog (сбор и агрегирование событий syslog) и LogAnalyzer (предоставляет дружественный интерфейс для просмотра и поиска по собранным логам).

Сначал необходимо установить ряд дополнительных пакетов RPM. Т.к. службы LogAnalyzer, Rsyslog и MySQL будут работать на одном сервере, нужно установить следующие пакеты:

# yum install httpd php mysql php-mysql mysql-server wget rsyslog rsyslog-mysql

Теперь нужно удостоверится, что MySQL и Apache настроены на автоматический запуск, после чего запустим их:

# chkconfig mysqld on # chkconfig httpd on # service mysqld start # service httpd start

По умолчанию, пользователь root БД MySQL, имеет пустой пароль, поэтому следует обезопасить конфигурацию, задав новый пароль:

# mysqladmin - u root password NewPassword

Далее импортируем схему базы данных rsyslog в MySQL. В зависимости от версии rsyslog, измените путь к файлу “createDB.sql”.

# mysql - u root - p < /usr/share/doc/rsyslog-mysql-3.22.1/createDB.sql

Хорошим тоном считается ограничение доступа приложений к базе данных, поэтому мы создадим специального пользователя для доступа к БД rsyslog. Для ещё большего затягивания настроек безопасности, можно создать отдельные учетные записи для rsyslog и LogAnalyzer. Необходимо предоставить доступ пользователя rsyslog к базе MySQL только с локального интерфейса localhost. Также мы должны выполнить MySQL команду “flush privileges” для немедленного применения всех прав.

# mysql - u root - p mysql mysql> GRANT ALL ON Syslog.* TO rsyslog@localhost IDENTIFIED BY 'Password'; mysql> flush privileges; mysql> exit

Теперь пора перейти к редактированию файла”/etc/rsyslog.conf”. Здесь мы должны настроить пересылку сообщений syslog в базу данных MySQL. Первая команда загружает драйвер MySQL. Во второй строке мы говорим, что необходимо принимать логи любого уровня важности от “authpriv”, куда включены большинство важных сообщений. Если необходимо сохранять все системные сообщения в MySQL, нужно указать *.*. Мой сервер БД MySQL слушает на адресе 127.0.0.1, Syslog – это имя базы MySQL, и, наконец, указываем имя и пароль MySQL пользователя rsyslog. Здесь можно настроить сбор и запись любых сообщений, каждую комбинацию нужно отделять «;» (например, mail.*;authpriv.* : ommysql…).

$ModLoad ommysql authpriv.* : ommysql:127.0.0.1,Syslog,rsyslog,Password

Сейчас нужно выключить существующую службу syslog и включить rsyslog:

# chkconfig syslog off # service syslog stop # chkconfig rsyslog on # service rsyslog start

Настала пора скачать LogAnalyzer. Последнюю версию можно найти тут: http://loganalyzer.adiscon.com/downloads.

Или скачать LogAnalyzer прямо с Linux сервера (должен быть установлен wget):

# cd ~ # wget http://download.adiscon.com/loganalyzer/loganalyzer-3.0.0.tar.gz

Распакуем файлы LogAnalyzer:

# tar zxvf loganalyzer-3.0.0.tar.gz

Теперь нужно скопировать файлы LogAnalyzer в каталог веб-сервера Apache (стандартный конфиг).

# mv loganalyzer-3.0.0/src /var/www/html/loganalyzer # mv loganalyzer-3.0.0/contrib/* /var/www/html/loganalyzer/

Перейдите в созданный каталог LogAnalyzer, запустите скрипт configure.sh. В результате создастся пустой файл конигурации config.php, который наполнится в следующих шагах.

# cd /var/www/html/loganalyzer # chmod u+x configure.sh secure.sh # ./configure.sh

Для дальнейшей настройки LogAnalyzer нам понадобится веб-браузер. В любимом интернет-браузере наберите http://web1/loganalyzer. (web1 – имя нашего web1 сервера, loganalyzer – каталог apache)

В середине окна выберите ссылку “Click here to Install”.

Next.

Настройте параметры отображения журналов и опять нажмите Next.

Теперь нужно указать адрес сервера с базой данных, имя пользователя и пароль для доступа к ней (если вы не забыли БД называется rsyslog). Нажав кнопку Next, вы увидите результат проверки правильности введенных данных и корректность подключения.

Наконец, Finish.

В том случае, если вы настроили все правильно, перед вами появится главная страница LogAnalyzer, на которой по мере получения будут отображаться логи. Можете попробовать сгенерировать различные системные события и посмотреть что будет происходить на страничке LogAnalyzer. Т.к. я настроил логирование событий типа “authpriv”, это означает, что в лог будут попадать такие события, как вход/выход пользователя, или же вызов команды переключения пользователя (su).

Настройка Rsyslog для удаленного сбора логов

Следующий шаг – настройка службы rsyslog для сбора событий syslog с различных сетевых устройств. Сначала необходимо сконфигурировать сетевой экран, чтобы он пропускал входящий трафик по 514 порту. Я добавлю два правила, разрешающих как TCP, так и UDP трафик. По умолчанию syslog принимает только сообщения, отправленные по порту 514 UDP, однако в rsyslog добавлена возможность принимать и TCP трафик. Добавьте в файл “/etc/sysconfig/iptables” следующие правила:

-A RH-Firewall-1-INPUT - p udp - m udp --dport 514 - j ACCEPT-A RH-Firewall-1-INPUT - p tcp - m tcp --dport 514 - j ACCEPT

Перезапустите iptables:

# service iptables restart

Теперь нужно настроить rsyslog для приема входящих сообщений syslog. Я настрою прием сообщений по TCP/ UDP от localhost и всех хостов в подсети 192.168.1.0. В файл “/etc/rsyslog.conf” нужно добавить следующие строки (перед стройкой, где настраивалась связь с базой MySQL).

$AllowedSender UDP, 127.0.0.1, 192.168.1.0/24$AllowedSender TCP, 127.0.0.1, 192.168.1.0/24

Не забудьте перезапустить службу rsyslog на центральном сервере ведения логов:

# service rsyslog restart

Следующий этап – настройка удаленных клиентов для отправки событий на центральный сервер rsyslog. Если на клиенте запущен rsyslog, в файл “/etc/rsyslog.conf” необходимо добавить, например, следующую строку:

authpriv.* @192.168.10.100

Перезапустите сервер rsyslog на клиенте и попробуйте зайти/выйти на данную систему. Если вы ничего не упустили, на веб странице LogAnalyzer появится соответствующее событие!

Также рекомендую познакомится со статьей об организации центрального сервера логов на базе Windows Server 2008

winitpro.ru

Программа для обработки больших файлов логов под Windows / Заметки Сис.Админа

Всем доброго времени суток и всяческих прочих разностей.

Это совсем небольшая статья (даже, скорее, заметка), достаточно специфичная для обычного (или опытного) пользователя, которая, тем не менее, будет полезная начинающим эникеям, админам разных мастей и прочих айтишников.

Как ни крути, то так или иначе, человеку, который сталкивается с разного рода серверами (или просто решениями определённого типа, - не важно, программного или аппаратного) часто приходится иметь дело с логами (т.е файлами журналов). Более того, не просто сталкиваться, а вообще, - это один из основных инструментов диагностики (и не только) самого разного типа, при этом их размер может достигать даже не десятков, а сотен Гигабайт.

И, если под линуксом еще можно крутить-вертеть логами достаточно бодро штатной консолью, то под Windows некоторые элементарные действия могут вызывать, мягко говоря, определённого рода неудобства. В связи с этим один из коллег и членов команды, написал небольшую утилитку, которая существенно упрощает жизнь при работе с этими самыми логами.

Ею тут мы и хотим поделиться.

Небольшой скрипт для работы большими файлами логов

Здесь и далее, текст представлен по принципу "как есть" (за исключением мелких комментариев и стилистических правок), т.е непосредственно от автора программы.

По долгу службы приходиться сталкиваться с большими лог файлами (по 50 Гб к примеру). В связи с этим накатал программку для разбивки этих файлов по строкам. Программа проста и не замысловата и имеет всего три функции:

Собственно первая функция разделит файл на равное количество строк. В папке с программой создастся папка «new_folder» в ней будут создаваться файлы «1.txt», «2.txt» и тд, в каждый из которых будет писаться ровно столько строчек, сколько вы укажете;
Вторая функция вырежет из файла указанный диапазон строк. И в папке «new_folder» создастся файл «new_file.txt» в него собственно и запишутся строки;
Третья и четвертая отвечают за подсчет количества строк в логе или открытие нового файла, что, думаю, логично из скриншота ниже.

ВНИМАНИЕ! При повторном вызове функции она перепишет существующие файлы в папке «new_folder».

Чтобы указать файл, собственно, не обязательно заморачиваться и можно просто перетащить его мышкой в окно (drag and drop) программы. Что касается ручного указания пути (методом ввода), то не важно указан путь в кавычках или без (программа сама поправит). Сетевые же пути так же поддерживаются в полном объёме.

Примечание:Юникодовские файлы разбиваются и обрабатываются криво, но логи, как правило, в юникоде не пишут, - поэтому фиксить не стал.

Что касается быстродействия.. Программка написана на python и работает в один поток, а следовательно сверх быстродействия ожидать от неё не приходиться. С другой стороны, вот небольшая статистика (тестировал на Сore2Duo файл размером в 8 Гб содержанием на 116.5 млн строк):

Посчитал строки за 03:00;
При разбивке файла по 50 000 000 строк ушло 13:30;
Вырезал из середины файла 1 000 000 строк за 3:20;

Такие дела.

Скачать можно по этой ссылке (размер около 2 Мб). Исходник можно взять здесь.

Установка не требуется, распакуйте архив чем-нибудь вроде 7-zip и запустите text_cut_line.exe. Использованию, думаю, понятно из скриншота.

На сим к послесловию.

Послесловие

Что касается жалоб и предложений, то я их конечно учту, и, возможно, даже что-то переделаю, но обещаний давать не могу т.к. во времени довольно ограничен.

К слову, если Вы решили доделать\переделать программу, то просьба связаться с автором данного проекта (или просто написать в комментарии к этому материалу) и предоставить новую версию + её исходный код. Таким же образом можно высказать пожелания, сообщить об ошибках и прочее.

Как и всегда, если есть какие-то мысли, вопросы, дополнения и всё такое прочее, то добро пожаловать в комментарии к этому материалу.

P.S. За существование данной статьи (и самой программы) спасибо Proxy

Хотите знать и уметь, больше и сами?

Мы предлагаем Вам скачать бесплатные книги от автора. Компьютеры, программы, администрирование, сервера, сети и другое. Не является рекламой. Предложение от sonikelf.ru

Скачать книги

sonikelf.ru

Серверы для Windows XP, 7, 8, 10

LogViewer

Август 19, 2018

LogViewer — бесплатная портативная программа под Microsoft Windows, предназначенная для быстрого просмотра очень длинных лог-файлов. Особенность программы в загрузке небольших фрагментов файла, просматриваемых в данный момент,… Скачать

Анализ логов, Серверы

QuickSetDNS

Май 13, 2018

QuickSetDNS — небольшая бесплатная программа под Microsoft Windows для изменения DNS-серверов для интернет-соединения. По умолчанию программа QuickSetDNS может использовать только сервер Google Public DNS, а также… Скачать

DNS-серверы, Серверы

Yaws

Апрель 24, 2018

Yaws (англ. Yet Another Web Server, рус. «ещё один веб-сервер») — свободный веб-сервер, написанный на Erlang шведским программистом Клаесом Викстрёмом (Claes (Klacke) Wikström). Yaws может… Скачать

Веб-серверы, Серверы

Xming

Апрель 11, 2018

Xming — порт сервера X Window System для операционной системы Microsoft Windows XP, 2003, Vista, 7, 8, 8.1 и 10). Сервер Xming основан на сервере… Скачать

Другое, Серверы, Система, Эмуляторы

WildFly

Январь 28, 2018

WildFly (ранее JBoss Application Server или JBoss AS) — свободный Java EE-сервер приложений с открытым исходным кодом, разработанный одноимённой компанией. Как и многие открытые программы,… Скачать

Java и JavaScript, Веб-разработчику, Веб-серверы, Серверы

WampServer

Сентябрь 12, 2017

WampServer (до осени 2007 — WAMP5) — сборка веб-сервера, содержащая Apache HTTP Server, MySQL, интерпретатор скриптов PHP, phpMyAdmin и другие дополнения, предназначенная для веб-разработки под… Скачать

Базы данных, Веб-серверы, Интерпретаторы, Разработчику, Серверы, Средства разработки

UnrealIRCd

Август 12, 2017

UnrealIRCd — популярный свободный IRC-сервер для операционных систем Microsoft Windows, Mac OS X и Linux. Установка программы проста и не требует особых знаний. Запустите программу… Скачать

IRC, ICQ, Messenger, Другое, Интернет, Общение в сети, Серверы, Сети

TVersity Media Server

Август 5, 2017

TVersity Media Server — бесплатная версия программы под Microsoft Windows, которая позволяет делать доступным содержимое персонального компьютера для UPnP-устройств, например Xbox 360, PS3, и Nintendo… Скачать

Другое, Интернет, Серверы, Файловый обмен

TANGO

Июль 3, 2017

TANGO (от англ. TAco Next Generation Objects) — свободная объектно-ориентированная система, предназначенная для управления ускорителями, экспериментальными установками а также различным оборудованием и программным обеспечением. Система… Скачать

Веб-разработчику, Другое, Другое, Другое, Разработчику, Серверы, Средства разработки

SunUO

Июнь 19, 2017

SunUO — свободный эмулятор сервера MMORPG Ultima Online, распространяющийся по лицензии GNU General Public License. Поддерживает работу в операционных системах Microsoft Windows и Linux. SunUO создан… Скачать

Другое, Серверы, Система, Эмуляторы

wikiprograms.org

de1s_how-to's: Сбор логов на windows-сервере. Часть 2

Продолжаем начатую здесь тему. Как я уже упоминал, syslog for windows хорош при относительно небольшом количестве источников данных (или в случае отсутствия проблемы сортировки входящего log-трафика). Если же имеется несколько десятков серверов и коммутаторов/маршрутизаторов, причем хочется раскладывать логи по полочкам папочкам, то возникают сложности. К тому же многие коммутаторы той же Cisco не умеют слать syslog-based логи на нестандартный (514/udp) порт. nxlog представляет собой более развесистую клюкву гибкую с точки зрения работы с log-файлами альтернативу. Проект достаточно подробно документирован (HTML, PDF), в мейл-листах наблюдается какая-никакая активность. Далее рассмотрим пример работающего конфига с пояснениями, что там такого наворочено. Однако от чтения мануала нижеизложенное словоблудие не освобождает, а напротив, должно к этому мотивировать ;) .

Концепция построения конфига nxlog похожа на рассмотренный ранее syslog for windows с учетом, конечно, модульного принципа работы этой службы. В простейшем случае нам необходимо описать входной (Input) и выходной (Output) потоки (откуда мы данные получим и куда направим), которые далее связываются в "маршрут" (Route). Каждый поток подгружает описанный в нем модуль, непосредственной работающий с данными. Модули подробно описаны в соответствующем разделе документации, имеются примеры их использования.

По пути от "Input" к "Output" данные можно "завернуть" в "Processor" - отдельная сущность для подгрузки модулей, предназначенных для внесения изменений в логи (конвертация, форматирование, поиск и так далее).

nxlog поддерживает регулярные выражения и внутренние переменные, а также логические конструкции if/then, что позволяет очень гибко сортировать входящий поток как по источнику данных, так и по их содержимому (например, по степени критичности сообщений).

В качестве примера возьмем ту же конфигурацию сети, что и в прошлый раз. Задача та же - собрать логи с оборудования Cisco и серверов Linux. Дополнительные "плюшки" - создавать отдельный лог-файл для каждого устройства и группировать заданным образом файлы по папкам. define ROOT C:\Program Files (x86)\nxlogdefine LOGDIR C:/nxlog Moduledir %ROOT%\modulesCacheDir %ROOT%\dataPidfile %ROOT%\data\nxlog.pidSpoolDir %LOGDIR%LogFile %LOGDIR%\nxlog.log

<Input UDP_flow> Module im_udp Port 514 Host 0.0.0.0 SockBufSize 15000000</Input>

<Output logfile> Module om_file CreateDir true Exec $ip = $MessageSourceAddress;

##cisco switches Exec if $ip =~ /10.10.10.(101|102|103|104|105|141|142|143|144|145)/ \ { $type = "FloorSwitches"; \ $type2 = "test"; } ## cisco inet routers Exec if $ip =~ /10.10.10.1(09|10|49|50)/ \ $type = "InetRouters";

## linux firewalls Exec if $ip =~ /10.10.11.(3|4)/ \ $type = "LinuxFW";

## linux servers Exec if $ip =~ /10.10.10.(12|13)/ \ $type = "LinuxServers";

### Output folder/file File "%LOGDIR%/" $type "/" $ip ".log"</Output>

<Route default> Path UDP_flow => logfile</Route>

Итак, сначала определяются переменные окружения - корневая директория, место хранения лог-файлов и прочее. Далее описывается входной поток <Input>, названный UDP_flow - мы используем входной модуль im_udp с описанными параметрами. Так как видоизменять входящие данные не требуется, потоков <Processor> нет, сразу переходим к потоку <Output> с названием logfile. Внешне он выглядит сложнее, однако по сути все просто:

Во-первых, мы используем выходной модуль om_file с описанными параметрами (список всех доступных параметров и описание их действий смотри в мануале).

Во-вторых, мы используем возможность Nxlog-а исполнять внутренние команды (также возможен вызов и внешних процедур или программ) через директиву Exec.

В-третьих, мы пользуемся служебной переменной $MessageSourceAddress, которая автоматически заполняется входным модулем im_udp. Так как логи передаются построчно, для каждого момента времени мы точно знаем, кто именно прислал данную информацию на 514/udp.

В-четвертых, пользуясь поддержкой регулярных выражений и логических конструкций, мы описываем желаемую логику сортировки - группируем источники по ip-адресам и определяем переменную $type. Переменная $type2 в ##cisco switches лишняя и оставлена для того, чтобы показать, как описываются блоки данных (Statements).

В-пятых, описываем файл, который будет записываться та или иная входящая строка. Путь конкатенируется исходя из определнных выше переменных. Как было отмечено выше, логи поступают и обрабатываются построчно, поэтому для каждой строки значения $ip и $type могут изменяться.

Наконец, описываем "маршрут" движения данных - <Route>. В нашем случае он простой

Path UDP_flow => logfile

вход - выход.

Таким образом, в папке LOGDIR создается иерархия папок, внутри которых (согласно правилам сортировки) располагаются лог-файлы удаленных устройств.

К сожалению, встроенного механизма rotate у nxlog нет. Однако модуль om_file предоставляет процедуру rotate_to(), с помощью которой можно этот вопрос порешать.

В своей работе я остановился на nxlog, однако syslog for windows также нашел себе применение в более мелких проектах. Оба инструмента хороши, каждый имеет свои сильные стороны - выбор есть всегда.

www.delayer.org

Включаем логирование в Windows Firewall

Если у вас есть подозрение, что встроенный брандмауэр Windows (Windows Firewall) может являться причиной неработоспособности приложения, не торопитесь его отключать. В брандмауэре есть возможность включить логирование и выяснить, в чем именно проблема.

Для этого открываем оснастку «Windows Firewall with Adwanced Security». Сделать это можно разными способами, самый быстрый — нажать Win+R и выполнить команду wf.msc. Затем кликаем правой кнопкой мыши по заголовку и в контекстном меню выбираем пункт «Properties».

В открывшемся окне выбираем вкладку с профилем (Domain, Private или Public), для которого надо включить логирование, затем в поле «Logging» жмем кнопку «Customize».

Указываем имя и расположение файла логов и задаем его максимальный размер. Выбираем, что именно логировать — Log dropped packets (только отброшенные пакеты) или Log successfully connections (удавшиеся подключения), жмем OK и идем смотреть логи.

Произвести настройку логирования можно и с помощью PowerShell. Например все предыдущие настройки производятся такой командой:

Set-NetFireWallProfile -Profile Domain -LogBlocked True -LogMaxSize Kilobytes 4096 -LogFileName ″%systemroot%\system32\LogFiles\Firewall\pfirewall.log″

Ну а дальше дело техники — открываем лог, смотрим, что не нравится брандмауэру и создаем соответствующее правило. Это гораздо грамотнее и безопаснее, чем просто полностью его отключать.

windowsnotes.ru