sge-info-reporter.git
6 years agoUpdate information reporter to support 2_7_0. dwm@doc.ic.ac.uk--2006,sge-info-reporter--main--0 master
David McBride [Mon, 27 Mar 2006 16:57:26 +0000]
Update information reporter to support 2_7_0.

* Updated information reporter:
  - Now provides a copy of per-queue data for each VO being supported.
  - Fixed use of $ENV{SGE_ROOT} in path definitions.  Oops.
  - Added an unofficial fifth cluster state, "dwm-Testing".  In this mode,
    the queue is published as being in Production -- but reports an extremely
    high ERT and WRT.
  - Hack command-line parsing to handle different calling convention in 2_7_0.
  - Modified dn: parser regexp to be more permissive, also to handle minor
    syntatical differences in 2_7_0 LDIF files.
git-archimport-id: dwm@doc.ic.ac.uk--2006/sge-info-reporter--main--0--patch-2

6 years agoTidyups prior to final LCG-2_7_0 version
David McBride [Mon, 6 Mar 2006 14:31:42 +0000]
Tidyups prior to final LCG-2_7_0 version

* Update lcg-info-dynamic-sge
  - Update names and comments to be clearer.
    (Including a s/Globus queue/virtual queue/.)
  - Update default constants for paths to be more general.
    (And not use UKI-LT2-IC-LeSC site settings.)

* Remove explicit Arch file-ids for changelogs.

* Update copyright dates in LICENSE file.

* Update README to catch up with recent changes in the JobManager
  configuration paths and Reporter requirements.
git-archimport-id: dwm@doc.ic.ac.uk--2006/sge-info-reporter--main--0--patch-1

6 years agoExport of changes up to 0.5. dwm@doc.ic.ac.uk--2005,sge-info-reporter--main--0 dwm@doc.ic.ac.uk--2006,sge-info-reporter--main--0--base-0
David McBride [Fri, 3 Feb 2006 14:26:50 +0000]
Export of changes up to 0.5.

lcg-inf-dynamic-sge:

* Fix problem with XML::Simple generating varying datastructures for qstat -r -xml
  output.
* Add capability to define current global cluster state, "Production",
  "Draining", "Queueing", "Closed".
* Count the number of free job slots correctly.
  Note: we still need to account for queue permissions; will fix later.
  Also comment-out unneeded Dumper library inclusion.
  (Used when debugging only.)
* Comment updates.
* Use qstat -f with the '-xml' flag and parse the XML rather than the
  human-readable output.
* Use qselect to identify only those queues runnable by a particular user.
* No-longer consider jobs that are in an (E)rror state when calculating
  estimated-response times.
* Do not consider jobs in an (E)rror state as a 'queueing' job in reported
  statistics.
* Update ERT calculation to take into account number of free slots; if free
  slots exist, ERT is floored to zero.
* Update version string.

README:

* Update version string.
* Update the set of conditions under which changes to the runtime constants
  are required to be more correct.
* Still going to leave the "beta" label in place into we're confidently in
  production on the just-released 2_7_0.
git-archimport-id: dwm@doc.ic.ac.uk--2005/sge-info-reporter--main--0--patch-4

6 years agoMajor efficiency improvements
David McBride [Thu, 3 Nov 2005 14:15:58 +0000]
Major efficiency improvements

* Removed multithreaded `qstat -j JOBID` calls.  These were used to lookup
  job resource requirements, and were expensive.  They have been replaced
  with a single call to `qstat -r -xml`.
* Removed requirement on the Perl 5.8.0 ithread library as a result.
* Added requirement on XML::Simple library as a result.
* Now handle job arrays properly.
* Improved Estimated Response Time calculation.  It will now return an ERT
  of zero if there are unused job slots available.
* Set SGE_CELL to "default" instead of "mars", to conform with README
  documentation.
git-archimport-id: dwm@doc.ic.ac.uk--2005/sge-info-reporter--main--0--patch-3

6 years agoSubstantial update to support multiple external Globus queues
David McBride [Fri, 28 Oct 2005 15:33:23 +0000]
Substantial update to support multiple external Globus queues

This version has been substantially rewritten:
* Now supports reporting on externally reported Globus queues
  that don't actually exist on the underlying cluster.
* Now perform much more detailed cluster state queries,
  including the hard resource requirements of individual queues
  and jobs.
* Removed all SGE 5.3+ codepaths.  The code could be modified
  to support SGE 5.3+ cluster installations with relatively
  little effort, but currently will only function with 6.0+.
* Now uses multithreading to parallelise some qstat queries.
  Note that this increases the minimum requirements on Perl
  to 5.8.0 (with ithreading support enabled at compile-time)
* Documentation updated to refer to 2_6_0 instead of 2_3_0
  (which never went into production at LeSC.)
git-archimport-id: dwm@doc.ic.ac.uk--2005/sge-info-reporter--main--0--patch-2

7 years agoUpdated documentation.
David McBride [Wed, 16 Feb 2005 15:11:52 +0000]
Updated documentation.

Added AUTHORS file.
Added Changelog.d directory and Changelog symlink to primary Changelog.

Updated README file:
* to refer to AUTHORS file.
* to make the beta warning more explicit.
* to detail lcg-info-generic.conf configuration changes
* to warn sysadmin to check access rights for edginfo user.
* to detail configuration changes that may be needed in the
  information reporter script itself.
* to specify how to test that the information reporter is
  working.
git-archimport-id: dwm@doc.ic.ac.uk--2005/sge-info-reporter--main--0--patch-1

7 years agoInitial import of SGE information reporter. dwm@doc.ic.ac.uk--2005,sge-info-reporter--main--0--base-0
David McBride [Wed, 16 Feb 2005 13:58:11 +0000]
Initial import of SGE information reporter.

This is the initial import of the SGE information reporter code into Arch RCS.
git-archimport-id: dwm@doc.ic.ac.uk--2005/sge-info-reporter--main--0--base-0