mpxyd: cm scaling bug fixes and profiling

New CM thread to help with CM scale out. Testing with dtestcm
with 1000's of connections. MPI testing up to 60ppn on KNC nodes.

Add new disc timers and disconnect logging for debug.
Add cleanup for IB device during service termination.
Add profiling of device and CM operations to help debug scaling issues

Signed-off-by: Arlin Davis <arlin.r.davis@intel.com>

README: update package and mcm readme files

Signed-off-by: Arlin Davis <arlin.r.davis@intel.com>

dtestcm: add more detailed debug during disconnect phase

Signed-off-by: Arlin Davis <arlin.r.davis@intel.com>

common: add debug logging to dat_lmr_create

Signed-off-by: Arlin Davis <arlin.r.davis@intel.com>

common: add ia stats logging and logging bit

added new DAPL_DBG_TYPE level of 0x2000000
that will print IA stats (non-zero) during dat_ia_close

Signed-off-by: Arlin Davis <arlin.r.davis@intel.com>

scif: add scif ucm provider entry in dat.conf

Signed-off-by: Arlin Davis <arlin.r.davis@intel.com>

Release intel-mic-ofed-dapl-2.0.36.4-1

README: add environment variable settings/defaults

Signed-off-by: Arlin Davis <arlin.r.davis@intel.com>

mpxyd: TX thread can miss pending requests with multiple clients

Pending data variable is overwritten with multiple SCIF clients
bound to one HCA causing rdma_write to stall and not posted
on IB device. MPI running multiple ranks on a KNC can stall.

Signed-off-by: Arlin Davis <arlin.r.davis@intel.com>

Release intel-mic-ofed-dapl-2.0.36.3-1

package: add README and README.mcm and update content

Signed-off-by: Arlin Davis <arlin.r.davis@intel.com>

mcm,mpxyd: add multi-enpoint, multi-threaded, and CPU affinity support for mpxyd and mcm clients

For performance reasons separate EP's and separate threads have been incorporated.
3 scif eps. operation, events, and transmit are created for every device open
2 threads per MIC adapter, one for operations and one for RDMA operations
CPU affinity support as been added to to assist in HCA to MIC locality
for optimum performance. This fixes some performance issues seen at scale
on HT systems.

Also added some performance profiling to help with future tunining on
various platforms.

The CPU affinity and profiling are set via new mpxyd.conf parameters.
defaults are affinity=1, affinity base cpu_id=0, profiling=0

mcm_affinity, mcm_affinity_base, mcm_profile

Signed-off-by: Arlin Davis <arlin.r.davis@intel.com>

common: add support for ia name during dat_ia_query

the device name was not being updated during a query. Copy
the hca name into ia_attr->adapter_name for consumers.

Signed-off-by: Arlin Davis <arlin.r.davis@intel.com>

dtest: changes to support signaling rates during rdma_write testing

To support larger iterations without huge TX queues we need
to signal. Also add unidirectional and bidirectional performance
results.

Signed-off-by: Arlin Davis <arlin.r.davis@intel.com>

mcm: register memory on tx endpoint.

separated processing across multiple EP's.
operation and scif dma on different EP's so
register on the tx_ep for proxy enabled providers.

Signed-off-by: Arlin Davis <arlin.r.davis@intel.com>

mcm: fix proxy cq_poll, return only empty or number of completions

Signed-off-by: Arlin Davis <arlin.r.davis@intel.com>

ucm: reduce log level of CM warning on UNKNOWN state message

Signed-off-by: Arlin Davis <arlin.r.davis@intel.com>

mpxyd: proxy segfaulting running as daemon, IB recv len incorrect

didn't account for IB UD packet length being larger
than actual CM message due to added 40 byte GRH
with each receive packet. Adjust each recv pkt
len according to size of GRH.

Change default log to /tmp from stdout
Cleanup debug logs

Signed-off-by: Arlin Davis <arlin.r.davis@intel.com>

Release intel-mic-ofed-dapl-2.0.36.2-1

Signed-off-by: Arlin Davis <arlin.r.davis@intel.com>

decrease debug log level on modify qp during close

Signed-off-by: Arlin Davis <arlin.r.davis@intel.com>

mpxyd: scif_connect return checking incorrect

check for -1 on errors, port_id returned on success.

Signed-off-by: Arlin Davis <arlin.r.davis@intel.com>

mcm: support for rdma writes with immediate plus associated fixes

Segmented writes fixed to return proper length in work completion
Mpxyd segmentation size sync'ed with configuration file
Reduced proxy WR depth for segmentation, limit to x8.
Add debug info to help profile performance stalls

Signed-off-by: Arlin Davis <arlin.r.davis@intel.com>

mpxyd: add common scif_send_msg inline function to handle partial writes

scif_send blocking mode will not always block until
entire message is sent as documented. If will sometimes
return with partial sends. Create a common inline send
function what will handle condition and only return failure
with errors and not partial writes.

Signed-off-by: Arlin Davis <arlin.r.davis@intel.com>

mcm/mpxyd: add string print helper function for QP states

Signed-off-by: Arlin Davis <arlin.r.davis@intel.com>

config: add scif device to dat.conf static configuration, remove v1.2 devices

v1.2 is no longer supported.

Signed-off-by: Arlin Davis <arlin.r.davis@intel.com>

specfile: add definition to disable debug package

Signed-off-by: Arlin Davis <arlin.r.davis@intel.com>

specfile: remove debug package

Signed-off-by: Arlin Davis <arlin.r.davis@intel.com>

mpxyd: add exposed cm timers to configuration file

Signed-off-by: Arlin Davis <arlin.r.davis@intel.com>

Release intel-mic-ofed-dapl-2.0.36.1-1

Signed-off-by: Arlin Davis <arlin.r.davis@intel.com>

add new package spec file - intel-mic-ofed-dapl.spec.in

Signed-off-by: Arlin Davis <arlin.r.davis@intel.com>

package update: rename package for Intel MPSS release

dapl- renamed to intel-mic-ofed-dapl-

new package definitions will obsolete the previous dapl version

Signed-off-by: Arlin Davis <arlin.r.davis@intel.com>

Release 2.0.36.1

Change version to include sub-minor numbers. Add options
to specfile to include CCFLAGS and LDFLAG options via rpmbuild.

Signed-off-by: Arlin Davis <arlin.r.davis@intel.com>

install: correct the path to /etc

Signed-off-by: Arlin Davis <arlin.r.davis@intel.com>

mpxyd: dont segfault if pid file is not found when attempting to kill running daemon

mpxyd: misc cleanups for consistency

mpxyd: expose CM request and reply timers and retry count

add entries in the mpxyd.conf for timers and retry. Start with
larger default timers given small cores are processing messages
and they are proxied via SCIF.

Signed-off-by: Arlin Davis <arlin.r.davis@intel.com>

common: 2 new debug logging levels for low system memory and package info

DAPL_DBG_TYPE_SYS_WARN = 0x800000
DAPL_DBG_TYPE_VER = 0x1000000

export DAPL_DBG_SYS_MEM = 5 will set the checking for memory less than 5%
when DAPL_DBG_TYPE is set with bit DAPL_DBG_TYPE_SYS_WARN.

The package must be built with --enable-counters for memory checking to
be enabled.

In addition, if DAPL_DBG_TYPE -s set with bit DAPL_DBG_TYPE_VER than
the package rev and build date will be sent to stdout during library
init.

Signed-off-by: Arlin Davis <arlin.r.davis@intel.com>

mcm: process QP create errors from mpxyd

add checking and reporting for QP errors back to mix client
on the MIC adapter

Signed-off-by: Arlin Davis <arlin.r.davis@intel.com>

common: add register memory to logging on non-debug build.

Signed-off-by: Arlin Davis <arlin.r.davis@intel.com>

common: turn down debug level during ep free

Signed-off-by: Arlin Davis <arlin.r.davis@intel.com>

mcm: cleanup build issues with unused variables on --disable-debug

Signed-off-by: Arlin Davis <arlin.r.davis@intel.com>

common: cleanup/remove debug code in post send

Signed-off-by: Arlin Davis <arlin.r.davis@intel.com>

Add some rpm targets

Signed-off-by: Arlin Davis <arlin.r.davis@intel.com>

Enable mcm on the proxy branch

Signed-off-by: Arlin Davis <arlin.r.davis@intel.com>

Correct mpxyd.conf file location

Signed-off-by: Arlin Davis <arlin.r.davis@intel.com>

Merge cst-linux:~jxiong/scm/dapl into proxy

Kill before daemonizing

From: Patrick McCormick <patrick.m.mccormick@intel.com>

Use libc's daemon fuction and check if it fails

From: Patrick McCormick <patrick.m.mccormick@intel.com>

If scif port 0 is specified (let system select the port), print out the port chosen

From: Patrick McCormick <patrick.m.mccormick@intel.com>

Add the "debug mode" which manages the pid file (/tmp/mpxyd.pid.<uid>), defaults
to not daemonizing, and writes the log to stdout.

From: pmmccorm <patrick.m.mccormick@intel.com>

Allow the init script be run as regular user.

From: pmmccorm <patrick.m.mccormick@intel.com>

Convert mpxyd.conf from DOS format to UNIX format.

Add an opiton to kill the running daemon.

Catch SIGINT/SIGTERM and cleanup the lock file.

Change some default option values.

Output configuration file name in the log.

Output more error messages.

Init script: get the lock file name from the configuration file.

From: pmmccorm <patrick.m.mccormick@intel.com>

Give error message when fail to open the lock file.

Add a configuration option for the maximum message size.

Default to /var/run for .pid files

From: pmmccorm <patrick.m.mccormick@intel.com>

Orchestrate the handling of pid and lock files

From: pmmccorm <patrick.m.mccormick@intel.com>

Increase the proxy send queue size according to the segmentation setting.

Add option to allow the proxy buffer be shared among connections from
the same client. The can help greatly reduce the memory consumption of
the porxy server when the number of connections is large.

Revamp the instructions for the MCM provider.

Change the default per connection proxy RDMA buffer from 64MB to 32MB for
better scalability. It can still be changed in mpxyd.conf.

Bug fix: lock/log file path is truncated to 32 characters.

Increase the default queue length for scif_listen() call to 64, and
add an option to the configuration file to override this setting.

Update the non-root setup instructions.

Change "MIC Indirect" to "CCL-proxy" in the readme files.

Bug fix: MPI connection failure with 64+ ranks due to REJ packet not being delivered to the client.

Catch proxy server segfault when scaling up.

Improved error messages with SCIF related calls.

Add instructions for installation without root privilege.

Add instructions for cluster deployment.

Allow changing the SCIF port id via the envar DAPL_MCM_PORT_ID so that
the proxy service can be started by a regular user.

Make the default config file consistent with the initialization code.

Prevent dereferencing a NULL pointer.

Add a readme file for the MCM provider.

Add "buffer_segment_size" to the configuration file.

Bug fix: scif_unregister returns -ENODEV becasue the length is not page aligned.

There is a race condition between dapl_rbuf_add() dapl_rbuf_remove() when
the ring buffer is empty or full. This could lead to incorrect item be
dequeued and correct item be discarded.

A temporary workaround is provided to ensure the pending event queue work
correctly. Without this fix dapl_evd_dequeue() could return the wrong event
and causes various application errors (hanging, assertion failures. etc).

Ultimately the ring buffer mechanism needs to the fixed.

Add environment variable DAPL_MCM_ALWAYS_PROXY to allow proxying non-MIC
initiated connections. Good for debugging.

Handle the (unlikely) corner case that the last sge has length 0.

Minor code cleanup.

Recount the actual pending WRs from time to time.

Don't waste the 64 byte in the proxy buffer between segments.

Bug fix: the calculation of 'total_offset' could be wrong if a segmented sge is not the last one.

Prevent poll_cnt from becoming negative, which could lead to huge delay.

Don't flood the log with messages about deferred WR posting.

Proxy large writes in segments.

Replace scif_writeto with scif_readfrom, preparing for segmentation support.

Make both address and size 64 bytes aligned when calling scif_writeto().

Port numbers need to be unique within each physical IB device (md),
otherwise connection requests between multiple clients of the same
proxy server can be matched incorrectly.

Correct many mismatches between the log messages and the actual operations.

Correct the MR size calculation when registering with SCIF.

MPXYD: only post an incoming write WR when there is no pending WR on the QP,
otherwise there might be ordering issues.

Fix the (nil) "wr_id" output of posted pending work request.

Bug fix: connection error with "unexpected DAPL event 0x4003" when more then one client exists.

Correct the range of valid ops in mix_op_str().