Make sure RQs have max_recv_sge >= 1

When creating a QP that does have a receive queue, make sure that
max_recv_sge is >= 1.

Signed-off-by: Roland Dreier <rolandd@cisco.com>

Fix problem with inline WQE in post_send error flow

Suppose a consumer posts a list of two WQEs, with the second wqe in
the list being an INLINE which is too long.  In this case, post_send
jumps to "out" with: nreq = 1, inl positive, and size in the range
allowing blueflame. All the blueflame test conditions are met.
However, the cntl pointer now points to the invalid wqe, and this will
be "blueflamed".

Fix this by setting inl to 0 before jumping out of the loop.

Signed-off-by: Jack Morgenstein <jackm@dev.mellanox.co.il>
Signed-off-by: Roland Dreier <rolandd@cisco.com>

Fix handling of wq->tail for send completions

Cast the increment added to wq->tail when send completions are
processed to uint16_t to avoid using wrong values caused by standard
integer promotions.

Signed-off-by: Eli Cohen <eli@mellanox.co.il>
Signed-off-by: Roland Dreier <rolandd@cisco.com>

Make sure RQ allocation is always valid

QPs attached to an SRQ must never have their own RQ, and QPs not
attached to SRQs must have an RQ with at least 1 entry.  Enforce all
of this in set_rq_size().

Also simplify how we round up queue sizes.  There's no need to pass the
context into align_queue_size(), since that parameter is completely
unused, and we don't really need two functions for rounding up to the
next power of two.

Signed-off-by: Roland Dreier <rolandd@cisco.com>

Fix word size in doorbell allocator bitmaps

Use an explicitly long constant 1UL identical to the type of the
variable holding the bit mask.  This avoids using the same bit twice,
because on 64 bit architectures, 1 << 32 == 0.

Found by Dotan Barak at Mellanox.

Signed-off-by: Eli Cohen <eli@mellanox.co.il>
Signed-off-by: Roland Dreier <rolandd@cisco.com>

Fix max_send_sge and max_inline_data returned from create QP

Fix the calulation of max_inline_data and max_send_sge returned to the
user.  Without this fix, the size of the SQ WQEs may increase every
time create QP is called using values returned from a previous call.

For example, here is a quote from the output of the test showing the
problem with a UD QP:

request: cap.max_send_sge = 1,   cap.max_inline_data = 0
got:     cap.max_send_sge = 5,   cap.max_inline_data = 76

request: cap.max_send_sge  = 5,  cap.max_inline_data = 76
got:     cap. max_send_sge = 13, cap.max_inline_data = 204

The problem is that we forgot to subtract the size of the control
segment in mlx4_set_sq_sizes().

Pointed out by Eli Cohen <eli@mellanox.co.il>.

Signed-off-by: Roland Dreier <rolandd@cisco.com>

Initialize send queue entry ownership bits

We need to initialize the owner bit of send queue WQEs to hardware
ownership whenever the QP is modified from reset to init, not just
when the QP is first allocated.  This avoids having the hardware
process stale WQEs when the QP is moved to reset but not destroyed and
then modified to init again.

This is the same bug fixed in the kernel by Eli Cohen <eli@mellanox.co.il>.

Signed-off-by: Roland Dreier <rolandd@cisco.com>

Don't allocate RQ doorbell if using SRQ

If a QP is attached to a shared receive queue (SRQ), then it doesn't
have a receive queue (RQ).  So don't allocate an RQ doorbell.

Signed-off-by: Roland Dreier <rolandd@cisco.com>

Handle freeing doorbell records

Actually implement mlx4_free_db() that just naively searches through
all doorbell pages.  Also add a doorbell type parameter to the
function to avoid searching through all CQ doorbell pages when we
really want to find an RQ doorbell.

Signed-off-by: Roland Dreier <rolandd@cisco.com>

debian/rules: Remove DEB_DH_STRIP_ARGS

We use debhelper compat level 5, so cdbs will handle this automatically.

Signed-off-by: Roland Dreier <rolandd@cisco.com>

Check if SRQ is full when posting receive

Make mlx4_post_srq_recv() fail if the SRQ is full (head == tail).

Signed-off-by: Roland Dreier <rolandd@cisco.com>

Pass send queue sizes from userspace to kernel

Update to handle kernel mlx4 ABI version 2: pass log_2 of send queue
WQE basic block size and log_2 of number of send queue basic blocks to
the kernel to avoid bugs caused by the kernel calculating a different
send queue WQE size.  This will also allow us to use multiple BBs per
WQE if we want to someday.

Signed-off-by: Roland Dreier <rolandd@cisco.com>

Use wc_wmb() when posting BlueFlame send WQEs

Use wc_wmb() after copying WQE to BlueFlame register to avoid having
WQEs reach the device out of order if the BlueFlame page is mapped with
write combining.

Signed-off-by: Roland Dreier <rolandd@cisco.com>

Fix inline send posting when posting more than one request

Need to set inl parameter to zero for each request when posting a list
of requests, so that the value of inl is correct for each work
request, and is not cumulative.

Signed-off-by: Jack Morgenstein <jackm@dev.mellanox.co.il>
Signed-off-by: Roland Dreier <rolandd@cisco.com>

Use BlueFlame for inline sends

If BlueFlame is available, map the BlueFlame page when creating a
context and use BlueFlame for inline sends.

Signed-off-by: Roland Dreier <rolandd@cisco.com>

Handle IBV_SEND_INLINE for send work requests

If IBV_SEND_INLINE is set for a send work request, copy the data to be
sent into an inline segment in the WQE.

Signed-off-by: Roland Dreier <rolandd@cisco.com>

Remove inline keyword from wq_overflow()

Let the compiler decide whether it should be inlined.

Signed-off-by: Roland Dreier <rolandd@cisco.com>

Implement mlx4_cq_clean()

Fill in the implementation of mlx4_cq_clean(), so we sweep CQ entries
from CQs when a QP is destroyed or moved to the RESET state.

Signed-off-by: Roland Dreier <rolandd@cisco.com>

Fix paths in Debian install files for libibverbs 1.1

Signed-off-by: Roland Dreier <rolandd@cisco.com>

Trivial whitespace fixes

Signed-off-by: Roland Dreier <rolandd@cisco.com>

Fix implicit declaration of memset() and memcpy() warnings

Fix a typo -- the include should be <string.h>, not <strings.h>.

Signed-off-by: Jack Morgenstein <jackm@dev.mellanox.co.il>
Signed-off-by: Roland Dreier <rolandd@cisco.com>

Fix CQ size sanity check

The maximum permissible number of CQEs per CQ for Hermon is 0x3fffff,
so we need to fix the sanity check in mlx4_create_cq() accordingly.

Signed-off-by: Jack Morgenstein <jackm@dev.mellanox.co.il>
Signed-off-by: Roland Dreier <rolandd@cisco.com>

Implement posting of RDMA and atomic operations

Clean up the definitions of remote address and atomic operations WQE
segments.  Fill in the missing code that fills in these segments when
posting RDMA or atomic operations to a send queue.

Signed-off-by: Roland Dreier <rolandd@cisco.com>

Set correct byte_len in completions for atomic operations

Signed-off-by: Roland Dreier <rolandd@cisco.com>

Multiple SRQ fixes

Several one-liner fixes to SRQ support:
 - Scatter entry address is 64 bits, so use htonll() instead of
   htonl() when filling in WQE.
 - Minimum SRQ WQE size is 32 bytes, so use 5 as a minimum value of
   wqe_shift.
 - When initializing next_wqe_index values, use htons() to put indices
   into big-endian byte order.

Signed-off-by: Roland Dreier <rolandd@cisco.com>

Trivial whitespace change to line up '='s

Signed-off-by: Roland Dreier <rolandd@cisco.com>

Add all PCI ids

SDR, DDR and QDR IB versions of ConnectX have different PCI device ids
(0x6340, 0x634a and 0x6354).  Add all of them to the table of
supported devices.

Signed-off-by: Roland Dreier <rolandd@cisco.com>

Trivial whitespace cleanups

Signed-off-by: Roland Dreier <rolandd@cisco.com>

Don't set last byte of GID for non-global address vectors

Previous generation HCAs needed the last byte of the GID set to 2 for
non-global address vectors, but ConnectX just ignores the remote GID
field for non-global AVs, so remove the unnecessary code that sets it.

Signed-off-by: Roland Dreier <rolandd@cisco.com>

Remove unused source file ah.c

Signed-off-by: Roland Dreier <rolandd@cisco.com>

Implement handling for completions with error

Convert status from HCA's hardware values to libibverbs enum for
completions with error in mlx4_handle_error_cqe().  Also, there's no
way mlx4_handle_error_cqe() can fail, so there's no reason for it to
return a value.

Signed-off-by: Roland Dreier <rolandd@cisco.com>

Simplify completion with error handling

The out-of-line function to handle error CQEs doesn't need as many
parameters as the libmthca version did, so get rid of everything
except the CQE pointer and the WC pointer.

Signed-off-by: Roland Dreier <rolandd@cisco.com>

Initial import of libmlx4 repository

Signed-off-by: Roland Dreier <rolandd@cisco.com>