mirror of
https://git.tartarus.org/simon/putty.git
synced 2025-01-25 09:12:24 +00:00
Add SHA1 implementation with new instructions
SHA1-NI code is conditionally enabled if CPU supports SHA extensions. The procedure is based on Jeffrey Walton's SHA1 implementation: https://github.com/noloader/SHA-Intrinsics
This commit is contained in:
Pavel I. Kryukov
Simon Tatham
parent
f51a5c9235
commit
cf875a0f56
228
sshsha.c
228
sshsha.c
@ -7,6 +7,8 @@
|
|||||||
|
|
||||||
#include "ssh.h"
|
#include "ssh.h"
|
||||||
|
|
||||||
|
#include <assert.h>
|
||||||
|
|
||||||
/* ----------------------------------------------------------------------
|
/* ----------------------------------------------------------------------
|
||||||
* Core SHA algorithm: processes 16-word blocks into a message digest.
|
* Core SHA algorithm: processes 16-word blocks into a message digest.
|
||||||
*/
|
*/
|
||||||
@ -14,6 +16,7 @@
|
|||||||
#define rol(x,y) ( ((x) << (y)) | (((uint32)x) >> (32-y)) )
|
#define rol(x,y) ( ((x) << (y)) | (((uint32)x) >> (32-y)) )
|
||||||
|
|
||||||
static void sha1_sw(SHA_State * s, const unsigned char *q, int len);
|
static void sha1_sw(SHA_State * s, const unsigned char *q, int len);
|
||||||
|
static void sha1_ni(SHA_State * s, const unsigned char *q, int len);
|
||||||
|
|
||||||
static void SHA_Core_Init(uint32 h[5])
|
static void SHA_Core_Init(uint32 h[5])
|
||||||
{
|
{
|
||||||
@ -126,6 +129,9 @@ void SHA_Init(SHA_State * s)
|
|||||||
SHA_Core_Init(s->h);
|
SHA_Core_Init(s->h);
|
||||||
s->blkused = 0;
|
s->blkused = 0;
|
||||||
s->lenhi = s->lenlo = 0;
|
s->lenhi = s->lenlo = 0;
|
||||||
|
if (supports_sha_ni())
|
||||||
|
s->sha1 = &sha1_ni;
|
||||||
|
else
|
||||||
s->sha1 = &sha1_sw;
|
s->sha1 = &sha1_sw;
|
||||||
}
|
}
|
||||||
|
|
||||||
@ -478,6 +484,14 @@ const struct ssh_mac ssh_hmac_sha1_96_buggy = {
|
|||||||
# define FUNC_ISA
|
# define FUNC_ISA
|
||||||
#endif
|
#endif
|
||||||
|
|
||||||
|
#include <wmmintrin.h>
|
||||||
|
#include <smmintrin.h>
|
||||||
|
#include <immintrin.h>
|
||||||
|
|
||||||
|
#if defined(__clang__) || defined(__GNUC__)
|
||||||
|
#include <shaintrin.h>
|
||||||
|
#endif
|
||||||
|
|
||||||
/*
|
/*
|
||||||
* Determinators of CPU type
|
* Determinators of CPU type
|
||||||
*/
|
*/
|
||||||
@ -502,8 +516,222 @@ int supports_sha_ni(void)
|
|||||||
|
|
||||||
#endif /* defined(__clang__) || defined(__GNUC__) */
|
#endif /* defined(__clang__) || defined(__GNUC__) */
|
||||||
|
|
||||||
|
/* SHA1 implementation using new instructions
|
||||||
|
The code is based on Jeffrey Walton's SHA1 implementation:
|
||||||
|
https://github.com/noloader/SHA-Intrinsics
|
||||||
|
*/
|
||||||
|
FUNC_ISA
|
||||||
|
static void sha1_ni(SHA_State * s, const unsigned char *q, int len)
|
||||||
|
{
|
||||||
|
if (s->blkused && s->blkused + len < 64) {
|
||||||
|
/*
|
||||||
|
* Trivial case: just add to the block.
|
||||||
|
*/
|
||||||
|
memcpy(s->block + s->blkused, q, len);
|
||||||
|
s->blkused += len;
|
||||||
|
} else {
|
||||||
|
__m128i ABCD, ABCD_SAVE, E0, E0_SAVE, E1;
|
||||||
|
const __m128i MASK = _mm_set_epi64x(0x0001020304050607ULL, 0x08090a0b0c0d0e0fULL);
|
||||||
|
|
||||||
|
ABCD = _mm_loadu_si128((const __m128i*) s->h);
|
||||||
|
E0 = _mm_set_epi32(s->h[4], 0, 0, 0);
|
||||||
|
ABCD = _mm_shuffle_epi32(ABCD, 0x1B);
|
||||||
|
|
||||||
|
/*
|
||||||
|
* We must complete and process at least one block.
|
||||||
|
*/
|
||||||
|
while (s->blkused + len >= 64)
|
||||||
|
{
|
||||||
|
__m128i MSG0, MSG1, MSG2, MSG3;
|
||||||
|
memcpy(s->block + s->blkused, q, 64 - s->blkused);
|
||||||
|
q += 64 - s->blkused;
|
||||||
|
len -= 64 - s->blkused;
|
||||||
|
|
||||||
|
/* Save current state */
|
||||||
|
ABCD_SAVE = ABCD;
|
||||||
|
E0_SAVE = E0;
|
||||||
|
|
||||||
|
/* Rounds 0-3 */
|
||||||
|
MSG0 = _mm_loadu_si128((const __m128i*)(s->block + 0));
|
||||||
|
MSG0 = _mm_shuffle_epi8(MSG0, MASK);
|
||||||
|
E0 = _mm_add_epi32(E0, MSG0);
|
||||||
|
E1 = ABCD;
|
||||||
|
ABCD = _mm_sha1rnds4_epu32(ABCD, E0, 0);
|
||||||
|
|
||||||
|
/* Rounds 4-7 */
|
||||||
|
MSG1 = _mm_loadu_si128((const __m128i*)(s->block + 16));
|
||||||
|
MSG1 = _mm_shuffle_epi8(MSG1, MASK);
|
||||||
|
E1 = _mm_sha1nexte_epu32(E1, MSG1);
|
||||||
|
E0 = ABCD;
|
||||||
|
ABCD = _mm_sha1rnds4_epu32(ABCD, E1, 0);
|
||||||
|
MSG0 = _mm_sha1msg1_epu32(MSG0, MSG1);
|
||||||
|
|
||||||
|
/* Rounds 8-11 */
|
||||||
|
MSG2 = _mm_loadu_si128((const __m128i*)(s->block + 32));
|
||||||
|
MSG2 = _mm_shuffle_epi8(MSG2, MASK);
|
||||||
|
E0 = _mm_sha1nexte_epu32(E0, MSG2);
|
||||||
|
E1 = ABCD;
|
||||||
|
ABCD = _mm_sha1rnds4_epu32(ABCD, E0, 0);
|
||||||
|
MSG1 = _mm_sha1msg1_epu32(MSG1, MSG2);
|
||||||
|
MSG0 = _mm_xor_si128(MSG0, MSG2);
|
||||||
|
|
||||||
|
/* Rounds 12-15 */
|
||||||
|
MSG3 = _mm_loadu_si128((const __m128i*)(s->block + 48));
|
||||||
|
MSG3 = _mm_shuffle_epi8(MSG3, MASK);
|
||||||
|
E1 = _mm_sha1nexte_epu32(E1, MSG3);
|
||||||
|
E0 = ABCD;
|
||||||
|
MSG0 = _mm_sha1msg2_epu32(MSG0, MSG3);
|
||||||
|
ABCD = _mm_sha1rnds4_epu32(ABCD, E1, 0);
|
||||||
|
MSG2 = _mm_sha1msg1_epu32(MSG2, MSG3);
|
||||||
|
MSG1 = _mm_xor_si128(MSG1, MSG3);
|
||||||
|
|
||||||
|
/* Rounds 16-19 */
|
||||||
|
E0 = _mm_sha1nexte_epu32(E0, MSG0);
|
||||||
|
E1 = ABCD;
|
||||||
|
MSG1 = _mm_sha1msg2_epu32(MSG1, MSG0);
|
||||||
|
ABCD = _mm_sha1rnds4_epu32(ABCD, E0, 0);
|
||||||
|
MSG3 = _mm_sha1msg1_epu32(MSG3, MSG0);
|
||||||
|
MSG2 = _mm_xor_si128(MSG2, MSG0);
|
||||||
|
|
||||||
|
/* Rounds 20-23 */
|
||||||
|
E1 = _mm_sha1nexte_epu32(E1, MSG1);
|
||||||
|
E0 = ABCD;
|
||||||
|
MSG2 = _mm_sha1msg2_epu32(MSG2, MSG1);
|
||||||
|
ABCD = _mm_sha1rnds4_epu32(ABCD, E1, 1);
|
||||||
|
MSG0 = _mm_sha1msg1_epu32(MSG0, MSG1);
|
||||||
|
MSG3 = _mm_xor_si128(MSG3, MSG1);
|
||||||
|
|
||||||
|
/* Rounds 24-27 */
|
||||||
|
E0 = _mm_sha1nexte_epu32(E0, MSG2);
|
||||||
|
E1 = ABCD;
|
||||||
|
MSG3 = _mm_sha1msg2_epu32(MSG3, MSG2);
|
||||||
|
ABCD = _mm_sha1rnds4_epu32(ABCD, E0, 1);
|
||||||
|
MSG1 = _mm_sha1msg1_epu32(MSG1, MSG2);
|
||||||
|
MSG0 = _mm_xor_si128(MSG0, MSG2);
|
||||||
|
|
||||||
|
/* Rounds 28-31 */
|
||||||
|
E1 = _mm_sha1nexte_epu32(E1, MSG3);
|
||||||
|
E0 = ABCD;
|
||||||
|
MSG0 = _mm_sha1msg2_epu32(MSG0, MSG3);
|
||||||
|
ABCD = _mm_sha1rnds4_epu32(ABCD, E1, 1);
|
||||||
|
MSG2 = _mm_sha1msg1_epu32(MSG2, MSG3);
|
||||||
|
MSG1 = _mm_xor_si128(MSG1, MSG3);
|
||||||
|
|
||||||
|
/* Rounds 32-35 */
|
||||||
|
E0 = _mm_sha1nexte_epu32(E0, MSG0);
|
||||||
|
E1 = ABCD;
|
||||||
|
MSG1 = _mm_sha1msg2_epu32(MSG1, MSG0);
|
||||||
|
ABCD = _mm_sha1rnds4_epu32(ABCD, E0, 1);
|
||||||
|
MSG3 = _mm_sha1msg1_epu32(MSG3, MSG0);
|
||||||
|
MSG2 = _mm_xor_si128(MSG2, MSG0);
|
||||||
|
|
||||||
|
/* Rounds 36-39 */
|
||||||
|
E1 = _mm_sha1nexte_epu32(E1, MSG1);
|
||||||
|
E0 = ABCD;
|
||||||
|
MSG2 = _mm_sha1msg2_epu32(MSG2, MSG1);
|
||||||
|
ABCD = _mm_sha1rnds4_epu32(ABCD, E1, 1);
|
||||||
|
MSG0 = _mm_sha1msg1_epu32(MSG0, MSG1);
|
||||||
|
MSG3 = _mm_xor_si128(MSG3, MSG1);
|
||||||
|
|
||||||
|
/* Rounds 40-43 */
|
||||||
|
E0 = _mm_sha1nexte_epu32(E0, MSG2);
|
||||||
|
E1 = ABCD;
|
||||||
|
MSG3 = _mm_sha1msg2_epu32(MSG3, MSG2);
|
||||||
|
ABCD = _mm_sha1rnds4_epu32(ABCD, E0, 2);
|
||||||
|
MSG1 = _mm_sha1msg1_epu32(MSG1, MSG2);
|
||||||
|
MSG0 = _mm_xor_si128(MSG0, MSG2);
|
||||||
|
|
||||||
|
/* Rounds 44-47 */
|
||||||
|
E1 = _mm_sha1nexte_epu32(E1, MSG3);
|
||||||
|
E0 = ABCD;
|
||||||
|
MSG0 = _mm_sha1msg2_epu32(MSG0, MSG3);
|
||||||
|
ABCD = _mm_sha1rnds4_epu32(ABCD, E1, 2);
|
||||||
|
MSG2 = _mm_sha1msg1_epu32(MSG2, MSG3);
|
||||||
|
MSG1 = _mm_xor_si128(MSG1, MSG3);
|
||||||
|
|
||||||
|
/* Rounds 48-51 */
|
||||||
|
E0 = _mm_sha1nexte_epu32(E0, MSG0);
|
||||||
|
E1 = ABCD;
|
||||||
|
MSG1 = _mm_sha1msg2_epu32(MSG1, MSG0);
|
||||||
|
ABCD = _mm_sha1rnds4_epu32(ABCD, E0, 2);
|
||||||
|
MSG3 = _mm_sha1msg1_epu32(MSG3, MSG0);
|
||||||
|
MSG2 = _mm_xor_si128(MSG2, MSG0);
|
||||||
|
|
||||||
|
/* Rounds 52-55 */
|
||||||
|
E1 = _mm_sha1nexte_epu32(E1, MSG1);
|
||||||
|
E0 = ABCD;
|
||||||
|
MSG2 = _mm_sha1msg2_epu32(MSG2, MSG1);
|
||||||
|
ABCD = _mm_sha1rnds4_epu32(ABCD, E1, 2);
|
||||||
|
MSG0 = _mm_sha1msg1_epu32(MSG0, MSG1);
|
||||||
|
MSG3 = _mm_xor_si128(MSG3, MSG1);
|
||||||
|
|
||||||
|
/* Rounds 56-59 */
|
||||||
|
E0 = _mm_sha1nexte_epu32(E0, MSG2);
|
||||||
|
E1 = ABCD;
|
||||||
|
MSG3 = _mm_sha1msg2_epu32(MSG3, MSG2);
|
||||||
|
ABCD = _mm_sha1rnds4_epu32(ABCD, E0, 2);
|
||||||
|
MSG1 = _mm_sha1msg1_epu32(MSG1, MSG2);
|
||||||
|
MSG0 = _mm_xor_si128(MSG0, MSG2);
|
||||||
|
|
||||||
|
/* Rounds 60-63 */
|
||||||
|
E1 = _mm_sha1nexte_epu32(E1, MSG3);
|
||||||
|
E0 = ABCD;
|
||||||
|
MSG0 = _mm_sha1msg2_epu32(MSG0, MSG3);
|
||||||
|
ABCD = _mm_sha1rnds4_epu32(ABCD, E1, 3);
|
||||||
|
MSG2 = _mm_sha1msg1_epu32(MSG2, MSG3);
|
||||||
|
MSG1 = _mm_xor_si128(MSG1, MSG3);
|
||||||
|
|
||||||
|
/* Rounds 64-67 */
|
||||||
|
E0 = _mm_sha1nexte_epu32(E0, MSG0);
|
||||||
|
E1 = ABCD;
|
||||||
|
MSG1 = _mm_sha1msg2_epu32(MSG1, MSG0);
|
||||||
|
ABCD = _mm_sha1rnds4_epu32(ABCD, E0, 3);
|
||||||
|
MSG3 = _mm_sha1msg1_epu32(MSG3, MSG0);
|
||||||
|
MSG2 = _mm_xor_si128(MSG2, MSG0);
|
||||||
|
|
||||||
|
/* Rounds 68-71 */
|
||||||
|
E1 = _mm_sha1nexte_epu32(E1, MSG1);
|
||||||
|
E0 = ABCD;
|
||||||
|
MSG2 = _mm_sha1msg2_epu32(MSG2, MSG1);
|
||||||
|
ABCD = _mm_sha1rnds4_epu32(ABCD, E1, 3);
|
||||||
|
MSG3 = _mm_xor_si128(MSG3, MSG1);
|
||||||
|
|
||||||
|
/* Rounds 72-75 */
|
||||||
|
E0 = _mm_sha1nexte_epu32(E0, MSG2);
|
||||||
|
E1 = ABCD;
|
||||||
|
MSG3 = _mm_sha1msg2_epu32(MSG3, MSG2);
|
||||||
|
ABCD = _mm_sha1rnds4_epu32(ABCD, E0, 3);
|
||||||
|
|
||||||
|
/* Rounds 76-79 */
|
||||||
|
E1 = _mm_sha1nexte_epu32(E1, MSG3);
|
||||||
|
E0 = ABCD;
|
||||||
|
ABCD = _mm_sha1rnds4_epu32(ABCD, E1, 3);
|
||||||
|
|
||||||
|
/* Combine state */
|
||||||
|
E0 = _mm_sha1nexte_epu32(E0, E0_SAVE);
|
||||||
|
ABCD = _mm_add_epi32(ABCD, ABCD_SAVE);
|
||||||
|
|
||||||
|
s->blkused = 0;
|
||||||
|
}
|
||||||
|
|
||||||
|
ABCD = _mm_shuffle_epi32(ABCD, 0x1B);
|
||||||
|
|
||||||
|
/* Save state */
|
||||||
|
_mm_storeu_si128((__m128i*) s->h, ABCD);
|
||||||
|
s->h[4] = _mm_extract_epi32(E0, 3);
|
||||||
|
|
||||||
|
memcpy(s->block, q, len);
|
||||||
|
s->blkused = len;
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
#else /* COMPILER_SUPPORTS_AES_NI */
|
#else /* COMPILER_SUPPORTS_AES_NI */
|
||||||
|
|
||||||
|
static void sha1_ni(SHA_State * s, const unsigned char *q, int len)
|
||||||
|
{
|
||||||
|
assert(0);
|
||||||
|
}
|
||||||
|
|
||||||
int supports_sha_ni(void)
|
int supports_sha_ni(void)
|
||||||
{
|
{
|
||||||
return 0;
|
return 0;
|
||||||
|
|||||||
Loading…
Reference in New Issue
Block a user