Unexpected character handling

Jan Breuer

2013-06-20 ba22a750093f5b918aefd58ba698f38dff6a14e1

Unexpected character handling

 libscpi/inc/scpi/error.h

@@ -2,7 +2,7 @@
 * Copyright (c) 2012-2013 Jan Breuer,
 *
 * All Rights Reserved
 * 
 *
 * Redistribution and use in source and binary forms, with or without
 * modification, are permitted provided that the following conditions are
 * met:
@@ -11,7 +11,7 @@
 * 2. Redistributions in binary form must reproduce the above copyright
 *    notice, this list of conditions and the following disclaimer in the
 *    documentation and/or other materials provided with the distribution.
 * 
 *
 * THIS SOFTWARE IS PROVIDED BY THE AUTHORS ``AS IS'' AND ANY EXPRESS OR
 * IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED
 * WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE ARE
@@ -28,10 +28,10 @@
/**
 * @file   scpi_error.h
 * @date   Thu Nov 15 10:58:45 UTC 2012
 * 
 *
 * @brief  Error handling and storing routines
 * 
 * 
 *
 *
 */

#ifndef SCPI_ERROR_H
@@ -42,27 +42,35 @@
#ifdef    __cplusplus
extern "C" {
#endif
    

    void SCPI_ErrorInit(scpi_t * context);
    void SCPI_ErrorClear(scpi_t * context);
    int16_t SCPI_ErrorPop(scpi_t * context);
    void SCPI_ErrorPush(scpi_t * context, int16_t err);
    int32_t SCPI_ErrorCount(scpi_t * context);    
    int32_t SCPI_ErrorCount(scpi_t * context);
    const char * SCPI_ErrorTranslate(int16_t err);

#define SCPI_ERROR_SYNTAX               -102
#define SCPI_ERROR_INVALID_SEPARATOR    -103
#define SCPI_ERROR_UNDEFINED_HEADER     -113
#define SCPI_ERROR_PARAMETER_NOT_ALLOWED        -108
#define SCPI_ERROR_MISSING_PARAMETER    -109
#define SCPI_ERROR_INVALID_SUFFIX       -131
#define SCPI_ERROR_SUFFIX_NOT_ALLOWED   -138
#define SCPI_ERROR_UNKNOWN_PARAMETER    -199 // TODO: fix name and value
#define SCPI_ERROR_INVALID_PARAMETER    -198 // TODO: fix name and value
    
    
#define SCPI_ERROR_EXECUTION_ERROR      -200
    
/* http://en.wikipedia.org/wiki/X_Macro */
#define LIST_OF_ERRORS \
    X(SCPI_ERROR_SYNTAX,               -102, "Syntax error")                   \
    X(SCPI_ERROR_INVALID_SEPARATOR,    -103, "Invalid separator")              \
    X(SCPI_ERROR_UNDEFINED_HEADER,     -113, "Undefined header")               \
    X(SCPI_ERROR_PARAMETER_NOT_ALLOWED,-108, "Parameter not allowed")          \
    X(SCPI_ERROR_MISSING_PARAMETER,    -109, "Missing parameter")              \
    X(SCPI_ERROR_INVALID_SUFFIX,       -131, "Invalid suffix")                 \
    X(SCPI_ERROR_SUFFIX_NOT_ALLOWED,   -138, "Suffix not allowed")             \
    X(SCPI_ERROR_UNKNOWN_PARAMETER,    -199, "Unknown parameter")              \
    X(SCPI_ERROR_INVALID_PARAMETER,    -198, "Invalid parameter")              \
    X(SCPI_ERROR_UNEXPECTED_CHARACTER, -197, "Unexpected character")           \
    X(SCPI_ERROR_EXECUTION_ERROR,      -200, "Execution error")                \


enum {
#define X(def, val, str) def = val,
LIST_OF_ERRORS
#undef X
};

#ifdef    __cplusplus
}
#endif

 libscpi/inc/scpi/lexer.h

@@ -43,6 +43,7 @@
extern "C" {
#endif

    int SCPI_LexIsEos(lex_state_t * state);
    int SCPI_LexWhiteSpace(lex_state_t * state, token_t * token);
    int SCPI_LexProgramHeader(lex_state_t * state, token_t * token);
    int SCPI_LexQuestion(lex_state_t * state, token_t * token);

 libscpi/inc/scpi/types.h

@@ -136,11 +136,14 @@
        TokDoubleQuoteProgramData,
        TokProgramExpression,
        TokCompoundProgramHeader,
        TokIncompleteCompoundProgramHeader,
        TokCommonProgramHeader,
        TokIncompleteCommonProgramHeader,
        TokCompoundQueryProgramHeader,
        TokCommonQueryProgramHeader,
        TokWhiteSpace,
        TokAllProgramData,
        TokInvalid,
        TokUnknown,
    };
    typedef enum _token_type_t token_type_t;

 libscpi/src/error.c

@@ -174,13 +174,9 @@
const char * SCPI_ErrorTranslate(int16_t err) {
    switch (err) {
        case 0: return "No error";
        case SCPI_ERROR_SYNTAX: return "Syntax error";
        case SCPI_ERROR_INVALID_SEPARATOR: return "Invalid separator";
        case SCPI_ERROR_UNDEFINED_HEADER: return "Undefined header";
        case SCPI_ERROR_PARAMETER_NOT_ALLOWED: return "Parameter not allowed";
        case SCPI_ERROR_MISSING_PARAMETER: return "Missing parameter";
        case SCPI_ERROR_INVALID_SUFFIX: return "Invalid suffix";
        case SCPI_ERROR_SUFFIX_NOT_ALLOWED: return "Suffix not allowed";
        #define X(def, val, str) case def: return str;
        LIST_OF_ERRORS
        #undef X        
        default: return "Unknown error";
    }
}

 libscpi/src/lexer.c

@@ -40,23 +40,22 @@

#include "scpi/lexer.h"


/* identify character */
static int isws ( int c ) {
static int isws(int c) {
    if ((c == ' ') || (c == '\t')) {
        return 1;
    }
    return 0;
}

static int isbdigit ( int c ) {
static int isbdigit(int c) {
    if ((c == '0') || (c == '1')) {
        return 1;
    }
    return 0;
}

static int isqdigit ( int c ) {
static int isqdigit(int c) {
    if ((c == '0') || (c == '1') || (c == '2') || (c == '3') || (c == '4') || (c == '5') || (c == '6') || (c == '7')) {
        return 1;
    }
@@ -71,6 +70,10 @@
    }
}

int SCPI_LexIsEos(lex_state_t * state) {
    return iseos(state);
}

static int ischr(lex_state_t * state, char chr) {
    return (state->pos[0] == chr);
}
@@ -80,31 +83,36 @@
}

static int isH(int c) {
    return c == 'h' || c == 'H';  
    return c == 'h' || c == 'H';
}

static int isB(int c) {
    return c == 'b' || c == 'B';  
    return c == 'b' || c == 'B';
}

static int isQ(int c) {
    return c == 'q' || c == 'Q';  
    return c == 'q' || c == 'Q';
}

static int isE(int c) {
    return c == 'e' || c == 'E';  
    return c == 'e' || c == 'E';
}

#define SKIP_NONE       0
#define SKIP_OK         1
#define SKIP_INCOMPLETE -1

/* skip characters */
/* 7.4.1 <PROGRAM MESSAGE UNIT SEPARATOR>*/
// TODO: static int skipProgramMessageUnitSeparator(lex_state_t * state)

static int skipWs(lex_state_t * state) {
    int someSpace = 0;
    while(!iseos(state) && isws(state->pos[0])) {
    while (!iseos(state) && isws(state->pos[0])) {
        state->pos++;
        someSpace++;
    }
    

    return someSpace;
}

@@ -115,17 +123,17 @@
// static int skipProgramMessageTerminator(lex_state_t * state)

static int skipDigit(lex_state_t * state) {
    if(!iseos(state) && isdigit(state->pos[0])) {
    if (!iseos(state) && isdigit(state->pos[0])) {
        state->pos++;
        return 1;
        return SKIP_OK;
    } else {
        return 0;
        return SKIP_NONE;
    }
}

static int skipNumbers(lex_state_t * state) {
    int someNumbers = 0;
    while(!iseos(state) && isdigit(state->pos[0])) {
    while (!iseos(state) && isdigit(state->pos[0])) {
        state->pos++;
        someNumbers++;
    }
@@ -133,258 +141,283 @@
}

static int skipPlusmn(lex_state_t * state) {
    if(!iseos(state) && isplusmn(state->pos[0])) {
    if (!iseos(state) && isplusmn(state->pos[0])) {
        state->pos++;
        return 1;
        return SKIP_OK;
    } else {
        return 0;
        return SKIP_NONE;
    }
}

static int skipAlpha(lex_state_t * state) {
    int someLetters = 0;
    while(!iseos(state) && isalpha(state->pos[0])) {
    while (!iseos(state) && isalpha(state->pos[0])) {
        state->pos++;
        someLetters++;
    }
    return someLetters;    
    return someLetters;
}

static int skipChr(lex_state_t * state, int chr) {
    if(!iseos(state) && ischr(state, chr)) {
    if (!iseos(state) && ischr(state, chr)) {
        state->pos++;
        return 1;
        return SKIP_OK;
    } else {
        return 0;
        return SKIP_NONE;
    }
}

static int skipSlashDot(lex_state_t * state) {
    if(!iseos(state) && (ischr(state, '/') | ischr(state, '.'))) {
    if (!iseos(state) && (ischr(state, '/') | ischr(state, '.'))) {
        state->pos++;
        return 1;
        return SKIP_OK;
    } else {
        return 0;
    }    
        return SKIP_NONE;
    }
}

static int skipStar(lex_state_t * state) {
    if(!iseos(state) && ischr(state, '*')) {
    if (!iseos(state) && ischr(state, '*')) {
        state->pos++;
        return 1;
        return SKIP_OK;
    } else {
        return 0;
    }    
        return SKIP_NONE;
    }
}

static int skipColon(lex_state_t * state) {
    if(!iseos(state) && ischr(state, ':')) {
    if (!iseos(state) && ischr(state, ':')) {
        state->pos++;
        return 1;
        return SKIP_OK;
    } else {
        return 0;
    }    
        return SKIP_NONE;
    }
}

/* 7.6.1.2 <COMMAND PROGRAM HEADER> */
static int skipProgramMnemonic(lex_state_t * state) {
    const char * startPos = state->pos;
    if(!iseos(state) && isalpha(state->pos[0])) {
    if (!iseos(state) && isalpha(state->pos[0])) {
        state->pos++;
        while(!iseos(state) && (isalnum(state->pos[0]) || ischr(state, '_'))) {
        while (!iseos(state) && (isalnum(state->pos[0]) || ischr(state, '_'))) {
            state->pos++;
        }
    }
    
    return state->pos - startPos;

    if (iseos(state)) {
        return (state->pos - startPos) * SKIP_INCOMPLETE;
    } else {
        return (state->pos - startPos) * SKIP_OK;
    }
}

/* tokens */
int SCPI_LexWhiteSpace(lex_state_t * state, token_t * token) {
    token->ptr = state->pos;
    

    skipWs(state);
    
    token->len = state->pos - token->ptr;  
    

    token->len = state->pos - token->ptr;

    if (token->len > 0) {
        token->type = TokWhiteSpace;
    } else {
        token->type = TokUnknown;
    }        
    
    }

    return token->len;
}

/* 7.6.1 <COMMAND PROGRAM HEADER> */
static int skipCommonProgramHeader(lex_state_t * state) {
    int res;
    if (skipStar(state)) {
        if(!skipProgramMnemonic(state)) {
            state->pos--;
        res = skipProgramMnemonic(state);
        if (res == SKIP_NONE && iseos(state)) {
            return SKIP_INCOMPLETE;
        } else if (res <= SKIP_INCOMPLETE) {
            return SKIP_OK;
        } else if (res >= SKIP_OK) {
            return SKIP_OK;
        } else {
            return 1;
            return SKIP_INCOMPLETE;
        }
    }
    return 0;
    return SKIP_NONE;
}

static int skipCompoundProgramHeader(lex_state_t * state) {
    const char * rollback = state->pos;
    
    skipColon(state);
    
    if(skipProgramMnemonic(state)) {
        while(skipColon(state)) {
            if(!skipProgramMnemonic(state)) {
                state->pos = rollback;
                return 0;
    int res;
    int firstColon = skipColon(state);

    res = skipProgramMnemonic(state);
    if (res >= SKIP_OK) {
        while (skipColon(state)) {
            res = skipProgramMnemonic(state);
            if (res <= SKIP_INCOMPLETE) {
                return SKIP_OK;
            } else if (res == SKIP_NONE) {
                return SKIP_INCOMPLETE;
            }
        }
        return 1;
        return SKIP_OK;
    } else if (res <= SKIP_INCOMPLETE) {
        return SKIP_OK;
    } else if (firstColon) {
        return SKIP_INCOMPLETE;
    } else {
        state->pos = rollback;        
        return 0;
        return SKIP_NONE;
    }
}

int SCPI_LexProgramHeader(lex_state_t * state,  token_t * token) {
int SCPI_LexProgramHeader(lex_state_t * state, token_t * token) {
    int res;
    token->ptr = state->pos;
    token->type = TokUnknown;
    
    if(skipCommonProgramHeader(state)) {
        if (skipChr(state, '?')) {

    res = skipCommonProgramHeader(state);
    if (res >= SKIP_OK) {
        if (skipChr(state, '?') >= SKIP_OK) {
            token->type = TokCommonQueryProgramHeader;
        } else {
            token->type = TokCommonProgramHeader;
        }
    } else if(skipCompoundProgramHeader(state)) {
        if (skipChr(state, '?')) {
            token->type = TokCompoundQueryProgramHeader;
        } else {
            token->type = TokCompoundProgramHeader;
        }
    } else if (res <= SKIP_INCOMPLETE) {
        token->type = TokIncompleteCommonProgramHeader;
    } else if (res == SKIP_NONE) {
        res = skipCompoundProgramHeader(state);

        if (res >= SKIP_OK) {
            if (skipChr(state, '?') >= SKIP_OK) {
                token->type = TokCompoundQueryProgramHeader;
            } else {
                token->type = TokCompoundProgramHeader;
            }
        } else if (res <= SKIP_INCOMPLETE) {
            token->type = TokIncompleteCompoundProgramHeader;
        } 
    }
    

    if (token->type != TokUnknown) {
        token->len = state->pos - token->ptr;
    } else {
        token->len = 0;
        state->pos = token->ptr;
    }
    
    return token->len;    

    return token->len;
}

/* 7.7.1 <CHARACTER PROGRAM DATA> */
int SCPI_LexCharacterProgramData(lex_state_t * state, token_t * token) {
    token->ptr = state->pos;
    
    if(!iseos(state) && isalpha(state->pos[0])) {

    if (!iseos(state) && isalpha(state->pos[0])) {
        state->pos++;
        while(!iseos(state) && (isalnum(state->pos[0]) || ischr(state, '_'))) {
        while (!iseos(state) && (isalnum(state->pos[0]) || ischr(state, '_'))) {
            state->pos++;
        }
    }
    

    token->len = state->pos - token->ptr;
    if(token->len > 0) {
    if (token->len > 0) {
        token->type = TokProgramMnemonic;
    } else {
        token->type = TokUnknown;
    }
    

    return token->len;
}

/* 7.7.2 <DECIMAL NUMERIC PROGRAM DATA> */
static int skipMantisa(lex_state_t * state) {
    int someNumbers = 0;
    

    skipPlusmn(state);
    

    someNumbers += skipNumbers(state);
    
    if(skipChr(state, '.')) {

    if (skipChr(state, '.')) {
        someNumbers += skipNumbers(state);
    }
    

    return someNumbers;
}

static int skipExponent(lex_state_t * state) {
    int someNumbers = 0;
    
    if(!iseos(state) && isE(state->pos[0])) {

    if (!iseos(state) && isE(state->pos[0])) {
        state->pos++;
        

        skipWs(state);
        

        skipPlusmn(state);
        

        someNumbers = skipNumbers(state);
    }
    

    return someNumbers;
}

int SCPI_LexDecimalNumericProgramData(lex_state_t * state, token_t * token) {
    const char * rollback;
    token->ptr = state->pos;
    

    if (skipMantisa(state)) {
        rollback = state->pos;
        skipWs(state);
        if(!skipExponent(state)) {
        if (!skipExponent(state)) {
            state->pos = rollback;
        }
    } else {
        state->pos = token->ptr;
    }
    

    token->len = state->pos - token->ptr;
    if(token->len > 0) {
    if (token->len > 0) {
        token->type = TokDecimalNumericProgramData;
    } else {
        token->type = TokUnknown;
    }
    

    return token->len;
}

/* 7.7.3 <SUFFIX PROGRAM DATA> */
int SCPI_LexSuffixProgramData(lex_state_t * state, token_t * token) {
    token->ptr = state->pos;
    

    skipChr(state, '/');
    

    // TODO: strict parsing  : SLASH? (ALPHA+ (MINUS? DIGIT)?) ((SLASH | DOT) (ALPHA+ (MINUS? DIGIT)?))*
    if (skipAlpha(state)) {
        skipChr(state, '-');
        skipDigit(state);
        

        while (skipSlashDot(state)) {
            skipAlpha(state);
            skipChr(state, '-');
            skipDigit(state);            
            skipDigit(state);
        }
    }
    

    token->len = state->pos - token->ptr;
    if((token->len > 0)) {
    if ((token->len > 0)) {
        token->type = TokSuffixProgramData;
    } else {
        token->type = TokUnknown;
        state->pos = token->ptr;
        token->len = 0;
    }
    

    return token->len;
}

/* 7.7.4 <NONDECIMAL NUMERIC PROGRAM DATA> */
static int skipHexNum(lex_state_t * state) {
    int someNumbers = 0;
    while(!iseos(state) && isxdigit(state->pos[0])) {
    while (!iseos(state) && isxdigit(state->pos[0])) {
        state->pos++;
        someNumbers++;
    }
@@ -393,7 +426,7 @@

static int skipOctNum(lex_state_t * state) {
    int someNumbers = 0;
    while(!iseos(state) && isqdigit(state->pos[0])) {
    while (!iseos(state) && isqdigit(state->pos[0])) {
        state->pos++;
        someNumbers++;
    }
@@ -402,35 +435,34 @@

static int skipBinNum(lex_state_t * state) {
    int someNumbers = 0;
    while(!iseos(state) && isbdigit(state->pos[0])) {
    while (!iseos(state) && isbdigit(state->pos[0])) {
        state->pos++;
        someNumbers++;
    }
    return someNumbers;
}


int SCPI_LexNondecimalNumericData(lex_state_t * state, token_t * token) {
    token->ptr = state->pos;
    int someNumbers = 0;
    if(skipChr(state, '#')) {
        if(!iseos(state)) {
            if(isH(state->pos[0])) {
    if (skipChr(state, '#')) {
        if (!iseos(state)) {
            if (isH(state->pos[0])) {
                state->pos++;
                someNumbers = skipHexNum(state);
                token->type = TokHexnum;
            } else if(isQ(state->pos[0])) {
            } else if (isQ(state->pos[0])) {
                state->pos++;
                someNumbers = skipOctNum(state);
                token->type = TokOctnum;
            } else if(isB(state->pos[0])) {
            } else if (isB(state->pos[0])) {
                state->pos++;
                someNumbers = skipBinNum(state);
                token->type = TokBinnum;
            }
        }
    }
    

    if (someNumbers) {
        token->ptr += 2; // ignore number prefix
        token->len = state->pos - token->ptr;
@@ -442,15 +474,13 @@
    return token->len > 0 ? token->len + 2 : 0;
}


/* 7.7.5 <STRING PROGRAM DATA> */
static int isascii7bit(int c) {
    return (c >= 0) && (c <= 0x7f);
}


static int skipQuoteProgramData(lex_state_t * state, int quote) {
    while(!iseos(state)) {
    while (!iseos(state)) {
        if (isascii7bit(state->pos[0]) && !ischr(state, quote)) {
            state->pos++;
        } else if (ischr(state, quote)) {
@@ -464,7 +494,7 @@
        }
    }
}
    

static int skipDoubleQuoteProgramData(lex_state_t * state) {
    skipQuoteProgramData(state, '"');
}
@@ -473,9 +503,9 @@
    skipQuoteProgramData(state, '\'');
}

int SCPI_LexStringProgramData(lex_state_t * state,  token_t * token) {
int SCPI_LexStringProgramData(lex_state_t * state, token_t * token) {
    token->ptr = state->pos;
    

    if (!iseos(state)) {
        if (ischr(state, '"')) {
            state->pos++;
@@ -499,10 +529,10 @@
            }
        }
    }
    

    token->len = state->pos - token->ptr;
    
    if((token->len > 0)) {

    if ((token->len > 0)) {
        token->ptr++;
        token->len -= 2;
    } else {
@@ -510,7 +540,7 @@
        state->pos = token->ptr;
        token->len = 0;
    }
    

    return token->len > 0 ? token->len + 2 : 0;
}

@@ -530,8 +560,8 @@
            /* Get number of digits */
            i = state->pos[0] - '0';
            state->pos++;
            
            for(; i > 0; i--) {

            for (; i > 0; i--) {
                if (!iseos(state) && isdigit(state->pos[0])) {
                    j *= 10;
                    j += (state->pos[0] - '0');
@@ -540,8 +570,8 @@
                    break;
                }
            }
            
            if(i == 0) {

            if (i == 0) {
                state->pos += j;
                if ((state->buffer + state->len) < (state->pos)) {
                    token->len = 0;
@@ -557,47 +587,48 @@
        }
    }

    if((token->len > 0)) {
    if ((token->len > 0)) {
        token->type = TokArbitraryBlockProgramData;
    } else {
        token->type = TokUnknown;
        state->pos = token->ptr;
        token->len = 0;
    }
    

    return token->len + (token->ptr - ptr);
}

/* 7.7.7 <EXPRESSION PROGRAM DATA> */
static int isProgramExpression(int c) {
    if ((c >= 0x20) && (c<=0x7e)) {
        if ((c!= 0x22)
            && (c!= 0x23) 
            && (c!= 0x27) 
            && (c!= 0x28) 
            && (c!= 0x29) 
            && (c!= 0x3B)) {
    if ((c >= 0x20) && (c <= 0x7e)) {
        if ((c != 0x22)
                && (c != 0x23)
                && (c != 0x27)
                && (c != 0x28)
                && (c != 0x29)
                && (c != 0x3B)) {
            return 1;
        }
    }
    

    return 0;
}

static void skipProgramExpression(lex_state_t * state) {
    while(!iseos(state) && isProgramExpression(state->pos[0])) {
    while (!iseos(state) && isProgramExpression(state->pos[0])) {
        state->pos++;
    }
}

// TODO: 7.7.7.2-2 recursive - any program data
int SCPI_LexProgramExpression(lex_state_t * state,  token_t * token) {

int SCPI_LexProgramExpression(lex_state_t * state, token_t * token) {
    token->ptr = state->pos;
    

    if (!iseos(state) && ischr(state, '(')) {
        state->pos++;
        skipProgramExpression(state);
        

        if (!iseos(state) && ischr(state, ')')) {
            state->pos++;
            token->len = state->pos - token->ptr;
@@ -605,21 +636,21 @@
            token->len = 0;
        }
    }
    
    if((token->len > 0)) {

    if ((token->len > 0)) {
        token->type = TokProgramExpression;
    } else {
        token->type = TokUnknown;
        state->pos = token->ptr;
        token->len = 0;
    }
    

    return token->len;
}

int SCPI_LexComma(lex_state_t * state, token_t * token) {
    token->ptr = state->pos;
    

    if (skipChr(state, ',')) {
        token->len = 1;
        token->type = TokComma;
@@ -627,13 +658,13 @@
        token->len = 0;
        token->type = TokUnknown;
    }
    

    return token->len;
}

int SCPI_LexSemicolon(lex_state_t * state, token_t * token) {
    token->ptr = state->pos;
    

    if (skipChr(state, ';')) {
        token->len = 1;
        token->type = TokSemicolon;
@@ -641,26 +672,26 @@
        token->len = 0;
        token->type = TokUnknown;
    }
    

    return token->len;
}

int SCPI_LexNewLine(lex_state_t * state,  token_t * token) {
int SCPI_LexNewLine(lex_state_t * state, token_t * token) {
    token->ptr = state->pos;
    

    skipChr(state, '\r');
    skipChr(state, '\n');
    

    token->len = state->pos - token->ptr;
    
    if((token->len > 0)) {

    if ((token->len > 0)) {
        token->type = TokNewLine;
    } else {
        token->type = TokUnknown;
        state->pos = token->ptr;
        token->len = 0;
    }
    

    return token->len;
}


 libscpi/src/parser.c

@@ -167,7 +167,9 @@

        r = SCPI_DetectProgramMessageUnit(state, data, len);

        if (state->programHeader.len > 0) {
        if (state->programHeader.type == TokInvalid) {
            SCPI_ErrorPush(context, SCPI_ERROR_UNEXPECTED_CHARACTER);
        } else if (state->programHeader.len > 0) {
            if (findCommandHeader(context, state->programHeader.ptr, state->programHeader.len)) {

                context->param_list.lex_state.buffer = state->programData.ptr;
@@ -523,6 +525,12 @@
    return token->len;
}

static void invalidateToken(token_t * token, const char * ptr) {
    token->len = 0;
    token->ptr = ptr;
    token->type = TokUnknown;
}

int SCPI_DetectProgramMessageUnit(scpi_parser_state_t * state, const char * buffer, int len) {
    lex_state_t lex_state;
    token_t tmp;
@@ -530,6 +538,7 @@

    lex_state.buffer = lex_state.pos = buffer;
    lex_state.len = len;
    state->numberOfParameters = 0;

    /* ignore whitespace at the begginig */
    SCPI_LexWhiteSpace(&lex_state, &tmp);
@@ -538,25 +547,25 @@
        if (SCPI_LexWhiteSpace(&lex_state, &tmp) > 0) {
            SCPI_ParseAllProgramData(&lex_state, &state->programData, &state->numberOfParameters);
        } else {
            state->programData.len = 0;
            state->programData.ptr = lex_state.pos;
            state->programData.type = TokUnknown;
            state->numberOfParameters = 0;
            invalidateToken(&state->programData, lex_state.pos);
        }
    } else {
        state->programHeader.len = 0;
        state->programData.ptr = lex_state.buffer;
        state->programHeader.type = TokUnknown;

        state->programData.len = 0;
        state->programData.ptr = lex_state.buffer;
        state->programData.type = TokUnknown;
        state->numberOfParameters = 0;
        invalidateToken(&state->programHeader, lex_state.buffer);
        invalidateToken(&state->programData, lex_state.buffer);
    }

    if (result == 0) result = SCPI_LexNewLine(&lex_state, &tmp);
    if (result == 0) result = SCPI_LexSemicolon(&lex_state, &tmp);

    if (!SCPI_LexIsEos(&lex_state) && (result == 0)) {
        lex_state.pos++;

        state->programHeader.len = 1;
        state->programHeader.type = TokInvalid;

        invalidateToken(&state->programData, lex_state.buffer);        
    }

    if (TokSemicolon == tmp.type) {
        state->termination = PmutSemicolon;
    } else if (TokNewLine == tmp.type) {

 libscpi/test/test_lexer_parser.c

@@ -50,6 +50,9 @@
        case TokCommonQueryProgramHeader: return "TokCommonQueryProgramHeader";
        case TokWhiteSpace: return "TokWhiteSpace";
        case TokAllProgramData: return "TokAllProgramData";
        case TokIncompleteCompoundProgramHeader: return "TokIncompleteCompoundProgramHeader";
        case TokIncompleteCommonProgramHeader: return "TokIncompleteCommonProgramHeader";
        case TokInvalid: return "TokInvalid";
        default: return "TokUnknown";
    }
}
@@ -133,14 +136,16 @@
void testProgramHeader(void) {
    TEST_TOKEN("*IDN? ", SCPI_LexProgramHeader, 0, 5, TokCommonQueryProgramHeader);
    TEST_TOKEN("*RST ", SCPI_LexProgramHeader, 0, 4, TokCommonProgramHeader);
    TEST_TOKEN("*?; ", SCPI_LexProgramHeader, 0, 0, TokUnknown);
    TEST_TOKEN(":*IDN?; ", SCPI_LexProgramHeader, 0, 0, TokUnknown);
    TEST_TOKEN("*?; ", SCPI_LexProgramHeader, 0, 1, TokIncompleteCommonProgramHeader);
    TEST_TOKEN(":*IDN?; ", SCPI_LexProgramHeader, 0, 1, TokIncompleteCompoundProgramHeader);
    TEST_TOKEN("MEAS:VOLT:DC? ", SCPI_LexProgramHeader, 0, 13, TokCompoundQueryProgramHeader);
    TEST_TOKEN("CONF:VOLT:DC ", SCPI_LexProgramHeader, 0, 12, TokCompoundProgramHeader);
    TEST_TOKEN(":MEAS:VOLT:DC? ", SCPI_LexProgramHeader, 0, 14, TokCompoundQueryProgramHeader);
    TEST_TOKEN(":MEAS::VOLT:DC? ", SCPI_LexProgramHeader, 0, 0, TokUnknown);
    TEST_TOKEN(":MEAS::VOLT:DC? ", SCPI_LexProgramHeader, 0, 6, TokIncompleteCompoundProgramHeader);
    TEST_TOKEN("*IDN?", SCPI_LexProgramHeader, 0, 5, TokCommonQueryProgramHeader);
    TEST_TOKEN("*RST", SCPI_LexProgramHeader, 0, 4, TokCommonProgramHeader);
    TEST_TOKEN("*RST", SCPI_LexProgramHeader, 0, 4, TokCommonProgramHeader);   
    TEST_TOKEN("CONF:VOLT:DC", SCPI_LexProgramHeader, 0, 12, TokCompoundProgramHeader);
    TEST_TOKEN("]]", SCPI_LexProgramHeader, 0, 0, TokUnknown);
}

void testArbitraryBlock(void) {
@@ -237,12 +242,13 @@
}


#define TEST_DETECT(s, h, ht, d, dc, t) do {                                    \
#define TEST_DETECT(s, h, hl, ht, d, dc, t) do {                                \
    const char * str = s;                                                       \
    scpi_parser_state_t state;                                                  \
    int result;                                                                 \
    result = SCPI_DetectProgramMessageUnit(&state, str, strlen(str));           \
    CU_ASSERT_EQUAL(state.programHeader.ptr, str+h);                            \
    CU_ASSERT_EQUAL(state.programHeader.ptr, str + h);                          \
    CU_ASSERT_EQUAL(state.programHeader.len, hl);                               \
    CU_ASSERT_EQUAL(state.programHeader.type, ht);                              \
    CU_ASSERT_EQUAL(state.programData.ptr, str + d);                            \
    CU_ASSERT_EQUAL(state.numberOfParameters, dc);                              \
@@ -250,12 +256,13 @@
} while(0)

void testDetectProgramMessageUnit(void) {
    TEST_DETECT("*IDN?\r\n", 0, TokCommonQueryProgramHeader, 5, 0, PmutNewLine);
    TEST_DETECT(" MEAS:VOLT:DC?\r\n", 1, TokCompoundQueryProgramHeader, 14, 0, PmutNewLine);
    TEST_DETECT(" MEAS:VOLT:DC? 1.2 V\r\n", 1, TokCompoundQueryProgramHeader, 15, 1, PmutNewLine);
    TEST_DETECT(" CONF:VOLT:DC 1.2 V, 100mv;", 1, TokCompoundProgramHeader, 14, 2, PmutSemicolon);
    TEST_DETECT(" CONF:VOLT:DC 1.2 V, 100mv", 1, TokCompoundProgramHeader, 14, 2, PmutNone);
    TEST_DETECT(" CONF:VOLT:DC 1.2 V, \r\n", 1, TokCompoundProgramHeader, 14, -1, PmutNewLine);
    TEST_DETECT("*IDN?\r\n", 0, 5, TokCommonQueryProgramHeader, 5, 0, PmutNewLine);
    TEST_DETECT(" MEAS:VOLT:DC?\r\n", 1, 13, TokCompoundQueryProgramHeader, 14, 0, PmutNewLine);
    TEST_DETECT(" MEAS:VOLT:DC? 1.2 V\r\n", 1, 13, TokCompoundQueryProgramHeader, 15, 1, PmutNewLine);
    TEST_DETECT(" CONF:VOLT:DC 1.2 V, 100mv;", 1, 12, TokCompoundProgramHeader, 14, 2, PmutSemicolon);
    TEST_DETECT(" CONF:VOLT:DC 1.2 V, 100mv", 1, 12, TokCompoundProgramHeader, 14, 2, PmutNone);
    TEST_DETECT(" CONF:VOLT:DC 1.2 V, \r\n", 1, 12, TokCompoundProgramHeader, 14, -1, PmutNewLine);
    TEST_DETECT("[\r\n", 0, 1, TokInvalid, 0, 0, PmutNone);
}

int main() {