如何修复因字节计数长度不正确而损坏的序列化字符串


How to repair a serialized string which has been corrupted by an incorrect byte count length?

我正在使用带有图像上传插件的萤CMS,如果我尝试将图像附加到帖子中,则会出现此错误,否则没有错误:

unserialize() [function.unserialize]:偏移量处出错

有问题的代码(错误指向与**行):

/**
     * Retrieve submission step data
     *
     * @param $key - empty when setting
     * @return bool
     */
    public function loadSubmitData($h, $key = '')
    {
        // delete everything in this table older than 30 minutes:
        $this->deleteTempData($h->db);
        if (!$key) { return false; }
        $cleanKey = preg_replace('/[^a-z0-9]+/','',$key);
        if (strcmp($key,$cleanKey) != 0) {
            return false;
        } else {
            $sql = "SELECT tempdata_value FROM " . TABLE_TEMPDATA . " WHERE tempdata_key = %s ORDER BY tempdata_updatedts DESC LIMIT 1";
            $submitted_data = $h->db->get_var($h->db->prepare($sql, $key));
            **if ($submitted_data) { return unserialize($submitted_data); } else { return false; }** 
        }
    }

表中的数据,请注意结束位有图像信息,我不是 PHP 专家,所以我想知道你们/女孩会怎么想?

tempdata_value:

a:10:{s:16:"submit_editorial";b:0;s:15:"submit_orig_url";s:13:"www.bbc.co.uk";s:12:"submit_title";s:14:"No title found";s:14:"submit_content";s:12:"dnfsdkfjdfdf";s:15:"submit_category";i:2;s:11:"submit_tags";s:3:"bbc";s:9:"submit_id";b:0;s:16:"submit_subscribe";i:0;s:15:"submit_comments";s:4:"open";s:5:"image";s:19:"C:fakepath100.jpg";}

编辑:我想我已经找到了序列化位...

/**
     * Save submission step data
     *
     * @return bool
     */
    public function saveSubmitData($h)
    {
        // delete everything in this table older than 30 minutes:
        $this->deleteTempData($h->db);
        $sid = preg_replace('/[^a-z0-9]+/i', '', session_id());
        $key = md5(microtime() . $sid . rand());
        $sql = "INSERT INTO " . TABLE_TEMPDATA . " (tempdata_key, tempdata_value, tempdata_updateby) VALUES (%s,%s, %d)";
        $h->db->query($h->db->prepare($sql, $key, serialize($h->vars['submitted_data']), $h->currentUser->id));
        return $key;
    }

由于长度无效,unserialize() [function.unserialize]: Error at offset应得invalid serialization data

快速修复

您可以做的是序列化数组中的recalculating the length元素

您当前序列化的数据

$data = 'a:10:{s:16:"submit_editorial";b:0;s:15:"submit_orig_url";s:13:"www.bbc.co.uk";s:12:"submit_title";s:14:"No title found";s:14:"submit_content";s:12:"dnfsdkfjdfdf";s:15:"submit_category";i:2;s:11:"submit_tags";s:3:"bbc";s:9:"submit_id";b:0;s:16:"submit_subscribe";i:0;s:15:"submit_comments";s:4:"open";s:5:"image";s:19:"C:fakepath100.jpg";}';

无需重新计算的示例

var_dump(unserialize($data));

输出

Notice: unserialize() [function.unserialize]: Error at offset 337 of 338 bytes

重新计算

$data = preg_replace('!s:('d+):"(.*?)";!e', "'s:'.strlen('$2').':'"$2'";'", $data);
var_dump(unserialize($data));

输出

array
  'submit_editorial' => boolean false
  'submit_orig_url' => string 'www.bbc.co.uk' (length=13)
  'submit_title' => string 'No title found' (length=14)
  'submit_content' => string 'dnfsdkfjdfdf' (length=12)
  'submit_category' => int 2
  'submit_tags' => string 'bbc' (length=3)
  'submit_id' => boolean false
  'submit_subscribe' => int 0
  'submit_comments' => string 'open' (length=4)
  'image' => string 'C:fakepath100.jpg' (length=17)

建议..我

而不是使用这种快速修复...我建议你更新问题

  • 如何序列化数据

  • 你是如何保存它的..

================================= 编辑

1 ==

==============================

错误

错误是由于使用双引号"而不是单引号'而生成的,这就是C:'fakepath'100.png转换为C:fakepath100.jpg的原因

修复错误

您需要将$h->vars['submitted_data']从(注意单声相当'

取代

 $h->vars['submitted_data']['image'] = "C:'fakepath'100.png" ;

 $h->vars['submitted_data']['image'] = 'C:'fakepath'100.png' ;

附加过滤器

您还可以在调用 serialize 之前添加此简单筛选器

function satitize(&$value, $key)
{
    $value = addslashes($value);
}
array_walk($h->vars['submitted_data'], "satitize");

如果您有 UTF 字符,您还可以运行

 $h->vars['submitted_data'] = array_map("utf8_encode",$h->vars['submitted_data']);

如何在将来的序列化数据中检测问题

  findSerializeError ( $data1 ) ;

输出

Diffrence 9 != 7
    -> ORD number 57 != 55
    -> Line Number = 315
    -> Section Data1  = pen";s:5:"image";s:19:"C:fakepath100.jpg
    -> Section Data2  = pen";s:5:"image";s:17:"C:fakepath100.jpg
                                            ^------- The Error (Element Length)

findSerializeError功能

function findSerializeError($data1) {
    echo "<pre>";
    $data2 = preg_replace ( '!s:('d+):"(.*?)";!e', "'s:'.strlen('$2').':'"$2'";'",$data1 );
    $max = (strlen ( $data1 ) > strlen ( $data2 )) ? strlen ( $data1 ) : strlen ( $data2 );
    echo $data1 . PHP_EOL;
    echo $data2 . PHP_EOL;
    for($i = 0; $i < $max; $i ++) {
        if (@$data1 {$i} !== @$data2 {$i}) {
            echo "Diffrence ", @$data1 {$i}, " != ", @$data2 {$i}, PHP_EOL;
            echo "'t-> ORD number ", ord ( @$data1 {$i} ), " != ", ord ( @$data2 {$i} ), PHP_EOL;
            echo "'t-> Line Number = $i" . PHP_EOL;
            $start = ($i - 20);
            $start = ($start < 0) ? 0 : $start;
            $length = 40;
            $point = $max - $i;
            if ($point < 20) {
                $rlength = 1;
                $rpoint = - $point;
            } else {
                $rpoint = $length - 20;
                $rlength = 1;
            }
            echo "'t-> Section Data1  = ", substr_replace ( substr ( $data1, $start, $length ), "<b style='"color:green'">{$data1 {$i}}</b>", $rpoint, $rlength ), PHP_EOL;
            echo "'t-> Section Data2  = ", substr_replace ( substr ( $data2, $start, $length ), "<b style='"color:red'">{$data2 {$i}}</b>", $rpoint, $rlength ), PHP_EOL;
        }
    }
}

保存到数据库的更好方法

$toDatabse = base64_encode(serialize($data));  // Save to database
$fromDatabase = unserialize(base64_decode($data)); //Getting Save Format 

我没有足够的声誉来评论,所以我希望使用上述"正确"答案的人看到这一点:

从 php 5.5 开始,preg_replace() 中的/e 修饰符已被完全弃用,上面的preg_match将出错。php 文档建议在其位置使用 preg_match_callback。

请找到以下解决方案作为上述建议preg_match的替代方案。

$fixed_data = preg_replace_callback ( '!s:('d+):"(.*?)";!', function($match) {      
    return ($match[1] == strlen($match[2])) ? $match[0] : 's:' . strlen($match[2]) . ':"' . $match[2] . '";';
},$bad_data );

快速修复

重新计算序列化数组中元素的长度 - 但不要使用 (preg_replace) 它已被弃用 - 更好地使用preg_replace_callback:

编辑:新版本现在不仅长度错误,而且还修复了换行符并使用aczent计算正确的字符(感谢mickmackusa)

// New Version
$data = preg_replace_callback('!s:'d+:"(.*?)";!s', 
    function($m) {
        return "s:" . strlen($m[1]) . ':"'.$m[1].'";'; 
    }, $data
);

失败还有另一个原因unserialize()因为您不正确地将序列化数据放入数据库中,请参阅此处的官方解释。由于serialize()返回二进制数据,而 php 变量不关心编码方法,因此将其放入 TEXT,VARCHAR() 会导致此错误。

解决方案:将序列化数据存储到表中的 BLOB 中。

$badData = 'a:2:{i:0;s:16:"as:45:"d";
Is 'n";i:1;s:19:"as:45:"d";
Is 'r'n";}';

您无法使用建议的正则表达式修复损坏的序列化字符串:

$data = preg_replace('!s:('d+):"(.*?)";!e', "'s:'.strlen('$2').':'"$2'";'", $badData);
var_dump(@unserialize($data)); // Output: bool(false)
// or
$data = preg_replace_callback(
    '/s:('d+):"(.*?)";/',
    function($m){
        return 's:' . strlen($m[2]) . ':"' . $m[2] . '";';
    },
    $badData
);
var_dump(@unserialize($data)); // Output: bool(false)

您可以使用以下正则表达式修复损坏的序列化字符串:

$data = preg_replace_callback(
    '/(?<=^|'{|;)s:('d+):'"(.*?)'";(?=[asbdiO]':'d|N;|'}|$)/s',
    function($m){
        return 's:' . strlen($m[2]) . ':"' . $m[2] . '";';
    },
    $badData
);
var_dump(@unserialize($data));

输出

array(2) {
  [0] =>
  string(17) "as:45:"d";
Is 'n"
  [1] =>
  string(19) "as:45:"d";
Is 'r'n"
}

array(2) {
  [0] =>
  string(16) "as:45:"d";
Is 'n"
  [1] =>
  string(18) "as:45:"d";
Is 'r'n"
}

导致此错误是因为您的字符集错误。

在打开标签后设置字符集:

header('Content-Type: text/html; charset=utf-8');

并在数据库中设置字符集 utf8:

mysql_query("SET NAMES 'utf8'");
public function unserializeKeySkills($string) {
    $output = array();
    $string = trim(preg_replace('/'s's+/', ' ',$string));
    $string = preg_replace_callback('!s:('d+):"(.*?)";!', function($m) { return 's:'.strlen($m[2]).':"'.$m[2].'";'; }, utf8_encode( trim(preg_replace('/'s's+/', ' ',$string)) ));
    try {
        $output =  unserialize($string);
    } catch ('Exception $e) {
        'Log::error("unserialize Data : " .print_r($string,true));
    }
    return $output;
}

您可以使用以下函数修复损坏的序列化字符串,并进行多字节字符处理。

function repairSerializeString($value)
{
    $regex = '/s:([0-9]+):"(.*?)"/';
    return preg_replace_callback(
        $regex, function($match) {
            return "s:".mb_strlen($match[2]).":'"".$match[2]."'""; 
        },
        $value
    );
}

此问题中的损坏隔离到序列化字符串末尾的单个子字符串中,可能被懒惰地想要更新image文件名的人手动替换。 这一事实将在我下面的演示链接中使用OP发布的数据中显而易见 - 简而言之,C:fakepath100.jpg没有19长度,它应该是17

由于序列化字符串损坏仅限于不正确的字节/字符计数,因此以下内容将很好地使用正确的字节计数值更新损坏的字符串。

以下基于正则表达式的替换只会在纠正字节计数方面有效,仅此而已。

看起来许多早期的帖子只是复制粘贴其他人的正则表达式模式。 如果不打算在替换中使用可能损坏的字节计数号,则没有理由捕获该字节计数。 此外,在字符串值包含换行符/换行符的情况下,添加 s 模式修饰符是合理的包含。

*对于那些不知道序列化处理多字节字符的人,您一定不能在自定义回调中使用mb_strlen(),因为它存储的是字节计数而不是字符计数,请参阅我的输出...

代码:(使用OP数据演示)(使用任意示例数据演示)(使用条件替换演示)

$corrupted = <<<STRING
a:4:{i:0;s:3:"three";i:1;s:5:"five";i:2;s:2:"newline1
newline2";i:3;s:6:"garçon";}
STRING;
$repaired = preg_replace_callback(
        '/s:'d+:"(.*?)";/s',
        //  ^^^- matched/consumed but not captured because not used in replacement
        function ($m) {
            return "s:" . strlen($m[1]) . ":'"{$m[1]}'";";
        },
        $corrupted
    );
echo $corrupted , "'n" , $repaired;
echo "'n---'n";
var_export(unserialize($repaired));

输出:

a:4:{i:0;s:3:"three";i:1;s:5:"five";i:2;s:2:"newline1
Newline2";i:3;s:6:"garçon";}
a:4:{i:0;s:5:"three";i:1;s:4:"five";i:2;s:17:"newline1
Newline2";i:3;s:7:"garçon";}
---
array (
  0 => 'three',
  1 => 'five',
  2 => 'newline1
Newline2',
  3 => 'garçon',
)

一条腿在兔子洞里...即使字符串值中出现双引号,上述方法也可以正常工作,但如果字符串值包含";或其他一些令人痛苦的颤抖,则需要更进一步并实现"lookarounds"。 我的新模式

检查前导s是否为:

  • 整个输入字符串的开头或
  • 前面是;

并检查";是否为:

  • 在整个输入字符串的末尾或
  • 后跟 }
  • 后跟字符串或整数声明s:i:

我还没有测试过每一种可能性;事实上,我对序列化字符串中的所有可能性都比较陌生,因为我从不选择使用序列化数据——在现代应用程序中总是 json。如果有其他可能的前导或尾随字符,请发表评论,我将扩展查找范围。

扩展代码段:(演示)

$corrupted_byte_counts = <<<STRING
a:12:{i:0;s:3:"three";i:1;s:5:"five";i:2;s:2:"newline1
newline2";i:3;s:6:"garçon";i:4;s:111:"double " quote '"escaped";i:5;s:1:"a,comma";i:6;s:9:"a:colon";i:7;s:0:"single 'quote";i:8;s:999:"semi;colon";s:5:"assoc";s:3:"yes";i:9;s:1:"monkey";wrenching doublequote-semicolon";s:3:"s:";s:9:"val s: val";}
STRING;
$repaired = preg_replace_callback(
        '/(?<=^|;)s:'d+:"(.*?)";(?=$|}|[si]:)/s',
        //^^^^^^^^--------------^^^^^^^^^^^^^-- some additional validation
        function ($m) {
            return 's:' . strlen($m[1]) . ":'"{$m[1]}'";";
        },
        $corrupted_byte_counts
    );
echo "corrupted serialized array:'n$corrupted_byte_counts";
echo "'n---'n";
echo "repaired serialized array:'n$repaired";
echo "'n---'n";
print_r(unserialize($repaired));

输出:

corrupted serialized array:
a:12:{i:0;s:3:"three";i:1;s:5:"five";i:2;s:2:"newline1
newline2";i:3;s:6:"garçon";i:4;s:111:"double " quote '"escaped";i:5;s:1:"a,comma";i:6;s:9:"a:colon";i:7;s:0:"single 'quote";i:8;s:999:"semi;colon";s:5:"assoc";s:3:"yes";i:9;s:1:"monkey";wrenching doublequote-semicolon";s:3:"s:";s:9:"val s: val";}
---
repaired serialized array:
a:12:{i:0;s:5:"three";i:1;s:4:"five";i:2;s:17:"newline1
newline2";i:3;s:7:"garçon";i:4;s:24:"double " quote '"escaped";i:5;s:7:"a,comma";i:6;s:7:"a:colon";i:7;s:13:"single 'quote";i:8;s:10:"semi;colon";s:5:"assoc";s:3:"yes";i:9;s:39:"monkey";wrenching doublequote-semicolon";s:2:"s:";s:10:"val s: val";}
---
Array
(
    [0] => three
    [1] => five
    [2] => newline1
newline2
    [3] => garçon
    [4] => double " quote '"escaped
    [5] => a,comma
    [6] => a:colon
    [7] => single 'quote
    [8] => semi;colon
    [assoc] => yes
    [9] => monkey";wrenching doublequote-semicolon
    [s:] => val s: val
)

这是一个用于修复损坏的序列化字符串的在线工具。

我想补充一点,这主要是由于在数据库上进行了搜索和替换,并且序列化数据(特别是key length)没有按照替换进行更新,从而导致"损坏"。

尽管如此,上述工具使用以下逻辑来修复序列化数据(从此处复制)。

function error_correction_serialise($string){
    // at first, check if "fixing" is really needed at all. After that, security checkup.
    if ( unserialize($string) !== true &&  preg_match('/^[aOs]:/', $string) ) {
         $string = preg_replace_callback( '/s':('d+)':'"(.*?)'";/s',    function($matches){return 's:'.strlen($matches[2]).':"'.$matches[2].'";'; },   $string );
    }
    return $string;
} 

官方文档说它应该返回 false 并设置E_NOTICE

但是由于您遇到错误,因此错误报告设置为由E_NOTICE触发

这是一个修复程序,可让您检测 unserialize 返回的 false

$old_err=error_reporting(); 
error_reporting($old_err & ~E_NOTICE);
$object = unserialize($serialized_data);
error_reporting($old_err);

您可能需要考虑使用 base64 编码/解码

$string=base64_encode(serialize($obj));
unserialize(base64_decode($string));

您必须将排序规则类型更改为utf8_unicode_ci,问题将得到解决。

就我而言BLOB我将序列化数据存储在MySQL DB的字段中,该字段显然不够大,无法包含整个值并将其截断。这样的字符串显然无法取消序列化。
一旦将该字段转换为MEDIUMBLOB问题就消失了。此外,可能需要在表格选项ROW_FORMAT切换到 DYNAMICCOMPRESSED

在此页面上尝试了一些东西但没有成功后,我查看了页面源代码,并指出序列化字符串中的所有引号都已被 html 实体替换。解码这些实体有助于避免很多麻烦:

$myVar = html_entity_decode($myVar);

更改特定字段(LONGTEXT)的列大小

您可以在所有情况下使用它:

$newdata = preg_replace_callback(
    '/(?<=^|'{|;)s:('d+):'"(.*?)'";(?=[asbdiO]':'d|N;|'}|$)/s',
    function($m){
        return 's:' . strlen($m[2]) . ':"' . $m[2] . '";';
    },
    $badData
);

此问题的另一个原因可能是"有效负载"会话表的列类型。如果您在会话上有大量数据,则文本列是不够的。您将需要MEDIUMTEXT甚至LONGTEXT。