c# – 具有超过65535 ^ 2个元素的2d-Array – >数组维度超出

为什么CLR不支持大型数组

CLR不支持托管堆上的大型数组有多种原因.

其中一些是技术性的,其中一些可能是“范式的”.

这个blog post涉及到为什么存在限制的一些原因.基本上,由于内存碎片,决定限制(大写O)对象的最大大小.实现处理较大对象的成本与这样一个事实进行权衡,即在大多数情况下,由于程序员的设计谬误,需要这样大的对象和那些需要大量对象的用例.
因为,对于CLR,一切都是对象,这个限制也适用于数组.为了强制实施此限制,数组索引器采用带符号整数设计.

但是一旦你确定,你的程序设计要求你有这么大的阵列,你将需要一个解决方法.

上面提到的博客文章还表明,您可以实现大型数组而无需进入非托管区域.

但正如Evk在评论中指出的那样,你想通过PInvoke将数组作为一个整体传递给外部函数.这意味着您将需要非托管堆上的数组,或者它必须在调用期间进行封送处理.整个事情的编组是一个坏主意,这个数组很大.

解决方法

因此,由于托管堆是不可能的,因此您需要在非托管堆上分配空间并将该空间用于您的阵列.

假设您需要8 GB的空间：

long size = (1L << 33);
IntPtr basePointer = System.Runtime.InteropServices.Marshal.AllocHGlobal((IntPtr)size);

大！现在,您在虚拟内存中有一个区域,您可以在其中存储最多8 GB的数据.

如何将其转换为数组？

那么C#有两种方法

“不安全”的方法

这将让你使用指针.指针可以转换为数组. (在香草C中它们通常是同一个)

如果您对如何通过指针实现2D阵列有一个好主意,那么这将是您的最佳选择.

这是pointer

“元帅”方法

您不需要不安全的上下文,而是必须将您的数据从托管堆“编组”到非托管堆.你仍然需要理解指针算术.

您要使用的两个主要功能是PtrToStructure和反向StructureToPtr.使用一个您将获得非托管堆上指定位置的值类型(例如双精度)的副本.使用另一个,您将在非托管堆上放置值类型的副本.

从某种意义上说,这两种方法都是“不安全的”.你需要知道你的pointers

常见陷阱包括但不限于：

>忘记严格检查边界
>混合我的元素的大小
>弄清楚对齐方式
>混合你想要的2D阵列
>忘记使用2D数组进行填充
>忘记释放记忆
>忘记释放内存并使用它无论如何

您可能希望将2D阵列设计转换为一维阵列设计

在任何情况下,您都希望将其全部包含在具有相应检查和destsructors的类中.

灵感的基本例子

接下来是基于非托管堆的“类似”数组的泛型类.

特色包括：

>它有一个接受64位整数的索引访问器.
>它限制了T可以成为值类型的类型.
>它有一定的检查和一次性.

如果你注意到,我没有进行任何类型检查,所以如果Marshal.SizeOf无法返回正确的数字,我们就会落入上面提到的一个坑中.

您必须自己实现的功能包括：

> 2D Accessor和2D Array算法(取决于其他库所期望的,通常它类似于p = x * size y
>用于PInvoke目的的暴露指针(或内部调用)

因此,只使用它作为灵感,如果有的话.

using static System.Runtime.InteropServices.Marshal;

public class LongArray<T> : IDisposable where T : struct {
    private IntPtr _head;
    private Int64 _capacity;
    private UInt64 _bytes;
    private Int32 _elementSize;

    public LongArray(long capacity) {
        if(_capacity < 0) throw new ArgumentException("The capacity can not be negative");
        _elementSize = SizeOf(default(T));
        _capacity = capacity;
        _bytes = (ulong)capacity * (ulong)_elementSize;

        _head = AllocHGlobal((IntPtr)_bytes);   
    }

    public T this[long index] {
        get {
            IntPtr p = _getAddress(index);

            T val = (T)System.Runtime.InteropServices.Marshal.PtrToStructure(p,typeof(T));

            return val;
        }
        set {
            IntPtr p = _getAddress(index);

            StructureToPtr<T>(value,p,true);
        }
    }

    protected bool disposed = false;
    public void Dispose() {
        if(!disposed) {
            FreeHGlobal((IntPtr)_head);
            disposed = true;
        }
    }

    protected IntPtr _getAddress(long index) {
        if(disposed) throw new ObjectDisposedException("Can't access the array once it has been disposed!");
        if(index < 0) throw new IndexOutOfRangeException("Negative indices are not allowed");
        if(!(index < _capacity)) throw new IndexOutOfRangeException("Index is out of bounds of this array");
        return (IntPtr)((ulong)_head + (ulong)index * (ulong)(_elementSize));
    }
}