Используйте ScaleType в ImageView & убедитесь, что родительский макет для адаптера (LinearLayout, RelativeLayout...) имеет android:layout_height="wrap_content".
<ImageView
android:id="@+id/image"
android:layout_width="wrap_content"
android:layout_height="wrap_content"
android:scaleType="center"
android:src="@drawable/my_image" />